蓝月亮料全年资料大全

综合新闻

外国语学院本科生论文在中国计算语言学大会中获亮点论文奖

在刚刚结束的第二十三届中国计算语言学大会中,上海交通大学外国语学院师生提交的论文Do Large Language Models Understand Conversational Implicature — A Case Study with a Chinese Sitcom从100多篇被接受的论文中脱颖而出,获得了英文亮点论文奖。该论文作者为英语系本科生岳士森、宋思远、德语系本科生程心远、翻译系助理教授胡海。

微信图片_20240813131902.png

翻译系胡海老师团队长期从事计算语言学、自然语言处理相关研究。近年来开展自然语言推理、大语言模型评测、句法树库建设等研究。在计算语言学顶级期刊(如Computational Linguistics)和顶级会议(ACL, AAAI, COLING)发表论文多篇。

微信图片_20240813132050.jpg

中国计算语言学大会是国内计算语言学界规模最大的学术会议,今年由山西大学承办,主会于7月27日至7月28日在山西太原举办。会议吸引了来自全国各地的700余名参会者,共评出三篇英文亮点论文和三篇中文亮点论文。

微信图片_20240813132127.png

外国语学院团队论文通过自建的包含200个题目的汉语言外之意评测数据集,对多个开源及闭源大模型进行了评测。所有题目是以语用学中的合作原则为理论基。忧榫跋簿纭段淞滞獯分腥斯ぱ∪〉玫降亩嗦侄曰。每个多轮对话均包含了违背合作原则的言外之意。团队构造了四个选项对大模型进行评测。实验一显示GPT4以及百度文心大模型能在90%以上的情况下正确选择出对话的言外之意,与人类水平基本相当。开源模型则得分欠佳。实验二要求大模型生成对言外之意的解释,并由语言学专业的学生对模型解释从三个维度进行评分。研究发现包括GPT4在内的模型在解释言外之意时,均会出现错误。或无法读出言外之意,或仅仅理解了字面意。该结果表明模型在进行语用推理时可能遇到诸多困难,尚不能完全理解对话中的言外之意。实验还发现违反不同合作原则的言外之意,无论在人类被试还是大模型上,并未出现理解难易上的差异。

据研究团队所知,该论文是首个对大语言模型的汉语语用推理进行判别式及生成式评测的研究。该论文预印本可在https://arxiv.org/abs/2404.19509获取。

上海交通大学外国语学院长期开展语言智能相关科研教学工作。较早开设语言智能、语言数据与Python应用、语料库语言学、翻译技术与管理等相关课程。今年新开设了语言数据科学微专业,联合北京大学、上海外国语大学优秀师资面向校内外进行语言智能授课。(详情请见:微专业招生丨上海交大语言数据科学微专业招生简章)

此次获奖将激励师生们继续努力,争取在未来学习和科研中再创新高,进一步助推语言与数据等方向跨学科高质量融合发展。

微信图片_20240813132152.png

微信图片_20240813132156.png

外国语学院科研办
外国语学院
倪黎
蓝月亮料全年资料大全 - 腾讯指南