近日,历时六个月的第十四届国际语义评测大赛(International Workshop on Semantic Evaluation 2020, SemEval 2020)落下帷幕,在本次比赛 Task4:Commonsense Validation and Explanation 常识验证与解释评测任务中,由bwin官网登录入口ICA研究所的林欣研究员、王琳琳研究员担任指导老师,赵前、陶思雨等同学组成的参赛队伍,成功获得子任务B第一名以及子任务A第二名的优异成绩,这也是学院继2017年之后再次在SemEval赛事中摘得桂冠。本届比赛吸引了包括卡内基梅隆大学(CMU)、哈尔滨工业大学、东北大学、华盛顿大学(UW)等全球知名高校及科研院所参加,其中本次任务共计39支队伍参赛。
这是一项什么样的比赛?
SemEval是全球范围内影响力最强、规模最大、参赛人数最多的语义评测竞赛,由国际计算语言学协会(Association for Computational Linguistics, ACL)下属的SIGLEX主办。ACL作为世界上影响力最大、最具活力的国际学术组织,其举办的计算语言学年会(Annual Meeting of the Association for Computational Linguistics)是国际自然语言处理的顶级会议。自2001年起,SemEval至今已成功举办了十四届,吸引了世界范围内的多所大学和研究机构的参加,在业界和学术界具有极高的影响力。根据Google Scholar的数据,发表在SemEval的文章在Computational Linguistics领域的影响力仅次于ACL/EMNLP/NAACL三大顶会,位于NLP会议、期刊中的第四位。
任务的难点与挑战体现在哪儿?
本次评测聚焦的任务是常识验证与解释(Task4:Commonsense Validation and Explanation),旨在从包含反常识的文本中推断出它为什么反常识,并做出合理的解释。参赛团队充分思考了当前常识知识难以被模型所学习的问题,并采取多种技术手段,最终巧妙的将有用的常识信息成功注入到预训练语言模型中,从而取得了亮眼的成果。结果显示,团队所采用的方法在两个子任务中均表现出较好的成绩,尤其在难度更高的Subtask B中取得了榜首第一名(准确率95.0%)的好成绩。
队员心声
赵前:这几个月以来,整个团队每天探索好的idea、激发新的灵感反复讨论、坚持攻克一个个难题,最终取得这样的好成绩也是比较开心的。期间与队友前去复旦参加肖仰华教授所邀请举办的常识研讨会,收获也是满满的。非常感谢各位老师和师兄的指导,也感谢队友和同学的鼓励。比赛的取得的成绩也激励我向更高的目标继续钻研,希望一切顺利。
陶思雨:现在想起来,在比赛刚开始的时候,我还是一个刚刚步入自然语言处理领域的新人,一开始就参加这种在NLP领域非常著名的国际竞赛,心里还是非常有压力的,担心自己的水平不能够胜任这样的任务。竞赛的过程中,我们碰到了很多困难,但通过团队的共同努力克服困难,并在实验效果上取得了很大提升。非常感谢老师的倾心指导,也很感谢小组成员们的相互支持和鼓励。这次比赛经历让我对未来的专业学习更加自信,我会继续加油。
中山北路3663号理科大楼 200062
沪ICP备05003394
Copyright BWIN必赢·国际(中国)唯一官方网站 版权所有