科技网

当前位置: 首页 >手机

ACL2018Attention机制占主

手机
来源: 作者: 2019-03-08 22:22:53

为期六天的 ACL 于上周在墨尔本会展中心落下帷幕,在这六天时间内,共计八场 tutorial,三百多篇论文展示,十五场 workshop,涉及机器翻译、机器学习、问答系统、信息提取、语义分析等多个方向的研究。毫无疑问,这是一场 NLP 领域的年度盛会。

今年的观众群体一如往昔,从学界的教授、学生,到业界的各类研究人员。虽然角色不一,但对于大部分人来说,参会的目的大同小异:听取会上各式各样的报告,了解学术圈和工业界中一些比较前沿的技术和方向,认识业内人士,展开进一步交流和探讨。

雷锋此次 ACL 之行采访到腾讯 SNG 数据中心总监刘黎春以及该中心知文团队技术负责人钟黎。作为第一次参加 ACL 的「新人」,刘黎春对 AI 科技评论描述了他的参会体验。

作为腾讯参会代表之一,他在主会这几天,一直忙于与参会学生进行联系与交流。他表示,此行 ACL 的目的一方面是了解学术界和工业界的前沿技术动向,另一方面是建立和高校老师、学生间的联系,交流探讨合作机会,看是否有哪些比较好的技术,能用在自己目前的业务场景下。

他进一步说到,和学生聊完之后也会有诸多收获,「比如我们昨天跟一个 UIUC 的博士生交流,她的博士课题主要是做 representation learning,这次 ACL 的工作是文本相似度计算,其实在我们目前的 QA 技术里,其中一个重要的场景就是解决文本相似度计算的问题。」

刘黎春如是评价 ACL——「面向自然语言处理,更加专业。」结合他此前参加 AAAI 的经验,

ACL2018Attention机制占主

他对雷锋表示,ACL 在 NLP 领域更加专业,更加细分,而 AAAI 是一个综合性的 AI 的会议,所以 AAAI 的文章会更多、更杂,包括计算机视觉、机器学习、自然语言处理等。在他看来,虽然这两个会议关注的重点不一样,但参加这两个会议对他们团队都非常有帮助。ACL 可以让他们在 NLP 领域结识更多的学生,包括高校的老师和企业的研究人员。AAAI 则可以看到一些在其他领域比较好的方法,可以尝试是否能将其迁移到 NLP 领域。

热门领域集中在机器翻译和 QA,目前没有较大突破

而针对 ACL 的研究热点,他表示,可以明显看到,不管是投稿文章,还是接收文章,很多都属于 QA、对话和机器翻译领域。「这两年并没有发生太大变化,包括 ACL 2018 的两篇 best paper(Learning to Ask Good Questions: Ranking Clarification Questions using Neural Expected Value of Perfect Information,Know What You Don t Know: Unanswerable Questions for SQuAD),都与 QA 紧密相关。此外,深度学习仍然是这两年的主题,占据统治地位。不仅仅是刘黎春持有以上观点,在这几天的会议上,诸多与 AI 科技评论交流的老师不约而同表达了类似看法——很难看到重大突破。「Attention 仍然是一个非常重要的主题,可以看到超过 90% 的文章都用到 Attention。」

关于 Attention 的典型例子是谷歌在去年六月发表的 Attention Is All You Need 一文,他们提出一个只基于 Attention 的结构来处理机器翻译等与序列模型相关的问题,一改传统基于 RNN 或者 CNN 的模型基础,该模型可以高度并行地工作,在提升翻译性能的同时训练速度也获得了极大提升。这掀起了 Attention 机制的使用热潮。

虽然没有较大的技术突破,但在 ACL 2018 上也能看到一些创新点。「我觉得今年 VAE(Variational Auto-Encode)技术用得比较多,强化学习和对抗学习一直是这两年的热门。」腾讯知文团队负责人钟黎对雷锋(公众号:雷锋)如是说到。

钟黎对雷锋表示,今年也提出了一些比较有意思的问题。比如说 learning to ask,以前我们做问答都在考虑 learning to answer,现在开始考虑如何问问题。另外也有出现一些新的任务,比如说有篇文章考虑预测对话过程中出现不符合预期的转折,对话会跑偏等,可以提前去判断跑偏情况。

此外,钟黎表示,今年有很多文章都是在生成上做控制,比如说控制文字风格、情感、回复的情况等等。

提到今年的亮点文章,刘黎春与钟黎对清华与微软合作的一篇文章印象深刻。

以前在解决多轮对话的时候,这是一个对业界极具挑战性的问题,但这一次在会上,清华跟微软合作的一篇文章通过反问一些问题,来更好地了解用户在对话里想要达成的目的,更好地去把握用户的意图,给用户提供更好的对话体验。他们如是评价:「这是比较好的一个尝试方向。」

具体说来,这一文章讲到了学习提问(learning to ask),即如何去找到一些更好的提问。会有一些提前设置好的主题词,先定义好 what——做什么,how——怎么做等几种类型,然后根据不同的类型来学习提问,这样可以保持对话的持续性和流畅性,使得对话更加人性化。

自然语言处理顶会上的中文测评系统

当然,在这样一个国际性会议上,不止可以看到一系列最新的计算机技术,还可以看到 AI 对传统语言学产生的影响。来自北京语言大学的助理研究员饶高琦今年在 ACL 上作为 NLPTEA: The 5th Workshop on Natural Language Processing Techniques for Educational Applications workshop 的主席,向雷锋重点介绍了 CGED(Chinese Grammatical Error Diagnosis)测评系统。

CGED 是自然语言处理领域的权威赛事,由 IJCNLP 联办,今年已是第五届,参赛选手需要用人工智能算法自动识别中文里面的语法错误。

「简单来说,我们的测评是给外国人学汉语做的一个中文语法纠错系统,中国人很少会犯语法错误,但对于学中文的老外来说,这种错误常常发生。此外,儿童在小学、中学等阶段的学习过程中,也很容易犯错。」

饶高琦表示,他们主要教外国人学汉语,有一半的学生来自海外。他们会在课堂上以及一些汉语类考试中积累数据,再将训练集开放出来,然后开发出训练模型,进行自动检错和改正,帮助老外校对中文语法错误。

在去年,阿里巴巴 iDST 团队在 CGED 三个 level 中全面夺冠,今年哈工大、科大讯飞联合拿了第一名,社科院取得了第二名,阿里排名第三。饶高琦表示,目前这个评测系统还比较困难,因为比较缺数据。但他进一步表示,这一系统特别有用。「现在每年新增 210 万注册学生学汉语,这个市场本身很大,但是跟技术存在巨大落差。我想将来这是一个蛮重要的增长点,会引发很多人前来关注。包括企业界已经看到了前景,学术界也有中科院、哈工大、郑州大学、云南大学等参与了这一评测。」

站在语言学家的角度,饶高琦表示,NLP 的发展对语言学提出的一个新挑战就是如何生产 AI 可以用的知识。「以前的语言学就是面向人的知识,但现在主要是面向 AI。什么样的知识可以被 AI 用,这是语言学家现在会更多关注的一个问题,也是我比较关注的一个问题。」

而此外,他也表示,今年成立亚太地区的 AACL,这说明亚洲的研究力量成为不可忽视的群体。不管是这一领域的研究,还是工作机会,一定会越来越多。

当然,以上内容只是 AI 科技评论在 ACL 上的一小部分见闻。在这样一个 AI 迅速发展的时代,AI 科技评论将继续致力于连接学术界与产业界,跟踪学术最新动态,报道产业最新趋势。接下来,AI 科技评论也将与大家相约 KDD、ECCV 等国际性 A 类学术会议,带来更多精彩报道,敬请期待。

相关文章:

ACL2018 明日墨尔本召开:总体论文接收率 24.7%,两大特邀讲者名单公布

ACL 2018 首日:8 大 tutorial,深度强化学习最受关注 | ACL2018

ACL 2018 现场:设立亚太地区分会 AACL,最热研究当属 Learning

ACL 2018 奖项全公布,北大、哈工大上榜,Mark Steedman 获终身成就奖

相关推荐