大数据 发表时间:2019/7/3 15:28:45 来源:iwangshang
大数据 发表时间:2019/7/3 15:28:45 来源:iwangshang
近日,在斯坦福等院校和机构发起的“多轮对话型阅读理解评测”(QuAC)上,阿里巴巴人工智能模型“TransBERT”击败全球对手,不仅拿下了评测的桂冠,更刷新了该项测试的世界纪录。这也意味着,以阿里巴巴AI为代表机器阅读理解能力,又往前迈进了一步。
QuAC(多轮对话型阅读理解评测)由华盛顿大学、斯坦福大学和艾伦人工智能研究院等研究机构联合发起,与SQuAD(文本理解挑战赛)、CoQA(对话型机器阅读理解挑战赛)并称世界级阅读理解评测竞赛,吸引了全世界顶级科学家和技术团队参与。本次竞赛的难点在于,要求参赛的AI模型阅读篇幅更长的多轮对话,题目中还有“指代”和“省略”,甚至还存在原文中没有对应答案的模糊问题,这就要求AI模型要有如同人类般“联系上下文”的能力,高度考验联想和推测能力。
阿里巴巴智能服务事业部算法专家计峰介绍说,此次测试中出现了多次以“他”、“他们”进行的第三人称指代,需要机器进行上下文的主动联想,并作出综合判断;还有无法在原文中找到对应答案的开放式问题,测试的是AI模型在基于文本的阅读理解之外,调用日常储备数据库进行推想的能力,几乎无限接近人类思考模式。
主办方也认为,多轮对话型阅读理解是目前人工智能对话领域复杂性最高、最考验自然语言理解技术的,已经接近人类日常交流的真实场景。
评测案例接近人类日常交流的真实场景,高度考验AI模型的联想和推测能力
凭借自主研发的“TransBERT”AI模型,阿里巴巴智能服务事业部、计算平台事业部联合浙江大学人工智能研究所,打败国内外竞争者,以三个指标总分144.1拔得头筹,刷新了此测试的最高纪录,其中两项指标大幅超过第二名。
“TransBERT”AI模型以三个指标总分144.1拔得头筹,两项指标大幅超过第二名
AI技术面对多轮次对话,以及“指代”、“省略”、“模糊语义问题”等场景早已并非仅在测试环境中发生,在阿里巴巴平台的客服机器人“阿里小蜜”的日常应用中,此类较为复杂的阅读理解场景早已成为AI机器人发挥实质性作用的“赛场”。
在阿里巴巴早前公布的一段视频中,阿里小蜜已经能够以文字和语音等形式,与消费者进行多轮次的复杂对话,问题覆盖售前售后服务中,常见的打断、指代、省略、转换话题等现实情况。
阿里小蜜被突然打断对话
这也是阿里巴巴AI技术显著区别于学界竞争者的最大不同之处,阿里AI模型在阿里小蜜系列产品的长期实际应用中得到完善和突破,其技术能力立足现实场景,注重与人类对话的真实互动体验,因此能够在QuAC这类测试中达到接近人类对话的水平。