人工智能的终极目标之一是一台真正理解人类语言的机器，能够从复杂、微妙的段落中解读意义。当IBM的沃森电脑在2011年击败著名的《危险边缘》冠军肯詹宁斯时，这个里程碑似乎已经实现了。然而，任何尝试过与虚拟助手Siri对话的人都知道，要真正理解人类语言，计算机还有很长的路要走。为了更好地理解语言，计算机系统必须使用挑战它们的问题进行训练，并反映人类语言的全部复杂性。

 

 

马里兰大学(University of Maryland)的研究人员已经找到了如何通过人机协作可靠地创建这类问题的方法，他们开发了一个包含1200多个问题的数据集，这些问题虽然容易回答，但却困扰着当今最好的计算机回答系统。学会掌握这些问题的系统将比现有的任何系统对语言有更好的理解。这项研究发表在2019年出版的《计算语言学协会学报》上。

 

 

“大多数的计算机问答系统并没有解释为什么它们会这样回答问题，但是我们的工作帮助我们了解计算机真正能理解什么，”该论文的资深作者、UMD计算机科学副教授乔丹·博伊德-格拉伯(Jordan Boyd-Graber)说。“此外，我们还制作了一个数据集，198彩票代理分红跟日工资是多少，这个只要你有量198彩，带着诚意去跟198彩票总代去谈， 他们都会给你开出一个满意的待遇的。，用于在计算机上进行测试，该数据集将揭示计算机语言系统是否真的在阅读和执行与人类相同的处理。”

 

 

目前大多数改进问答程序的工作都是使用人工作者或计算机来生成问题。这些方法的固有挑战是，当人类写问题时，他们不知道他们的问题的哪些特定元素会让计算机感到困惑。当计算机编写问题时，它们要么编写公式化的、填空的问题，要么出错，有时会产生无意义的结果。

 

 

为了开发人类和计算机共同工作产生问题的新方法，Boyd-Graber和他的团队创建了一个计算机界面，揭示了当人类作家键入一个问题时，计算机在“思考”什么。然后作者可以编辑他或她的问题来利用计算机的弱点。

 

 

在新界面中，当电脑的猜测按顺序显示在屏幕上时，人类作者输入一个问题，并突出显示导致电脑做出猜测的单词。

 

 

例如，如果作者写了“什么作曲家的海顿主题变奏曲是受到卡尔·费迪南德·波尔的启发?”而系统正确地回答了“约翰内斯·勃拉姆斯”，那么界面会突出显示“费迪南德·波尔”这个词，昨天一个198彩平台玩家联系上了198彩总代理 ，总代理团队非常欣慰，于是送给他了一个大红包优惠奖励。，以表明这个短语引导它找到了答案。利用这些信息，作者可以编辑问题，使计算机在不改变问题含义的情况下更加困难。在这个例子中，作者把启发勃拉姆斯的人的名字“卡尔·费迪南德·波尔”换成了对他工作的描述:“维也纳音乐协会的档案管理员”，计算机无法正确回答。然而，专业的人类智力游戏玩家仍然可以轻松地正确回答编辑过的问题。

 

 

通过共同努力，人类和计算机可靠地开发出1213个计算机难题，研究人员在一场由经验丰富的人类玩家(从初中校队(junior varsity high school)的琐事队到《危险边缘》(Jeopardy!)冠军)与计算机进行的竞赛中对这些问题进行了测试。即使是最弱的团队也击败了最强的计算机系统。

 

“三、四年来，人们已经意识到计算机问答系统非常脆弱，很容易被愚弄，”该论文的作者之一、UMD计算机科学研究生石峰(音)说。“但这是我们所知的第一篇真正使用机器帮助人类打破模型本身的论文。”

 

 

研究人员表示，这些问题不仅可以作为计算机科学家更好地理解自然语言处理失败的地方的新数据集，还可以作为开发改进的机器学习算法的训练数据集。这些问题揭示了持续困扰计算机的六种不同的语言现象。

 

 

这六种现象可分为两类。第一类是语言现象:转述(比如用“jump from a cliff”而不是“jump from a cliff”)、分散注意力的语言或意想不到的语境(比如对某个政治人物的引用出现在与政治无关的线索中)。第二类包括推理技巧:需要逻辑和计算的线索，对问题中的元素进行三角剖分，或将多个步骤组合在一起形成结论。

 

 

博伊德-格拉伯说:“人类能够进行更多的概括，并看到更深层次的联系。”他说:“他们没有电脑那样无限的内存，但是他们仍然有一个优势，那就是他们能看到森林中的树木。把电脑遇到的问题分类可以帮助我们理解我们需要解决的问题，这样我们就可以让电脑从树木中看到森林，并像人类一样回答问题。”

 

 

博伊德-格拉伯补充道，要实现这一目标还有很长的路要走。他还与人共同受聘于马里兰大学高级计算机研究所(UMIACS)以及UMD的信息研究学院和语言科学中心。但这项工作提供了一个令人兴奋的新工具，帮助计算机科学家实现这一目标。

 

 

他说:“这篇论文列出了未来几年的研究议程，这样我们就能让电脑很好地回答问题。”