手机版   |   最新资讯
您的当前位置:如意新闻网 > 电子仪表 > 正文

新的培训技术将揭示机器学习系统决策的基础

来源:未知 编辑:admin 时间:2019-05-16 手机版

主角是神的小说

近年来,人工智能研究中性能最佳的系统得到了神经网络的支持,神经网络在训练数据中寻找产生有用预测或分类的模式。例如,神经网络可以被训练以识别数字图像中的某些对象或推断文本的主题。

但神经网络是黑盒子。经过培训,网络可能非常擅长对数据进行分类,但即使是创建者也不知道为什么。利用视觉数据,有时可以自动化实验,以确定神经网络响应哪些视觉特征。但是文本处理系统往往更不透明。

在计算语言学协会关于自然语言处理经验方法的会议上,来自麻省理工学院计算机科学和人工智能实验室(CSAIL)的研究人员将提出一种培训神经网络的新方法,这样他们不仅可以提供预测和分类,还可以为他们提供理论依据。决定。

在实际应用中,有时人们真的想知道模型为什么会做出预测, 麻省理工学院电子工程和计算机科学研究生,新论文的第一作者陶磊说。 医生不信任机器学习方法的一个主要原因是没有证据。

它不仅仅是医学领域, 电子工程和计算机科学的Delta Electronics教授和Lei的论文顾问Regina Barzilay补充道。 它在任何领域,其中做出错误预测的成本非常高。你需要证明你为什么这样做。

这项工作还有更广泛的方面, 麻省理工学院电气工程和计算机科学教授,该论文的第三位合着者Tommi Jaakkola说。 你可能不想只是验证模型是否以正确的方式进行预测; 你可能还想对它应该做出的预测类型产生一些影响。一个非专业人士如何与一个他们一无所知的算法训练的复杂模型进行交流?他们或许可以告诉您特定预测的基本原理。从这个意义上讲,它开辟了一种与模型沟通的不同方式。

虚拟大脑

神经网络之所以被称为是因为它们模仿 - 大致 - 大脑的结构。它们由大量处理节点组成,这些处理节点与单个神经元一样,只能进行非常简单的计算,但在密集网络中相互连接。

在被称为 深度学习 的过程中,训练数据被馈送到网络的输入节点,该输入节点对其进行修改并将其馈送到其他节点,其他节点对其进行修改并将其馈送到其他节点,等等。然后,存储在网络输出节点中的值与网络尝试学习的分类类别相关联 - 例如图像中的对象或文章的主题。

在网络培训过程中,不断修改各个节点执行的操作,以在整个训练示例集中产生始终如一的良好结果。在整个过程结束时,编程网络的计算机科学家通常不知道节点的设置是什么。即使他们这样做,也很难将低级信息转换回系统决策过程的可理解描述。

在新论文中,Lei,Barzilay和Jaakkola特别针对文本数据训练的神经网络。为了能够解释神经网络的决策,CSAIL研究人员将网络划分为两个模块。第一个模块从训练数据中提取文本片段,并根据片段的长度和连贯性对片段进行评分:片段越短,从连续单词串中得到的片段越多,其分数越高。

然后将由第一模块选择的段传递给第二模块,第二模块执行预测或分类任务。模块一起训练,训练的目标是最大化提取的片段的分数和预测或分类的准确性。

研究人员测试其系统的数据集之一是来自用户评估不同啤酒的网站的一组评论。数据集包括评论的原始文本和相应的评级,使用五星系统,分别对三个属性:香气,味觉和外观。

使数据对自然语言处理研究人员具有吸引力的原因在于,它也被手工注释,以指示评论中哪些句子对应于哪些分数。例如,评论可能包含八个或九个句子,而注释者可能会突出显示那些啤酒的 棕褐色头部约半英寸厚 , 标志性吉尼斯气味 和 缺乏碳化 。每个句子与不同的属性评级相关联。

验证

因此,该数据集为CSAIL研究人员的系统提供了极好的测试。如果第一个模块已经提取了这三个短语,并且第二个模块已经将它们与正确的评级相关联,则系统已经识别出与人类注释器所做的判断相同的基础。

本文地址: http://www.ruyixie.com/dianziyibiao/37858.html 转载请注明出处!

如意新闻网 - 新闻资讯都在如意,祝人生如意 http://www.ruyixie.com

Copyright © 2018 如意新闻网,祝人生如意 版权所有 手机版

Top