当前位置:首页 » 服务存储 » 人工智能如何存储信息
扩展阅读
webinf下怎么引入js 2023-08-31 21:54:13
堡垒机怎么打开web 2023-08-31 21:54:11

人工智能如何存储信息

发布时间: 2023-02-26 18:04:57

A. 人工智能联想存储有何特点

(1)可以存储许多相关(激励、响应)模式。
(2)通过自组织过程可以完成多种存储。
(3)以分步、稳健的方式(可能会有很多的冗余度)存储信息。
(4)可以根据接收到的相关激励模式产生并输出适当的响应模式。
(5)即使输入激励模式失真或不完全,仍然可以产生正确的响应模式。
(6)可在原存储中加入新的存储模式。

B. 人工智能黑库是什么

您好,人工智能黑库是一种用于存储和管理人工智能系统中的数据和信息的数据库。它可以帮助人工智能系统更好地理解和处理数据,从而提高系统的性能和准确性。人工智能黑库可以用来存储用户信息、训练数据、模型参数和其他相关信息,以便在需要时可以快速访问和分析。此外,它还可以用来存储模型训练结果,以便在需要时可以快速检索和更新。

C. 人工智能技术基于什么提供的储存资源

利用计算存储资源池和智能算法为各行业应用提供智能化服务。

在计算机科学中,人工智能(AI)有时被称为机器智能,是由机器展示的智能,与人类和动物展示的自然智能形成对比。通俗地说,“人工智能”一词用来描述模仿人类与其他人类思维相关联的“认知”功能的机器,如“学习”和“解决问题”。

随着机器变得越来越有能力,被认为需要“智能”的任务通常会从人工智能的定义中删除,这种现象被称为人工智能效应。 特斯勒定理(Tesler's Theorem)中的一句妙语说:“人工智能是尚未完成的事情。”

例如,光学字符识别经常被排除在人工智能之外,已经成为一种常规技术。现代机器能力通常被归类为人工智能,包括成功理解人类语言, 在战略游戏系统(如象棋和围棋)中处于最高水平的竞争, 自主操作汽车、内容传递网络中的智能路由以及军事模拟。

D. 人工智能的原理是什么

人工智能的原理,简单的形容就是:

人工智能=数学计算。

机器的智能程度,取决于“算法”。最初,人们发现用电路的开和关,可以表示1和0。那么很多个电路组织在一起,不同的排列变化,就可以表示很多的事情,比如颜色、形状、字母。再加上逻辑元件(三极管),就形成了“输入(按开关按钮)——计算(电流通过线路)——输出(灯亮了)”

但是到了围棋这里,没法再这样穷举了。力量再大,终有极限。围棋的可能性走法,远超宇宙中全部原子之和(已知),即使用目前最牛逼的超算,也要算几万年。在量子计算机成熟之前,电子计算机几无可能。

所以,程序员给阿尔法狗多加了一层算法:

A、先计算:哪里需要计算,哪里需要忽略。

B、然后,有针对性地计算。

——本质上,还是计算。哪有什么“感知”!

在A步,它该如何判断“哪里需要计算”呢?

这就是“人工智能”的核心问题了:“学习”的过程。

仔细想一下,人类是怎样学习的?

人类的所有认知,都来源于对观察到的现象进行总结,并根据总结的规律,预测未来。

当你见过一只四条腿、短毛、个子中等、嘴巴长、汪汪叫的动物,名之为狗,你就会把以后见到的所有类似物体,归为狗类。

不过,机器的学习方式,和人类有着质的不同:

人通过观察少数特征,就能推及多数未知。举一隅而反三隅。

机器必须观察好多好多条狗,才能知道跑来的这条,是不是狗。

这么笨的机器,能指望它来统治人类吗。

它就是仗着算力蛮干而已!力气活。

具体来讲,它“学习”的算法,术语叫“神经网络”(比较唬人)。

(特征提取器,总结对象的特征,然后把特征放进一个池子里整合,全连接神经网络输出最终结论)

它需要两个前提条件:

1、吃进大量的数据来试错,逐渐调整自己的准确度;

2、神经网络层数越多,计算越准确(有极限),需要的算力也越大。

所以,神经网络这种方法,虽然多年前就有了(那时还叫做“感知机”)。但是受限于数据量和计算力,没有发展起来。

神经网络听起来比感知机不知道高端到哪里去了!这再次告诉我们起一个好听的名字对于研(zhuang)究(bi)有多重要!

现在,这两个条件都已具备——大数据和云计算。谁拥有数据,谁才有可能做AI。

目前AI常见的应用领域:

图像识别(安防识别、指纹、美颜、图片搜索、医疗图像诊断),用的是“卷积神经网络(CNN)”,主要提取空间维度的特征,来识别图像。

自然语言处理(人机对话、翻译),用的是”循环神经网络(RNN)“,主要提取时间维度的特征。因为说话是有前后顺序的,单词出现的时间决定了语义。

神经网络算法的设计水平,决定了它对现实的刻画能力。顶级大牛吴恩达就曾经设计过高达100多层的卷积层(层数过多容易出现过拟合问题)。

当我们深入理解了计算的涵义:有明确的数学规律。那么,

这个世界是是有量子(随机)特征的,就决定了计算机的理论局限性。——事实上,计算机连真正的随机数都产生不了。

——机器仍然是笨笨的。

更多神佑深度的人工智能知识,想要了解,可以私信询问。

E. 关于人工智能

人脑有意识,电脑有意识吗?在科学极其发展的今天,电脑是否会超越人脑,人是否会成为电脑的奴隶?哲学不能不对这一问题做出回答。
人工智能是20世纪中叶科学技术所取得的重大成果之一。它的诞生与发展对人类文明产生了巨大的影响和效益。同时也引起了哲学意识与人工智能的理论探讨。
人工智能是相对于人类智能而言的。它是指用机械和电子装置来模拟和代替人类的某些智能。人工智能也称“机器智能”或“智能模拟”。当今人工智能主要是利用电子技术成果和仿生学方法,从大脑的结构方面模拟人脑的活动,即结构模拟。
人脑是智能活动的物质基础,是由上百亿个神经元组成的复杂系统。结构模拟是从单个神经元入手的,先用电子元件制成神经元模型,然后把神经元模型连接成神经网络(脑模型) ,以完成某种功能,模拟人的某些智能。如1957年美国康乃尔大学罗森布莱特等人设计的“感知机”;1975年日本的福岛设计的“认知机”(自组织多层神经网络) 。
电子计算机是智能模拟的物质技术工具。它是一种自动、高速处理信息的电子机器。它采用五个与大脑功能相似的部件组成了电脑,来模拟人脑的相应功能。这五个部件是:(1) 输入设备,模拟人的感受器(眼、耳、鼻等) ,用以接受外来的信息。人通过输入设备将需要计算机完成的任务、课题、运算步骤和原始数据采用机器所能接受的形式告诉计算机,并经输入设备把这些存放到存贮器中。(2) 存贮器,模拟人脑的记忆功能, 将输入的信息存储起来,供随时提取使用,是电子计算机的记忆装置。(3) 运算器,模拟人脑的计算、判断和选择功能,能进行加减乘除等算术运算和逻辑运算。(4) 控制器,人脑的分析综合活动以及通过思维活动对各个协调工作的控制功能,根据存贮器内的程序,控制计算机的各个部分协调工作。它是电脑的神经中枢。 (5)输出设备,模拟人脑的思维结果和对外界刺激的反映,把计算的结果报告给操作人员或与外部设备联系,指挥别的机器动作。
以上五部分组成的电脑是电子模拟计算机的基本部分,称为硬件。只有硬件还不能有效地模拟和代替人脑的某些功能,还必须有相应的软件或软设备。所谓软件就是一套又一套事先编好的程序系统。
人工智能的产生是人类科学技术进步的结果,是机器进化的结果。人类的发展史是人们利用各种生产工具有目的地改造第一自然( 自然造成的环境,如江河湖海、山脉森林等) ,创造第二自然( 即人化自然,如人造房屋、车辆机器等) 的历史。人类为了解决生理机能与劳动对象之间的矛盾,生产更多的财富,就要使其生产工具不断向前发展。人工智能,是随着科学技术的发展,在人们创造了各种复杂的机器设备,大大延伸了自己的手脚功能之后,为了解决迫切要延伸思维器官和放大智力功能的要求而产生和发展起来的。
从哲学上看,物质世界不仅在本原上是统一的,而且在规律上也是相通的。不论是机器、动物和人,都存在着共同的信息与控制规律,都是信息转换系统,其活动都表现为一定信息输入与信息输出。人们认识世界与在实践中获取和处理信息的过程相联系,改造世界与依据已有的信息对外界对象进行控制的过程相联系。总之,一切系统都能通过信息交换与反馈进行自我调节,以抵抗干扰和保持自身的稳定。因此,可以由电子计算机运用信息与控制原理来模拟人的某些智能活动。
从其它科学上来说,控制论与信息论就是运用系统方法,从功能上揭示了机器、动物、人等不同系统所具有的共同规律。以此把实际的描述形式化,即为现象和行为建立一个数学模型;把求解问题的方式机械化,即根据数学模型,制定某种算法和规则,以便机械地执行;把解决问题的过程自动化,即用符号语言把算法和规则编成程序,交给知识智能机器执行某种任务,使电子计算机模拟人的某些思维活动。所以,控制论、信息论是"智能模拟"的科学依据,“智能模拟”是控制论、信息论在实践中的最重要的实践结果。
人工智能是人类智能的必要补充,但是人工智能与人类智能仍存在着本质的区别:
1 、人工智能是机械的物理过程,不是生物过程。它不具备世界观、人生观、情感、意志、兴趣、爱好等心理活动所构成的主观世界。而人类智能则是在人脑生理活动基础上产生的心理活动,使人形成一个主观世界。因此,电脑与人脑虽然在信息的输入和输出的行为和功能上有共同之处,但在这方面两者的差别是十分明显的。从信息的输入看,同一件事,对于两个智能机具有相同的信息量,而对于两个不同的人从中获取的信息量却大不相同。“行家看门道,外行看热闹”就是这个道理。从信息的输出方面看,两台机器输出的同一信息,其信息量相等。而同一句话,对于饱于风霜的老人和天真幼稚的儿童,所说的意义却大不相同。
2 、人工智能在解决问题时,不会意识到这是什么问题,它有什么意义,会带来什么后果。电脑没有自觉性,是靠人的操作完成其机械的运行机能;而人脑智能,人的意识都有目的性,可控性,人脑的思维活动是自觉的,能动的。
3 、电脑必须接受人脑的指令,按预定的程序进行工作。它不能输出末经输入的任何东西。所谓结论,只不过是输入程序和输入数据的逻辑结果。它不能自主地提出问题,创造性地解决问题,在遇到没有列入程序的“意外”情况时,就束手无策或中断工作。人工智能没有创造性。而人脑功能则能在反映规律的基础上,提出新概念,作出新判断,创造新表象,具有丰富的想象力和创造性。
4 、人工机器没有社会性。作为社会存在物的人,其脑功能是适应社会生活的需要而产生和发展的。人们的社会需要远远超出了直接生理需要的有限目的,是由社会的物质文明与精神文明的发展程序所决定的。因此,作为人脑功能的思维能力,是通过社会的教育和训练,通过对历史上积累下来的文化的吸收逐渐形成的。人的内心世界所以丰富多采,是由于人的社会联系是丰富的和多方面的,人类智能具有社会性。所以要把人脑功能全面模拟下来,就需要再现人的思想发展的整个历史逻辑。这是无论多么“聪明”的电脑都做不到的。随着科学技术的发展,思维模拟范围的不断扩大,电脑在功能上会不断向人脑接近。但从本质上看,它们之间只能是一条渐近线,它们之间的界限是不会清除的。模拟是近似而不能是等同。
人工智能与人脑在功能上是局部超过,整体上不及。由于人工智能是由人造机器而产生的,因此,人工智能永远也不会赶上和超过人类智能。所谓“机器人将超过人奴役人”、“人将成为计算机思想家的玩物或害虫,…… 保存在将来的动物园”的“预言”是不能成立的。因为,它抹煞了人与机器的本质差别与根本界限。
人工智能充实和演化了辩证唯物主义的意识论。它进一步表明了意识是人脑的机能,物质的属性。电脑对人脑的功能的模拟,表明了意识并不是神秘的不可捉摸的东西,不是游离于肉体内外脱离人脑的灵魂,也不是人脑分泌出来的特殊物质形态,而是人脑的机能属性。这就进一步证明了意识本质的原理。
人工智能的出现深化了意识对物质的反作用的原理。人工智能是人类意识自我认识的产物。电脑的出现,意昧着人类意识已能部分地从人脑中分化出来,物化为物质的机械运动。这不仅延长了意识的器官,也说明意识能反过来创造"人脑"。这是意识对人脑的巨大的反作用。从意识与人脑的相互关系中进一步深化了意识对物质形态进步的反作用,意识作为最高的物质属性对于物质运动发展的反作用。
人工智能引起了意识结构的变化,扩大了意识论的研究领域。电脑作为一种新形态的机器而进入了意识器官的行列。它不仅能完成人脑的一部分意识活动,而且在某种功能上还优于人脑。如人脑处理信息和采取行动的速度不如电脑,记忆和动作的准确性不如电脑。因此,在现代科学认识活动中,没有人工智能,就不会有人类认识能力的突破性发展和认识范围的不断扩大。电脑不仅依赖于人,人也依赖于电脑。这就使得在意识论结构上增加了对人工智能的探讨以及对人机互补的关系的探讨。同时思维模拟,也把思维形式在思维中的作用问题突出出来,为意识论的研究提出了一个重要课题。

F. 人工智能的记忆和以像数据一样长期保存并重启吗

从一个悲剧故事谈起
黛博拉(Deborah)轻轻地推开房门,探头往里看。克莱夫(Clive)发现进来的是妻子,脸上露出无限的喜悦。他直奔门前,高喊“太好了”,并张开双臂紧紧地抱住黛博拉。克莱夫一边和黛博拉亲吻,一边说“你来了,真让我吃惊”。接着两人又开始拥抱,好像分别已久。坐下来后,黛博拉用温柔的眼光看着克莱夫说“其实我今天早上也来过”,克莱夫摇摇头反驳道“不可能,这是我今天第一次见到你。”这样的场景每天都在黛博拉和克莱夫之间重复上演。

克莱夫·韦尔林(Clive Wearing)是英国的一位音乐家¹ 。他四十多岁的时候突然患上了病毒性脑炎,这是一种死亡率很高的疾病。幸运的是他活了下来,不幸的是疾病给他留下了失忆症(amnesia)。过去发生的很多事情已不能记起,但他还认识妻子,却不认识女儿。更严重的是他对当前发生的事情不能记忆到脑子里,几分钟后就会完全忘记。他的行动没有任何问题,语言和思维似乎也正常,可以饮食、行走、说话、写字,甚至弹琴、唱歌,看上去和正常人一样。但他就是长期记忆(long term memory)出了问题。他感受到的世界和大家是一样的,但转过头去,刚发生的一切就会从脑海中消失,他所拥有的只是“瞬间到瞬间的意识”,没有过去可以联系,也没有未来可以展望。

克莱夫·韦尔林用自己不幸的经历为我们揭示了长期记忆对我们的智能,乃至我们的人生的重要意义。

记忆与智能
人脑的记忆模型如图1所示,由中央处理器、寄存器、短期记忆和长期记忆组成。视觉、听觉等传感器从外界得到输入,存放到寄存器中,在寄存器停留1~5秒。如果人的注意力关注这些内容,就会将它们转移到短期记忆,在短期记忆停留30秒左右。如果人有意将这些内容记住,就会将它们转移到长期记忆,半永久地留存在长期记忆里。人们需要这些内容的时候,就从长期记忆中进行检索,并将它们转移到短期记忆,进行处理[1]。

图1 人脑记忆模型
长期记忆的内容既有信息,也有知识。简单地说,信息表示的是世界的事实,知识表示的是人们对世界的理解,两者之间并不一定有明确的界线。人在长期记忆里存储信息和知识时,新的内容和已有的内容联系到一起,规模不断增大,这就是长期记忆的特点。

大脑中,负责向长期记忆读写的是边缘系统中的海马体(hippocampus)。克莱夫·韦尔林患失忆症,是因为海马体受到了损伤。长期记忆实际上存在于大脑皮层(cerebral cortex)。在大脑皮层,记忆意味着改变脑细胞之间的链接,构建新的链路,形成新的网络模式。

我们可以认为,现在的人工智能系统是没有长期记忆的。无论是阿尔法狗,还是自动驾驶汽车,都是重复使用已经学习好的模型或者已经被人工定义好的模型,不具备不断获取信息和知识,并把新的信息与知识加入到系统中的机制。假设人工智能系统也有意识的话,那么其所感受到的世界和克莱夫·韦尔林是一样的,那就是,只有瞬间到瞬间的意识。

那么,意识是什么?这是当今科学的最大疑团之一,众说纷纭,莫衷一是。日裔美国物理学家加莱道雄 (Michio Kaku)给出了他的定义。如果一个系统与外部环境(包括生物、非生物、空间、时间)互动过程中,其内部状态随着环境的变化而变化,那么这个系统就拥有“意识”[2]。按照这个定义,温度计、花儿是有意识的系统,人工智能系统也是有意识的。拥有意识的当前的人工系智能系统缺少的是长期记忆。

具有长期记忆将使人工智能系统演进到一个更高的阶段。这应该是人工智能今后发展的方向。

智能问答系统
未来人工智能技术不断发展,预计将会出现智能性的问答系统,系统包括语言处理模块、短期记忆、长期记忆、中央处理模块(如图2所示)。有大量的结构化的、非结构化的信息和知识作为输入,也有大量的问答语对作为训练数据。系统能够自动获取信息与知识,掌握语言理解与生成能力,将信息和知识处理存储到长期记忆,理解用户用自然语言提的问题,利用记忆的信息与知识给出正确的答案。

图2 智能问答系统
在某种意义上,现在已经存在这种系统的原型,例如,互联网搜索引擎就可以看作是其简化版。但是要真正构建人类的智能信息助手,还有许多难关要攻克,有许多课题要解决。

知识问答的本质问题是:

(1)语义分析,即将输入的自然语言的表示映射到内部的语义表示;

(2)知识表示,即将输入的信息知识转换为内部的语义表示。最大的挑战来自语言的多义性和多样性,以及知识的模糊性。

语言具有多义性(ambiguity),也就是说一个表达可以表示不同的意思。下面是语言学家查尔斯·菲尔默(Charles Fillmore)给出的例子。英语单词climb,其基本语义是四肢用力沿着一条轨迹向上移动,表示“向上爬”的意思。所以如果用climb造句,大家一般会给出这样的句子“The boy climbed the tree”(男孩爬上了树)。但是climb一词的语义会向不同方向扩展,可以说“Prices are climbing day by day”(物价每日飙升),这里climb就没有了四肢用力移动的意思。也可以说“He climbed out of a sleeping bag”(他从睡袋中爬出),这里climb就没有了向上移动的意思。语言的词汇都具有如下性质:有一个核心的语义,对应一些典型说法,可以由一些特征表示。但部分特征可以缺失,形成新的语义,产生新的说法。语言中,除了词汇的多义性,还有句法的多义性。

同时语言也具有多样性(variability),也就是说多个表达可以表示同一个意思。比如,“地球和太阳的距离”,“地球离太阳有多远?”,“太阳和地球相隔有多少公里?”等,都是同义表达。

人们的知识,特别是常识,具有模糊性(fuzziness)。下面是人工智能研究的先驱者特里·维诺格拉特(Terry Winograd)给出的例子。英文中,bachelor是指未婚成年男性,即单身的意思。看似是一个明确的概念,但是当我们判断现实中的具体情况时,就会发现我们对这个概念的认识是模糊的,比如,未婚父亲是否是bachelor?假结婚的男子是否是bachelor?过着花花公子生活的高中生是否是bachelor?大家并没有一致的意见。

神经符号处理
近年,深度学习给自然语言处理带来了巨大变化,使机器翻译、对话等任务的性能有了大幅度的提升,成为领域的核心技术。但是另一方面,深度学习用于自然语言处理的局限也显现出来。面向未来,深度学习(神经处理)与传统符号处理的结合应该成为一个重要发展方向,神经符号处理(neural symbolic processing)的新范式被越来越多的人所接受,其研究也取得初步进展。

图 3 基于神经符号处理的智能问答系统
深度学习用实数向量来表示语言,包括单词、句子、文章,向量表示又称为神经表示(neural representation)。神经表示的优点在于其稳健性,可以更好地应对语言的多义性和多样性,以及语言数据中的噪音。另一方面,传统的符号表示(symbolic representation)的优点在于其可读性和可操作性。语言是基于符号的,计算机擅长的是符号处理,用符号表示语言处理的结果是自然的选择。神经符号处理旨在同时使用神经表示与符号表示来描述语言的语义,发挥两者的优势,更好地进行自然语言处理。

基于神经符号处理的智能问答系统也是由语言处理模块、短期记忆、长期记忆、中央处理模块组成,如图3所示。语言处理模块又由编码器和解码器组成。编码器将自然语言问题转换为内部的语义表示,存放在短期记忆中,包括符号表示和神经表示。中央处理模块通过问题的语义表示,从长期记忆中找出相关的信息和知识。长期记忆中的信息和知识也是基于符号表示和神经表示的。找到相关的答案后,解码器把答案的语义表示转换为自然语言答案。

最新进展
实现问答系统有三种方法,分别是基于分析的、检索的、生成的方法。通常是单轮对话,也可以是多轮对话。这里考虑单轮的基于分析的问答系统。

传统的技术是语义分析(semantic parsing) [3]。基于人工定义的语法规则,对问句进行句法分析以及语义分析,得到内部语义表示——逻辑表达式。语义分析需要人工定义句法,开发成本较高,可扩展性不好。

近年,基于神经符号处理的问答系统的研究有了很大突破。可以从数据出发,完全端到端地构建问答系统。不需要人工干预,只需要提供足够量的训练数据。问答的准确率也有了一定的提升。传统的语义分析技术被颠覆。下面介绍几个有代表性的工作。

脸书(Facebook)的韦斯顿(Weston)等人提出了记忆网络(memory networks)框架[4],可以用于如下场景的问答:

John is in the playground.
Bob is in the office.
John picked up the football.
Bob went to the kitchen.
Q: where is the football?
A: playground.
记忆网络由神经网络和长期记忆组成。长期记忆是一个矩阵,矩阵的每一个行向量是一个句子的语义表示。阅读时,记忆网络可以把给定的句子转换成内部表示,存储到长期记忆中。问答时,把问句也转换成内部表示,与长期记忆中每行的句子语义表示进行匹配,找到答案,并做回答。

谷歌DeepMind的格拉夫(Graves)等发明了可微分神经计算机(differentiable neural computer)模型[5]。该模型由神经网络和外部记忆组成。外部记忆是一个矩阵,可以表示复杂的数据结构。神经网络负责对外部记忆进行读写,它有三种类型,拥有不同的注意力机制,表示三种不同的读写控制,对应哺乳动物中海马体的三种功能。神经网络在数据中进行端到端的学习,学习的目标函数是可微分的函数。可微分神经计算机模型被成功应用到了包括智能问答的多个任务中。

谷歌的尼拉康藤(Neelakantan)等开发了神经编程器(neural programmer)模型[6],可以从关系数据库中寻找答案,自动回答自然语言问题。模型整体是一个循环神经网络。每一步都是基于问句的表示(神经表示)以及前一步的状态表示(神经表示),还包括计算操作的概率分布和列的概率分布,以及选择对数据库表的一个列来执行一个操作(符号表示)。顺序执行这些操作,并找到答案。操作表示对数据库列的逻辑或算数计算,如求和、大小比较。学习时,整体目标函数是可微分的,用梯度下降法训练循环神经网络的参数。

谷歌的Liang等开发了神经符号机(neural symbolic machines)模型[7]。神经符号机可以从知识图谱三元组中找到答案,回答像“美国最大的城市是哪个?”这样的问题。模型是序列对序列(sequence-to-sequence)模型,将问题的单词序列转换成命令的序列。命令的序列是LISP语言²的程序,执行程序就可以找到答案。神经符号机的最大特点是序列对序列模型表示和使用程序执行的变量,用附加的键-变量记忆(key-variable memory)记录变量的值,其中键是神经表示,变量是符号表示。模型的训练是基于强化学习(策略梯度法)的端到端的学习。

图4 包含查询器的智能问答系统
华为公司的吕正东等开发了神经查询器(neural enquirer)、符号查询器(symbolic enquirer)和连接查询器(coupled enquirer)三个模型[8,9],用于自然语言的关系数据库查询。例如,可以从奥林匹克运动会的数据库中寻找答案,回答“观众人数最多的奥运会的举办城市的面积有多大?”这样的问题。问答系统包括语言处理模块、短期记忆、长期记忆和查询器,语言处理模块又包括编码器和解码器。图4即是这种架构的具体实现。查询器基于短期记忆的问题表示(神经表示)从长期记忆的数据库中(符号表示与神经表示)寻找答案。符号查询器是一个循环神经网络,将问句的表示(神经表示)转换为查询操作(符号表示)的序列,执行操作序列就可以找到答案。利用强化学习,具体的策略梯度法,可以端到端地学习此循环神经网络。神经查询器是一组深度神经网络,将问句的表示(神经表示)多次映射到数据库的一个元素(符号表示),也就是答案,其中一个神经网络表示一次映射的模式。利用深度学习,具体的梯度下降法,可以端到端地学习这些深度神经网络。符号查询器执行效率高,学习效率不高;神经查询器学习效率高,执行效率不高。连接查询器结合了两者的优点。学习时首先训练神经查询器,然后以其结果训练符号查询器,问答时只使用符号查询器。

未来展望
计算机最擅长的是计算和存储,其强大的计算能力已经在现实中展现出巨大的威力,但是其强大的存储能力并没有得到充分的发挥,通常存储的是数据,而不是信息和知识。计算机还不能自动地对数据进行筛选和提炼,抽取信息和知识,并把它们关联起来,存储在长期记忆里,为人类服务。

可以预见,未来会有这样的智能信息和知识管理系统出现,它能够自动获取信息和知识,如对之进行有效的管理,能准确地回答各种问题,成为每一个人的智能助手。人工智能技术,特别是神经符号处理技术,有望帮助我们实现这样的梦想。期盼这一天的到来!

致谢
感谢吕正东、蒋欣、尚利峰、牟力立、殷鹏程等,本文中的很多想法是在与他们合作的工作中产生的。

脚注
¹互联网上有文章和视频介绍克莱夫·韦尔林的生平。

²LISP是List Processing的缩写,是一种早期开发的、具有重大意义的表处理语言。它适用于符号处理、自动推理、硬件描述和超大规模集成电路设计等。

参考文献
[1] Frank L. Learning and Memory: How It Works and When It Fails. Stanford Lecture, 2010.

[2] Michio K. Consciousness Can be Quantified. Big Think, Youtube, 2014.

[3] Percy L. Learning Executable Semantic Parsers for Natural Language Understanding [J]. Communications of the ACM, 2016.

[4] Weston J, Chopra S, Bordes A. Memory Networks[C]// Proceedings of the International Conference on Learning Representations (ICLR), 2015.

[5] Graves A, Wayne G, Reynolds M, et al. Hybrid computing using a neural network with dynamic external memory [J]. Nature, 2016, 538(7626):471.

[6] Neelakantan A, Le Q V, Sutskever I. Programmer: Incing Latent Programs with Gradient Descent[C]// Proceedings of the International Conference on Learning Representations (ICLR), 2016.

[7] Liang C, Berant J, Le Q, et al. Neural Symbolic Machines: Learning Semantic Parsers on Freebase with Weak Supervision[C]// Proceedings of the 55th Annual Meeting of Association for Computational Linguistics (ACL’17), 2017.

[8] Yin P, Lu Z, Li H, Kao B. Neural Enquirer: Learning to Query Tables with Natural Language[C]// Proceedings of the 25th International Joint Conference on Artificial Intelligence (IJCAI’16), 2016:2308-2314.

[9] Mou L, Lu Z, Li H, Jin Z, Coupling Distributed and Symbolic Execution for Natural Language Queries[C]// Proceedings of the 34th International Conference on Machine Learning (ICML’17), 2017:2518-2526.

发布于 5 年前着作权归作者所有

赞同 13

喜欢 1