钢铁侠的AI助理贾维斯，我们还要多久才能拥有？

要在现实生活中拥有钢铁侠的AI助理贾维斯，自然语言处理（NLP）就是出发点。作为人工智能的子领域，NLP能够缩减人与机器之间的交流差距。

机器翻译作为NLP的第一步，经历了从基于规则、基于语法、基于短语至基于神经网络的变革，迎来了商业规模翻译领域的质变飞跃。

NLP不仅应用于机器翻译，还应用于垃圾邮件的辨别、智能虚拟助手、聊天机器人和情绪分析。而NLP的未来在于实现机器的深度学习，到那时，拥有贾维斯不再是梦。

原文来自Hackernoon，作者Ida Jessie Sagina

“贾维斯，你在吗？”

“随时待命，先生。”

托尼·斯塔克随后给出了一系列命令，穿上了他超酷的钢铁侠套装。

贾维斯甚至警告斯塔克先生，要先完成TB量级计算才可以尝试实际飞行，但托尼却自以为是地回答道：“贾维斯，有时侯，你必须在走路前学会跑步”。

这看起来像是与私人助理的普通对话，对吧？

但贾维斯并不是人类，而是一个能够流畅对话，并且全天候提供服务的智能AI助手。

如果你想要在现实生活中重建贾维斯，自然语言处理（下称NLP）将是你要考虑的第一个技术。

NLP属于AI的子领域，它使机器理解语音或文本形式的人类语言，进而减小了人与机器之间的交流差距。

如今市面上已经有了好几个虚拟助手，例如Siri和Cortana，我们是否已经做好了推出贾维斯的准备？让我们回顾一下NLP在过去几十年中的使用，以及它未来的发展方向。

NLP的起源

艾伦·图灵于1950年发表的论文《计算机械与智能》中提出了一个革命性的问题：“机器可以思考吗？”20世纪40年代就在机器翻译中瞥见了NLP，如今流行的“图灵测试”（也被称为模仿游戏）为机器理解复杂的语言学创造了可能。

为了满足图灵的标准，机器必须先理解人类的自然语言，才能构建出类似人类的智能回应。

随后，有许多人试图通过图灵测试。ELIZA、SHRDLU和PARRY都NLP领域的先驱。在NLP研究短暂停滞之后，由美国政府创建的自动语言处理咨询委员会（ALPAC）停止了对NLP研究的资助，NLP在20世纪80年代才迎来了“统计革命”的新领域。

NLP自20世纪80年代以来的发展非常有趣，当时统计方法的应用增长显著。

机器翻译时代

机器翻译可以说是教授机器人类自然语言的起源。Google翻译如今的简单易用可以追溯到20世纪30年代，当时机器翻译开始申请专利。

1954年见证了机器翻译的曙光，科学家进行的Georgetown-IBM实验将60多个俄语句子自动翻译成了英语。在80年代末期，统计型机器翻译（SMT）抢走了规则型翻译的风头。

当时IBM的Candide Project项目人员研究了加拿大议会辩论报告中的法语和英语文本语料库，放弃了语言学规则，选择计算概率。

同时，日本研究团队也开启了基于语料库的翻译或基于示例的机器翻译（EBMT）的研究，该团队曾使用示例或语料库翻译新单词。

直到1994年，Systran的机器翻译可以在几个CompuServe聊天论坛中获取。1997年，AltaVista发布的BabelFish（最古老的在线翻译之一，后来由Yahoo接管）可以在网页浏览器上进行36组语言的翻译。

2001年，研究人员开始提倡基于语法的机器翻译（翻译语法单位而非单词）。2003年至2005年，研究建立了基于短语的机器翻译，这也在2006年推动了Google翻译。Bing和Yandex于2009年和2011年推出了自己的翻译器。

Google为机器翻译悄悄研究了十年循环神经网络，之后Google翻译运用了经庞大的数据集训练的神经网络，迎来了商业规模翻译领域的质变飞跃。

Google翻译的引擎，被称为Google神经机器翻译系统（GNMT），在2016年就可以轻松翻译10,000组语言。

自NMT出现以来，人们一直在尝试混合翻译方法，利用短语或基于规则的机器翻译来弥补NMT的不足。

这是垃圾邮件吗？

被广泛使用的电子邮件作为当前一种数字通信形式，常伴随着垃圾邮件的问题。最初，人们使用IP黑名单和邮件标题检查来识别垃圾邮件，但是这些方法在单独部署时很容易被绕开。

因此，对电子邮件内容以及非文本元素进行分析的需求随之提高，这意味着NLP进入了垃圾邮件领域。1998年，有人提出使用Bayesian方法来过滤垃圾邮件。2002年，同一战线的保罗·格雷厄姆提出了一项商业上可行的垃圾邮件处理计划。

Bayesian方法是统计NLP的最早方法之一，与通常的基于文本的过滤器不同，它可以自动从可能为垃圾邮件的内容中学习新词，并使用其不断扩大的词汇量更好地对邮件进行分类。

Bayesian过滤器通过仔细检查邮件标题内容、词组和短语，降低了误报率，并提高了识别垃圾邮件的准确性，运用于许多现代电子邮件客户端。

为了进一步减少垃圾邮件的数量，Google 在2015年宣布要在垃圾邮件过滤器中运用神经网络，使垃圾邮件率降到0.1％。

嗨，Siri，今天天气怎么样？

NLP领域的重要运动有1962年IBM的Shoebox以及20世纪70年代的Harpy，它们代表数字语音识别的前身。直到20世纪80年代中期，Hidden Markov被认为是语音建模中的高效方法。

IBM开发的Watson在问答节目Jeopardy!中取得了胜利。2011年，智能虚拟助手势头强劲，苹果在同年的iPhone 4S上推出 Siri。

2014年，Amazon在智能扬声器Echo中引入了Alexa。Google Assistant（最初称为Google Now）和Microsoft的Cortana也紧随其后。

AI语音助手迅速入驻应用程序和设备（例如Google Home）。截止2019年1月，Amazon销售了超过1亿台配备Alexa的设备。

聊天机器人的降临

虚拟助手有了一个近亲——聊天机器人，由AI驱动，可以通过通讯App和在线聊天来进行近似人类的对话。

ELIZA（1966）、PARRY（1972）和试图讲笑话的Jabberwacky（1988）之类的聊天机器人，提出了人机对话的概念。随着计算机语言和自然语言处理技术的进步，AI聊天机器人现在可以通过了解用户意图、提供相关输入来与用户进行顺畅的对话。

因AI聊天机器人能够提供全天候服务，解决客户投诉等简单问题，客户服务得到了极大的提高。到2021年，由NLP支持的AI聊天机器人可以完成全球15％的客户交互服务。

察觉言语背后的情绪

除了单纯的文本分析之外，研究人员还在努力识别高度非结构化内容以及语境意义。波·庞等人于2002年完成了早期关于辨别网络上电影评论的消极还是积极的计算机语言技术（Naive Bayes、SVM和MaxEnt）的研究。

随后，波·庞和莉莲·李在2004年发表论文，探讨了将“主观性”（表达作者自己的观点和特定词语的相关性）带入情感分类的根本影响。

这些文章，以及彼得·T·特尼的文章，在NLP领域掀起了一场革命，因为网络上日益增长的语言交流（社交媒体、博客、新闻推送）都是为了理解人们的想法而开发的。

情感分析通常也被称为观点挖掘。路透社等信息巨头都开发了自己的内部情感引擎，来衡量千家公司的新闻情绪，以改善交易决策。

直到2009年，Google根据他们的研究论文和专利，改进了搜索引擎。这些研究论文和专利探索了情绪分析，以总结基于情绪的评论。

2010年，Twitter的信息也被用于分析，以评估英国大选期间的公众舆论。一家名为Linguamtics的公司检查了超过13万个Twitter帐户。

尽管人们对分析和结果持怀疑态度，但它足以使科技界兴奋不已，导致他们也想对2012年的美国总统大选进行尝试。据2015年报道，Intel和IBM等行业的领导者使用情绪分析技术来解读员工的情绪。

表情符号、讽刺以及语言的复杂性给情绪分析带来了挑战，然而各公司还是迅速投资情绪分析技术，以理解公众情感、扩大客户体验并收集消费者见解。

NLP的未来在哪里？

除了本文提到的NLP的主要应用之外，NLP也可以解决主题建模、文档摘要和字符识别等问题。

当前NPL场景主要以深度学习为主。在回归神经网络的驱动下，基于深度学习的NLP正在使用卷积神经网络进行实验。

而该算法已被证明对情感分析、问题解答系统和机器翻译在一定程度上有效。深度学习模型还用于加速或整合NLP任务，包括词性标注、语法分析和命名实体识别。

人们对NLP越来越兴奋，也许十年后，贾维斯就会成为现实，而你就可以去拯救世界了。