从图灵测试到 Transformer梳理 AI 发展过程中的关键转折理解机器学习、深度学习和大语言模型之间的关系。文章目录01 一切从一个问题开始机器能思考吗02 两条路线写规则还是让机器自己学03 AI第一次撞上现实04 不再写规则让机器从数据中学习05 文字这边的难题从RNN到Attention06 2017Transformer出现07 总结01 一切从一个问题开始机器能思考吗1950年英国数学家艾伦·图灵发表了一篇论文《Computing Machinery and Intelligence》。论文开头他就问了一个问题机器能思考吗但他很快发现这个问题没法讨论因为“思考”到底是什么谁也说不清楚。于是他换了一个可以验证的问法假如你只能通过打字和两个对象聊天一个是人一个是机器聊完之后你分不出哪个是机器那是不是就可以认为这台机器表现出了智能这就是后来所说的图灵测试。这个思路很聪明。它绕开了“机器有没有意识”这种吵不出结果的哲学争论只看行为看机器能不能表现得和人一样。图灵测试后来成了衡量机器智能的一个重要参照。不过这个定义也遇到了反对的声音。1980年哲学家约翰·塞尔提出了一个著名的思想实验叫“中文屋”。假设你完全不懂中文被关在一间屋子里手边有一本很厚的规则手册。外面不断递进来写着中文的纸条你只需要照着手册查找到对应的回答再抄出去。屋外的人看你对答如流会以为你精通中文。所以“表现得像人”和“真正理解”到底是不是一回事这个争论到今天也没有结论。现在我们每天和大模型聊天这个问题又摆到了眼前。02 两条路线写规则还是让机器自己学1956年夏天一批研究者在美国的达特茅斯学院开了一个为期几周的研讨会。会议的发起人之一约翰·麦卡锡在提案里用了“人工智能”这个词后来这个词就成了这门学科的名字这次会议也通常被看作AI的起点。当时的研究者们大多有一个很朴素的想法智能的核心是推理推理可以用符号和逻辑来表示。比如“鸟会飞”“麻雀是鸟”把这样的知识写成一条条规则再让机器按照逻辑去推导机器就能得出结论麻雀会飞。这一条路被称为符号主义。差不多同一时期另一批人走了完全不同的路。1958年弗兰克·罗森布拉特提出了感知机。它模仿的是大脑里的神经元接收多个输入每个输入有一个权重代表这个输入有多重要把加权之后的结果加起来超过某个阈值就输出1否则输出0。比如判断一封邮件是不是垃圾邮件各种特征的权重不用人来指定而是让机器看大量的样本自己一点点调整出来。这就是另一条路连接主义。它认为智能来自大量简单单元之间的连接知识不是写在规则里的而是存在连接的强弱也就是权重里。学习的过程就是根据数据不断调整这些权重。两条路线的区别用一句话概括就是符号主义靠的是写一本规则书连接主义靠的是编织一张会学习的网络。在接下来的几十年里这两条路线轮流占上风也一直在互相较劲。03 AI第一次撞上现实这两条路线都没能一直走得顺。符号主义这边每一步推理都看得见出了错也容易查原因在数学定理证明、专家诊断这类规则比较明确的领域早期确实做出了一些成果。但它有个绕不开的前提规则得由人来写。现实世界里的例外太多写了鸟会飞就得再补上企鹅不会飞补完企鹅还有受伤的鸟、没学会飞的雏鸟规则越写越多永远写不完。连接主义这边的麻烦来得更直接。1969年马文·明斯基和西摩·派珀特出版了《Perceptrons》指出单层感知机连XOR这样简单的问题都解决不了。XOR异或的规则是两个输入相同就输出0不同就输出1。把四种输入画在平面上输出为1和输出为0的点交错分布怎么画都没法用一条直线把它们分开。这本书给神经网络研究泼了一盆冷水这条路线渐渐没什么人愿意投入了。AI进入了第一次低谷后来被称为“AI寒冬”。好在寒冬没有一直持续。到了80年代专家系统让AI重新火了起来。做法还是老办法把领域专家的知识整理成规则交给机器。DEC公司的XCON系统会根据客户订单自动配置计算机实际省下了不少钱企业也因此愿意为AI掏钱。但专家系统很快又碰到了老问题规则要靠人来写越写越多维护起来越来越贵热度没多久就退了下去。04 不再写规则让机器从数据中学习规则写不完那就不写了让机器自己从数据里找规律这就是机器学习的基本想法。感知机其实就是这么做的权重不是人定的而是机器从样本里调出来的。可惜它被XOR卡住了加上当时的数据和算力也都不够这条路没能走远。转机出现在1986年。把很多个感知机一层一层叠起来就成了多层神经网络能力比单层强得多XOR这样的问题也能解决难点只是怎么训练它。大卫·鲁梅尔哈特和杰弗里·辛顿等人推广的反向传播算法解决的就是这件事网络算错了就把误差一层一层倒着传回去告诉每一层该怎么调整。不过神经网络并没有就此一路顺风。进入90年代数据逐渐变多算力也在提升机器学习成了主流但当时用得最多的是统计类的方法比如决策树、支持向量机神经网络反而没那么受重视。那时的机器学习还有一件事得靠人。比如要让机器识别图片里的猫工程师得先想办法把图片转成一组数字特征比如边缘、颜色、纹理再交给模型去学。特征设计得好不好很大程度上决定了最后的效果。写规则变成了设计特征人的负担轻了一些但并没有完全摆脱。要把连特征也交给机器靠的是层数更多的神经网络也就是后来所说的深度学习“深”指的就是层数多。但层数一多训练又变得很困难。2006年前后辛顿提出了训练更深网络的有效办法这类网络才重新受到重视。真正让所有人服气的是2012年。在ImageNet图像识别比赛里一个叫AlexNet的深度神经网络识别准确率比第二名高出一大截。这个成绩背后有三个条件凑齐了ImageNet提供了上百万张标注好的图片GPU让大规模训练成为可能再加上一些训练技巧上的改进网络也更容易训练了。从这一年开始深度学习在图像、语音等任务上接连取得突破成为AI领域最主流的技术。05 文字这边的难题从RNN到Attention但文字的处理是另一回事。图片可以缩放成固定大小一句话却可以很短也可以很长而且词的顺序很重要“狗咬人”和“人咬狗”用的是同样的字意思完全不同。首先要解决的是怎么把词交给神经网络。网络只认数字所以得先把每个词变成一串数字也就是向量。2013年前后Word2Vec让词向量流行了起来意思相近的词向量也会靠得比较近。然后是怎么处理顺序。当时的主流办法是循环神经网络也就是RNN。它像人读书一样从左到右一个词一个词地读每读一个词就把到目前为止读到的内容压缩成一份“记忆”带着它去读下一个词。这个办法很自然但读得越久前面的内容就越容易被冲淡读到结尾前面的基本就忘了。2014年前后机器翻译成了这类模型大显身手的地方。做法是先用一个网络把整句话读完压缩成一个向量再用另一个网络根据这个向量把译文一个词一个词地写出来。问题也很明显不管原句多长都得塞进同一个向量里句子一长信息就装不下了。同一年德米特里·巴达瑙等人想了个办法翻译每个词的时候不再只看那一个压缩后的向量而是回头去看原句里的每个词并判断此刻哪些词更重要。比如译到“苹果”这个词注意力就多放在原句里对应的位置上。这就是Attention也就是注意力机制效果很好很快成了机器翻译的标配。不过RNN还留着一个问题它必须一个词一个词地顺序计算后一步要等前一步算完才能开始没法把计算同时铺开交给GPU。模型和数据越大这个限制就越要命。06 2017Transformer出现既然Attention这么好用RNN又成了拖后腿的那一个那能不能干脆只留Attention把RNN去掉2017年Google的几位研究者发表了一篇论文题目就叫《Attention Is All You Need》提出的新结构叫Transformer。它的核心是自注意力。以前的Attention是翻译时回头看原句自注意力则让一句话里的每个词都可以直接去看这句话里的所有其他词并算出彼此之间的关联程度。比如“小明把苹果放在桌子上然后他吃了它”处理“它”这个词的时候模型会把注意力主要放在“苹果”上指代关系也就能理清了。这样做带来两个好处。一是不用再一个词一个词地顺序读训练时整句话可以同时处理正好发挥GPU并行计算的优势训练速度大大提高模型和数据也就可以做得更大。二是任意两个词之间都直接相连离得再远也不用经过层层传递前面说的“读到后面忘了前面”的问题也就缓解了。Transformer一开始用在机器翻译上很快大家就发现它的用处远不止于此。2018年基于它的BERT和GPT相继出现后来的GPT-3、ChatGPT以及我们今天能用到的大多数主流大模型底层用的基本都是它。从图灵提出那个问题到Transformer出现前后过了差不多七十年。07 总结1950年图灵用一个可以验证的问题给“机器会不会思考”找了个说法1956年AI有了名字研究者分成了符号主义和连接主义两派。规则写不完感知机又被指出有硬伤AI在70年代遇上了第一次寒冬。后来机器学习让机器自己从数据里找规律深度学习又让它连特征也自己学2012年的AlexNet让这条路走通了。到了文字这边RNN顺着顺序读Attention让模型学会了回头看最后2017年的Transformer把顺序读这件事也去掉了。回到开头的问题这些我们总是接触到的AI概念都是什么关系AI是最大的目标机器学习是实现它的一种办法深度学习是机器学习里用多层神经网络的那一支Transformer是深度学习里的一种网络结构最先是为处理文字设计的。大语言模型LLM就是用Transformer搭建、规模做得非常大的模型。