以这一方法为代表的深度学习技术迅速取得突破，也让辛顿一鸣惊人。作为目前人工智能领域当仁不让的头号人物，辛顿已经成为各大有志于在人工智能市场上分一杯羹的互联网巨头们与研究机构们争相邀请的座上宾。这正是对辛顿数十年如一日不懈坚守的回报。当然辛顿有的不光是知识，商业头脑也不差：他和两个学生注册了一家从事深度学习业务的公司DNN Research，整个公司只有他们这三名员工！可就是为了这三个人，2013年谷歌公司愣是豪掷数千万美元，击退了微软和百度等竞争对手，将DNNResearch收入帐下，正所谓“千金易得，一将难求”，这也从侧面验证了培根爵士那句老话：知识就是力量！
在1992到1993年间，辛顿以极高的效率在一年多的时间里写了200多篇论文，介绍神经网络在学习、记忆、感知和符号处理方法的研究进展。遗憾的是，这些宣传的效果并不理想，直到2004年，关于人工神经网络的研究依然门庭冷落。好在学界的后知后觉并没有影响辛顿的热情，针对业界通过纯粹的监督训练无法构建神经网络的观点，辛顿创造性地提出了非监督训练（Un-supervised Training）的方法，在不知道整个网络应该输出的正确结果的前提下采用逐层训练的方式。随着大数据概念的诞生与处理技术的发展，基于海量数据的无监督学习迅速展现出无与伦比的优势，在其驱动之下的人工智能则一扫往日的阴霾，再次一飞冲天。
当然说到辛顿，就不能不说他背后显赫的家族：辛顿的父亲霍华德·辛顿（Howard Everest Hinton）是位英国的昆虫学家，专门研究甲壳虫，在专业领域的成就虽然不如儿子，却也十分了得：因研究墨西哥水生甲壳虫获得了剑桥大学的博士学位，在伦敦自然史博物馆和布里斯托大学供职，一生还高产地发表了309篇学术论文！
1989年，辛顿和他的学生燕乐存（Yann LeCun）将反向传播算法应用到神经网络的训练之中，并应用这一算法实现了一个实际任务——将使用反向传播算法训练的神经网络应用于手写邮政编码的识别。五花八门的手写字体对计算机按规则执行任务的运行模式构成了巨大的挑战，但辛顿的研究应用了来自美国邮政的大量数据资料，证明了神经网络完全足以胜任识别任务，也给深度学习的诞生夯实了基础。
1985年，辛顿和约翰霍普金斯大学的特里·赛诺斯基（Terry Sejnowski）共同发明了玻尔兹曼机（Boltzmann Machine）。玻尔兹曼机的结构和神经网络类似——由大量基本单元构成的多层网络，但其单元的特性依赖于概率分布而非确定性的决定方式，这一特征显然来源于热力学中的玻尔兹曼分布。这样的特征不仅决定了玻尔兹曼机的数学方法，也决定了它的推理方法：网络中的单元本身拥有能量和状态，学习是由最小化系统能量和热力学直接刺激完成的。当这样的单元聚集在玻尔兹曼机中，它们就形成了一个图形模型：在给定某些代表可见变量的可见单元的已知值后，就可以计算某些隐藏单元的出现概率。这一描述构成了今天绝大多数学习算法的理论框架，玻尔兹曼机的科学意义在于它能够引导出独立于应用领域的一般性学习算法，这种算法会以整个网络发展出的基于周围环境的基础结构的内部模型修改单元之间的联系强度，进而达到更精确的输出（是否想到阿尔法狗呢？）
图10-5 韩丁与寒春（辛顿像不像他们）
1978年，辛顿在英国爱丁堡大学获得了人工智能的博士学位，也开始了他宏伟的研究计划：利用计算机硬件和软件来模拟人类大脑，创建一个纯粹的人工智能。这种方式后来被命名为“深度学习”，辛顿也就成为了深度学习的鼻祖。但由于当时计算机软硬件发展水平和训练数据数量的限制，深度学习在诞生初期并没有取得良好的效果，支持向量机（Support Vector Machine）等更加简便易行的算法逐渐占据了学界的主流。但辛顿一直没有放弃自己的信念，他坚信大脑有其独特的运行机制，而大脑的运行机制和当时数字计算机的运行机制完全不同，将给计算机编程的那些套路套用在人工智能上肯定是行不通的。
但对于我们中国人来说，更加熟悉的是霍华德·辛顿的两位表亲，杰弗雷·辛顿的两位表叔/姑：威廉·辛顿（William Hinton）和琼·辛顿（Joan Hinton）。这两位中国人民的老朋友都有中国名字：一位叫韩丁，一位叫寒春。韩丁作为农业机械化的专家，曾受聘为联合国粮农组织中国项目专家和中国农业部高级顾问，其反映新中国土地改革的纪实文学《翻身——中国一个村庄的革命纪实》则向西方世界打开了一扇关于中国革命的窗口。韩丁的妹妹寒春则是第一位获得中国绿卡的外国人，曾经参与曼哈顿计划的寒春是一位优秀的核物理学家，来到中国后在奶牛业和农业机械化事业作出了巨大贡献，2010年于北京辞世。
20世纪60年代，当全世界的计算机科学家为符号主义的成果而欢欣鼓舞时，彼时的剑桥大学心理学本科生辛顿却认为他们并没有真正地理解大脑。心理学的背景让辛顿敏锐地发觉，神经元的学习方式才是人工智能研究的核心问题。在他的心目中，大脑如同一张全息图，要探索这张全息图的奥秘，研究神经网络是唯一的途径。在多层神经网络中，隐藏层可以发现数据的内在特点，后续层就可以基于这些特点进行操作，但如何驾驭百万甚至上亿数量级的神经元之间那天文数字一般的组合关系却是无法回避，看起来也无法解决的一道难题。
再往上数三代，辛顿的家世同样声名赫赫：韩丁和寒春的祖母玛丽·艾伦（Mary Ellen）——也就是杰弗雷·辛顿的曾祖母——有个妹妹，叫做艾捷尔·伏尼契（Ethel Voynich），是小说《牛虻》的作者。这部描述意大利革命党人“牛虻”人生经历的作品在欧洲反响平平，却在千里之外的苏联和中国引起轰动，这位坚强又不失浪漫的革命志士在国内风靡数十年，其英雄形象影响了一代又一代国人。
反向传播这一数学方法在20世纪60年代就已经诞生，将其引入神经网络也并非辛顿的首创。但辛顿在前人的基础上更进一步，将反向传播算法发扬光大，才带来了今天人工智能的宏伟蓝图。
辛顿对人工智能的第一个贡献在于将反向传播（Back Propagation）算法引入了多层神经网络的训练当中。虽然小小的异或问题就可以让单层神经网络束手无策，但多层结构的引入就可以使得神经网络能够在理论上执行任何线性或是非线性的函数表达。可多层结构的引入又会带来新的问题：罗森布拉特提出的简单的学习方法无能为力，多层神经网络的训练需要新的算法。
图10-6 乔治·布尔
这位天才，就是杰弗雷·辛顿。
艾伦和伏尼契的父亲更是位非凡人物——大名鼎鼎的英国数学家、教育家、哲学家和逻辑学家乔治·布尔（George Boole）。布尔代数、布尔电路、布尔类型、布尔表达式、布尔函数、布尔模型——在各种各种的学科中都能觅得这位大师的踪影。但牛人如布尔也绝对不会想到，他的一位后代会给人工智能这个学科的面貌带来翻天覆地的变化。
明斯基对感知机的批判一度让人工智能的连接主义学派走入绝境，在长达20年的时间中无人问津。从今时今日看来，也可以把这段时期理解为黎明前的黑暗，所有的沉寂与蛰伏，都只为等待一位天才人物的出现。
所以说基因这个东西，还真是不得不信呢！