人工神经网络的第一块重要基石
约翰·霍普菲尔德(John Joseph Hopfield)出生于1933年7月15日。
1954年获得斯沃斯莫尔学院物理学学士学位。1958年在康奈尔大学获得博士学位。
他早期聚焦于物理化学和凝聚态领域研究。后来在贝尔实验室工作期间,对分子生物学产生了浓厚兴趣。
比如Hopfield,他曾利用他在物理学的背景来探索分子生物学的理论问题。
当他被邀请参加一个关于神经科学的会议时,他遇到了关于大脑结构的研究。他对所学到的东西感到着迷,并开始思考简单神经网络的动态。
当神经元一起作用时,它们可以产生新的和强大的特性,这些特性对于只观察网络单独组件的人来说并不明显。
1980年,Hopfield离开了他在普林斯顿大学的职位,他的研究兴趣已经超出了他在物理学的同事们工作的领域,他跨越大陆搬到了加利福尼亚州帕萨迪纳的加州理工学院(Caltech),那里他可以免费使用计算机资源进行实验,并发展他对神经网络的想法。
然而,他并没有放弃他在 物理学方面的基础,并在其中找到了灵感,理解了如何系统地使用许多小组件一起工作可以产生新的和有趣的现象。
他特别受益于对 磁性材料的学习,这些材料由于它们的原子自旋——一种使每个原子成为微小磁铁的属性——具有特殊特性。
邻近原子的自旋相互影响;这可以允许形成自旋方向相同的域。他能够通过使用描述材料如何发展的物理学来构建一个具有节点和连接的模型网络,当自旋相互影响时。
大脑的神经网络是由具有先进内部机制的活细胞神经元构成的。它们可以通过突触向彼此发送信号。当我们学习事物时,一些神经元之间的连接变得更强,而其他连接变得更弱。
人工神经网络是由编码有值的节点构建的。节点相互连接,当网络被训练时,同时活跃的节点之间的连接变得更强,否则它们变得更弱。
Hopfield构建的网络节点通过不同强度的连接相互连接。
Hopfield等人之后更进一步深入研究霍普菲尔德网络,包括可以存储任何值的节点,不仅仅是0或1。
如果将节点视为图片中的像素,它们可以有不同的颜色,不仅仅是黑色或白色。
不过记住一个图像是一回事,解释它所代表的内容是另一回事。
即使是非常小的孩子也可以指向不同的动物,并自信地说它是狗、猫还是松鼠。
当Hopfield发表他的联想记忆文章时,Hinton正在卡内基梅隆大学工作。
他之前在英国和苏格兰学习实验心理学和人工智能,并想知道机器是否能够以类似于人类的方式学习处理模式,为排序和解释信息找到自己的类别。
Hinton:现在是图灵诺贝尔双料得主
Hinton的研究正是 建立在霍普菲尔德神经网络之上。
当时Hinton在卡内基梅隆大学工作,他之前曾在英国研究过实验心理学和人工智能,想知道机器是否可以学习,是否可以与人类类似的方式处理信息。
玻尔兹曼机与今天的深度神经网络一样,可以从例子中学习,通过更新网络连接中的值来进行训练。
最初版本的玻尔兹曼机效率相当低, 到20世纪90年代,许多研究人员对人工神经网络失去了兴趣,Hinton是少数坚持下来的人。
到2006年,他和同事们一起在玻尔兹曼机的基础上开发了 “深度信念网络”( Deep Belief Nets) ,其中提出了无监督的逐层训练方法,后来成为深度学习的基础。
参考链接:
[1] https://www.nobelprize.org/
[2]https://www.cs.toronto.edu/~fritz/absps/ncfast.pdf
滚出我的世界 | 6天前 |
界面设计还可以,但是有些功能需要进一步完善,希望能够更新改进。 |
糖果女神 | 2天前 |
使用这个app的过程中频繁闪退,根本无法正常使用,非常失望! |
快乐小天使 | 3天前 |
在使用这个app的过程中,我从未遇到过任何卡顿或者卡死的情况,流畅度绝对赞! |
雾散 | 9天前 |
功能简单到不能再简单了,几乎没有任何实用价值,纯粹是个摆设! |
爱人终究会碍人 | 7天前 |
大家可以去试一下哦,每天必刷的app,好用就完事了,真的很不错。 |
温荼清风 | 1天前 |
操作便捷,方便快捷! |
送别离君已忘 | 6天前 |
功能很强大 |
糖果女孩 | 8天前 |
总体来说还可以,但是希望能够增加一些更多样化的功能,提升使用乐趣。 |
火箭少女 | 6天前 |
使用这款app的时候,我真的没有遇到过任何流畅度方面的问题,完美的使用体验! |
寒光竹影 | 4天前 |
稳定可靠,从未崩溃过! |