Hinton刚刚在Twitter上开了一个小讨论: 人们反对在设计神经网络时从大脑获取灵感，就像在设计飞行器时从羽毛中获取灵感一样。

△ 「通常，在设计神经网络时，很多人反对从大脑汲取灵感，这就像从羽毛构造中汲取灵感设计飞行器一样。无人机需要的桨叶是不会对撞到的东西造成损坏，还可以通过快速的预处理轻松修复。」

所以，神经网络的设计到底能不能借鉴人类大脑构造？

「能」或「不能」，这是一个问题

前排网友激动讨论：太对了。飞机的设计灵感就来自鸟。大自然向我们展示了如何飞行。AI也是一样。神经网络仍处于不断发展当中，无论何时，只要出现了任何难倒人类但已经被大自然解决的问题，我们都没有理由不去研究大自然的解法，除非我们疯了。

也有网友表示：的确，人类不能像鸟类和昆虫那样以惊人的灵活性（滑行、加速、停止、高效率）「飞行」。对大脑来说，什么是 「飞行」？预测吗？也许吧。神经网络不能像大脑那样执行许多任务。我认为这很有启发性。

也有网友认为：对于分类问题，BP（反向传播）可以被看作是带有特征工程（Feature engineering）的LR（逻辑回归）。

△ 为什么关心这个问题？事情是这样的，在数学中也是如此，你使用一些工具来得到一个或一些想要的结果，如果你运气好的话，过一段时间，你就会明白为什么这些工具真的帮助了你。对于分类问题，BP可以被看作是带有特征工程（Feature engineering）的LR.

还有网友表示：自我保护和自我维持的设计还没有纳入机器的考虑范围。

△ 大脑和鸟类出于生存的需要，进化出了自我修复的能力。无人机和它们撞到的东西被看作是人造的和可替换的。自我保护和自我维持的设计还没有纳入机器的考虑范围。

甚至有网友质疑是否可以将大脑-神经网络与鸟类-羽毛进行对比：

△ 我们必须确定神经网络和大脑之间的关系是否可与羽毛和鸟类（或桨叶和无人机）之间的关系相提并论……不确定是否如此。

也有网友搬出了《大英百科全书》的解释：

羽毛的进化早于鸟类，甚至早于鸟类飞行。因此，早期的羽毛具有保温功能，（……），但不具有空气动力学和飞行功能。(……)羽毛不再被认为是鸟类的独特和诊断性特征。

在反向传播算法出现的好几十年，关于大脑如何学习的理论主要受「赫布理论」（1949）影响，通常被解释为「共同激发的神经元之间存在连接」，即相邻神经元的活动越相关，它们之间的突触联系就越强。

这一理论经过一些修改后，成功解释了某些类型的学习和分类任务。

虽然赫布理论在使用错误信息时，是一种的非常狭窄、特殊且不敏感的方法，但对神经学家来说，它仍然是最好的学习规则，20世纪50年代后期，它甚至激发了第一个人工神经网络的发展。

这些网络中的每个人工神经元接收多个输入并产生一个输出，和真实的神经元一样。人工神经元用一个所谓的「突触」权重(一个表示该输入重要性的数字)，对输入进行加权求和。

到了20世纪60年代，这些神经元可以被组织成一个有输入层和输出层的网络，「人工神经网络」可以被训练来解决某些简单的问题。

在训练过程中，神经网络为其神经元确定最佳权值，以降低误差。

然而直到1986年以前，没有人知道如何有效地训练带有「隐藏层」的人工神经网络，直到Hinton发表了「反向传播算法」相关论文。

反向传播的发明立即引起了一些神经科学家的强烈抗议，他们认为这种方法不可能在真正的大脑中起作用。

首先，虽然计算机可以很容易地在两个阶段实现该算法，但是对于生物神经网络来说，这样做并不简单。

其次，是计算神经科学家所说的权重传递问题: 反向传播算法复制或「传输」关于推理所涉及的所有突触权重的信息，并更新这些权重以获得更高的准确性。

但是在生物网络中，神经元只能看到其他神经元的输出，而不能看到影响输出的突触权重或内部过程。

从神经元的角度来看，「知道自己的突触权重是可以的，你不能知道其他神经元的突触权重。」

任何生物学上似乎可行的学习规则也需要遵守神经元只能从相邻神经元获取信息的限制; 反向传播可能需要从更远的神经元获取信息。

因此，「如果你反向传播信号，大脑似乎不可能计算。」

胶囊网络

2017年，深度学习三巨头之一的Geoffrey Hinton，发表了两篇论文解释「胶囊网络（Capsule Networks）」。

在当时，这是一种全新的神经网络，它基于一种新的结构——胶囊，在图像分类上取得了更优越的性能，解决了CNN的某些缺陷，例如无法理解图片和语义关系、没有空间分层和空间推理的能力等。

在CNN中，左右两幅图都可被网络识别为人脸

甚至，Hinton自己也公开表示过，他要证明为何卷积神经网络完全是「垃圾」，应该以自己的胶囊网络代替。过去三年中，他每年都会推出一个新版本的胶囊网络。

今年2月，Hinton发表了一篇新论文：如何在神经网络中表示部分-整体层次结构？（How to represent part-whole hierarchies in a neural network）

本论文中，他提出了一个叫做GLOM的架构，可以在神经网络中使用胶囊来表示视觉的层次结构，即部分-整体的关系。

GLOM通过提出island的概念来表示解析树的节点。GLOM可以显著提升transformer类的模型的可解释性。可以显著提升transformer类的模型的可解释性。

作为深度学习的大大牛，Hinton提出了反向传播（BP），随后又一直在否定自己的工作，提出了「胶囊网络」还有其他工作来增加生物学上的解释，对于揭开大脑构造和神经网络之谜，他的思考从未停止。