全连接神经网络模型

[jiegou157]

全连接神经网络模型
霍普菲尔德网络（Hopfield net）：由约翰·霍普菲尔德发明的全连接神经网络模型，根据不同的输入状态，该模型都能保证收敛成固定的吸引子形态，可以用来存储和提取信息。对该网络进行过探讨的文章有上千篇。该网络通常称为霍普菲尔德神经网络。
霍普菲尔德神经网络的每个单元由运算放大器和电容电阻这些元件组成，每一单元相当于一个神经元。输入信号以电压形式加到各单元上。各个单元相互联结，接收到电压信号以后，经过一定时间网络各部分的电流和电压达到某个稳定状态，它的输出电压就表示问题的解答。
霍普菲尔德提出的神经网络模型有两个重要成分，即储存信息和提取信息。在典型的对称性霍普菲尔德模型中，其系统的动力学趋于使能量函数达到最小值，生物学的噪声或神经元的背景活动可用温度表征，这就使神经网络具有统计力学或热力学的特性。
霍普菲尔德模型及其统计力学理论不仅增加了神经网络的理论概念，还发展了神经网络的计算方法，解决了网络中神经单元数与储存模式数量之间的关系，以及网络噪声与神经单元储存效率之间的关系。
霍普菲尔德提出的能量函数和网络自由能概念是其理论的基石。网络从高能状态到达最小能量函数状态，则得到收敛，给出稳定的解，完成网络功能，这是该理论的核心思想。这种理论实际上把脑看成由大量结构简单、动作相同的单元组成，与固体物理学的模型——自旋玻璃(spin glass)相似，每个单元的方向和位置是随机的，由这些单元在相空间相互竞争所确定。
对于整个网络来说，如果各神经元之间的联结强度是对称的，且其变化是非同步的，那么网络不断变化，进行迭代直至收敛于某一点；如果网络中全部神经元的变化是同步的，那么网络变化是周期性的；如果各神经元之间的联结是非对称性的 ，那么网络可出现定点收敛、周期性变化和混沌等三种状态。