关于神经网络的基础

[diepao172]

  人工神经元（Artificial Neuron），简称神经元（Neuron），是构成神经网络的基本单元，其主要是模拟生物神经元的结构和特性，接受一组输入信号并产出输出。

  激活函数在神经元中非常重要的。为了增强网络的表示能力和学习能力，激活函数需要具备以下几点性质：连续并可导（允许少数点上不可导）的非线性函数。

  可导的激活函数可以直接利用数值优化的方法来学习网络参数。激活函数及其导函数要尽可能的简单，有利于提高网络计算效率。激活函数的导函数的值域要在一个合适的区间内，不能太大也不能太小，否则会影响训练的效率和稳定性。

  Sigmoid 型函数是指一类S 型曲线函数，为两端饱和函数。常用的Sigmoid型函数有Logistic 函数和Tanh 函数。