强人工智能：抑制神经元的意义

问题导读

1.什么是抑制神经元？
2.抑制神经元的意义是什么？
3.抑制神经元是如何产生的？







版本：0.1



在计算机中，二进制是最基本的计数单元，这也是能够表达信息所使用的最小进制。而实际上当今大部分计算机的CPU计算的带宽已经到了32或者64位，而内存、显卡的芯片位数已经提高到了256，甚至更高。这些数字都是二进制的倍数，所以能和二进制很容易的转换。二进制是由1和0组成的，我们可以给不同的1和0不同的含义。通常情况下1和0就是“有”和“无”。很少会用来表达，“正”和“负”。“正负”通常是在“1”和“0”的基础之上构建的概念，而不是直接用“1”和“0”来表达。比如一般计算机内用数个字节表示一个数字，只用最高字节的最高位作为符号位，即正负。其它位都用来表达数值本身。



人脑中的处理数据的进制是多少呢？人脑是一个模拟的计算系统，不是为了精确的数值计算优化的。从细胞层面来看，每个神经元细胞有成千上万的连接，可以认为是无法衡量的。假设神经元整合的结果只有“有”和“无”，则可以看作是二进制的。但神经元内部也许不是简单的1和0，内部可能会对输入的信号进行累计。而不像普通计算机一样，每次计算完后就重置状态。



人脑中的神经元在整合信号后，若达到了阈值则会发出信号。而发出的信号有些可能会让下一级继续发出信号，有些则会减小下一级发出信号的可能性。这些能发出减弱下一级信号的神经元就是抑制神经元。在生物中，抑制信号是依靠不同的介质实现的，在计算机中如果要实现抑制，可以依靠正负值来实现。

那么抑制神经元的意义是什么呢？假设神经网络中有足够的能量，且网络已经充分发展了，不会产生振荡。当输入信号不断进入时，神经网络也在不停地进行计算。假设系统中没有抑制神经元，大部分神经元在不停地响应外界的输入，在达到阈值时产生输出。我们先从单个神经元的思考层次上提高，思考一下大规模神经元的行为。在信号不停的输入下，网络的能量在不停的转换，信号在不停的往正确的目的神经元传送。一旦信号到达了正确的目的神经元，则系统能够正确的响应输入了，要么整个系统的知识更新完成了，要么开始产生输出了。至此为止，还没有什么问题。但下一个输入可能是和当前的内容风马牛不相及的，整个系统需要对新的信息进行新的处理。这时候由于没有抑制神经元，整个神经系统的状态转换可能就会滞后，从而无法对外界输入及时响应。



我们也可以从逻辑和现实世界上推导出抑制神经元的意义。假设有一个轨道，上面有个小车。这个小车可在轨道上前、后移动，且移动中会有一定的摩擦力。假设只能给轨道上的小车向前的力。那么小车可以按照需要向前运动，从而到达远处的目的地。假设需要让小车停在离目的地一定误差范围内的位置，要么在给小车向前的推力时精确计算从而使小车能够正好在目的地附近使得推力和阻力相抵消而停下来，要么通过施加阻力来精确控制小车的前进速度，甚至让其倒退来到达目的地。由此看到，如果只能对小车施加推力，即使通过用很小力度的不断尝试，也有可能一下子超过了目的地，一旦超过则无法回退。而在能对小车施加阻力的情况下，不需要太精确的控制力度，在推力、阻力的不断迭代下，最终是能够将小车停在目的地上的。在真实情况中，摩擦力可能不是恒定的，每次预计施加的推力和实际的推力可能也不一致，如果仅通过调整推力来控制小车停下来的位置是非常难的。由此，抑制机制的好处显而易见，它可以大大降低计算复杂度，从而通过较粗糙的控制和简单的计算迭代出较精确的结果。



除了能够减少计算复杂度外，再来看看抑制神经元在神经网络中其它可能的作用。神经网络有一个很重要的功能，就是联想。小范围的联想也可称其为预测。联想是智能很重要的一个功能和表现。如果一个系统没有联想和预测功能，基本就只能滞后地处理输入，没法称其为智能系统，或者可认为外界无法知道其是一个智能系统。而抑制神经元在联想的过程中可用作整合和比较联想、预测结果，及时“刹车”。从而让系统能够在预测失败后能够尽快调整，以便基于新的输入进行新的预测，从而有机会提前产生响应。联想也是如此，通过抑制神经元屏蔽掉无用的联想，使得选择出的神经元能够更快的和上下文联系起来。



问题是，抑制神经元是如何产生的？有两种可能性：1）也许在大脑生长过程中，抑制神经元就以一定的比例出现了，它们和普通神经元的自组织形式类似，唯一区别是它们的输出的是抑制信号。2）另一种可能性是抑制神经元是一些普通神经元转化而来。可能有某种刺激的存在，从而造成其发生质的变化。这种假设的挑战是，如果一个神经元转化成了抑制神经元，那么它的所有突触的意义就翻转了。这个翻转是否有现实意义呢？

在神经网络中，抑制神经元也许代表着某一类特殊的模式。当发现某些模式在很大规模下仍然无法有效的完成任务，就可以通过添加抑制神经元的方法来优化。但这种方法的前提是依靠全局的优化，而不是神经元的自组织的方法。神经元自组织时也许很难发现长程上的问题，但很多规模上的效率也许是能在单个神经元的作用范围内判断出来的。

---------------------------
http://www.cnblogs.com/squirrel_sc