前馈神经网络中,神经元分层排列,组成输入层、隐含层和输出层。每一层的神经元只接受前一层神经元的输入。输入模式经过各层的顺次变换后,由输出层输出。在各神经元之间不存在反馈。
反馈型神经网络中,从输出层到输入层存在反馈,即每一个输入节点都有可能接受来自外部的输入和来自输出神经元的反馈。这种神经网络是一种反馈动力学系统,它需要工作一段时间才能达到稳定。
神经网络学习的目的是通过调整权值,使误差准则函数最小。
BP算法中,权值的调整采用梯度调整法来实现,其基本思想是沿着误差准则函数的负梯度方向不断修正权值,直到误差准则函数达到最小。