Подстройка весов скрытого слоя. Рассмотрим
Подстройка весов скрытого слоя. Рассмотрим один нейрон в скрытом слое, предшествующем выходному слою. При проходе вперед этот нейрон передает свой выходной сигнал нейронам в выходном слое через соединяющие их веса. Во время обучения эти веса функционируют в обратном порядке, пропуская величину δ от выходного слоя назад к скрытому слою. Каждый из этих весов умножается на величину δ нейрона, к которому он присоединен в выходном слое. Величина δ, необходимая для нейрона скрытого слоя, получается суммированием всех таких произведений и умножением на производную сжимающей функции:
(см. рис. 3.6). Когда значение δ получено, веса, питающие первый скрытый уровень, могут быть подкорректированы с помощью уравнений (3.5) и (3.6), где индексы модифицируются в соответствии со слоем.
Рис. 3.6. Настройка веса в скрытом слое
.Для каждого нейрона в данном скрытом слое должно быть вычислено δ и подстроены все веса, ассоциированные с этим слоем. Этот процесс повторяется слой за слоем по направлению к входу, пока все веса не будут подкорректированы.
С помощью векторных обозначений операция обратного распространения ошибки может быть записана значительно компактнее. Обозначим множество величин δ выходного слоя через D
k и множество весов выходного слоя как массив W
k. Чтобы получить D
j, δ-вектор выходного слоя, достаточно следующих двух операций:
Умножить о-вектор выходного слоя D
k на транспонированную матрицу весов W’
k, соединяющую скрытый уровень с выходным уровнем.
Умножить каждую компоненту полученного произведения на производную сжимающей функции соответствующего нейрона в скрытом слое.
В символьной записи
D
j = D
kW’
k $[0
j $(I – 0
j)], (3.8)
где оператор $ в данной книге обозначает покомпонентное произведение векторов, О
j – выходной вектор слоя j и I – вектор, все компоненты которого равны 1.
Содержание раздела
