Медведев В.С., Потемкин В.Г. Нейронные сети. MATLAB 6. В. Г. Потемкин

Скачать 14.83 Mb.

Название	В. Г. Потемкин
Анкор	Медведев В.С., Потемкин В.Г. Нейронные сети. MATLAB 6.doc
Дата	26.04.2017
Размер	14.83 Mb.
Формат файла
Имя файла	Медведев В.С., Потемкин В.Г. Нейронные сети. MATLAB 6.doc
Тип	Книга #3790
страница	6 из 50

1 2 3 4 5 6 7 8 9 ... 50

2. МОДЕЛЬ НЕЙРОНА И АРХИТЕКТУРА СЕТИ

2.1. Модель нейрона

2.1.1. Простой нейрон

Элементарной ячейкой нейронной сети является нейрон. Структура нейрона с единственным скалярным входом показана на рис. 2.1, а.

Рис. 2.1

Скалярный входной сигнал p умножается на скалярный весовой коэффициент w, и результирующий взвешенный вход w*p является аргументом функции активации нейрона f, которая порождает скалярный выход a.

Нейрон, показанный на рис. 2.1, б, дополнен скалярным смещением b. Смещение суммируется со взвешенным входом w*p и приводит к сдвигу аргумента функции f
на величину b. Действие смещения можно свести к схеме взвешивания, если представить, что нейрон имеет второй входной сигнал со значением, равным 1. Вход n функции активации нейрона по-прежнему остается скалярным и равным сумме взвешенного входа
и смещения b. Эта сумма является аргументом функции активации f; выходом функции активации является сигнал a. Константы w и b являются скалярными параметрами нейрона. Основной принцип работы нейронной сети состоит в настройке параметров нейрона таким образом, чтобы поведение сети соответствовало некоторому желаемому поведению. Регулируя веса или параметры смещения, можно обучить сеть выполнять конкретную работу; возможно также, что сеть сама будет корректировать свои параметры, чтобы достичь требуемого результата.

Уравнение нейрона со смещением имеет вид

. (2.1)

Как уже отмечалось, смещение b – настраиваемый скалярный параметр нейрона, который не является входом, а константа 1, которая управляет смещением, рассматривается, как вход и может быть учтена в виде линейной комбинации векторов входа

. (2.2)

2.1.2. Функция активации

Функции активации (передаточные функции) нейрона могут иметь самый различный вид. Функция активации f, как правило, принадлежит к классу сигмоидальных^¹ функций
с аргументом n и выходом a.

Рассмотрим три наиболее распространенные формы функции активации.

Единичная функция активации с жестким ограничениямhardlim. Эта функция описывается соотношением a = hardlim(n) = 1(n) и показана на рис. 2.2. Она равна 0, если n <� 0, и 1, если n  0.

Рис. 2.2.

В состав ППП Neural Network Toolbox входит М-функция hardlim, реализующая функцию активации с жесткими ограничениями. Теперь можно построить график этой функции, применяя операторы языка MATLAB:

n = –5:0.1:5;

plot(n,hardlim(n),'c+:');

В результате получим график функции hardlim в диапазоне значений входа от –5 до + 5 (рис. 2.2).

Линейная функция активации purelin. Эта функция описывается соотношением
a = purelin(n) = n и показана на рис. 2.3.

Рис. 2.3.

Логистическая функция активации logsig.Эта функция описывается соотношением
a = logsig(n) = 1/(1 + exp(–n)) и показана на рис. 2.4. Она принадлежит к классу сигмоидальных функций, и ее аргумент может принимать любое значение в диапазоне от – до +, а выход изменяется в диапазоне от 0 до 1. В ППП Neural Network Toolbox она представлена М-функцией logsig. Благодаря свойству дифференцируемости эта функция часто используется в сетях с обучением на основе метода обратного распространения ошибки.

Рис. 2.4.

Символ в квадрате в правом верхнем углу графика характеризует функцию активации. Это изображение используется на структурных схемах нейронных сетей.

В ППП Neural Network Toolbox включены и другие функции активации. Используя язык MATLAB, пользователь может создавать и свои собственные уникальные функции.

2.1.3. Нейрон с векторным входом

Нейрон с одним вектором входа p с R элементами p₁, p₂, …, p_R показан на рис. 2.5. Здесь каждый элемент входа умножается на веса w₁₁, w₁₂, … , w₁_R соответственно и взвешенные значения передаются на сумматор. Их сумма равна скалярному произведению вектора – строки W на вектор входа p.

Рис. 2.5

Нейрон имеет смещение b, которое суммируется со взвешенной суммой входов.
Результирующая сумма n равна

n = w₁₁ p_{1 +} w₁₂ p₂ + … + w_1R p_R + b (2.3)

и служит аргументом функции активации f. В нотации языка MATLAB это выражение записывается так:

n = W*p + b. (2.4)

Структура нейрона, показанная выше, содержит много лишних деталей. При рассмотрении сетей, состоящих из большого числа нейронов, будет использоваться укрупненная структурная схема нейрона (рис. 2.6).

Рис. 2.6

Вход нейрона изображается в виде темной вертикальной черты, под которой указывается количество элементов входа R. Размер вектора входа p указывается ниже символа p
и равен R1. Вектор входа умножается на вектор-строку W длины R. Как и прежде,
константа 1 рассматривается как вход, который умножается на скалярное смещение b. Входом n функции активации нейрона служит сумма смещения b и произведения W*p. Эта сумма преобразуется функцией активации f, на выходе которой получаем выход нейрона a, который в данном случае является скалярной величиной. Структурная схема, приведенная на рис. 2.6, называется слоем сети. Слой характеризуется матрицей весов W, смещением b, операциями умножения W*p, суммирования и функцией активации f.
Вектор входов p обычно не включается в характеристики слоя.

Каждый раз, когда используется сокращенное обозначение сети, размерность матриц указывается под именами векторно-матричных переменных. Эта система обозначений поясняет строение сети и связанную с ней матричную математику.

На укрупненной структурной схеме для обозначения типа функции активации применяются специальные графические символы; некоторые из них приведены на рис. 2.7, где. а – ступенчатая, б – линейная, в – логистическая функция.

hardlim	purelin	logsig
а	б	в

Рис. 2.7

1 2 3 4 5 6 7 8 9 ... 50