Учебное пособие по курсу «Нейроинформатика» - страница 16

Из того, что a и b различны следует, что существует множество индексов, в которых координаты векторов a и b различны. Обозначим это множество через I = {i : a_>i = -b_>i}. Из второго преобразования в (5) и того, что b = x', следует, что знаки координат вектора Px всегда совпадают со знаками соответствующих координат вектора b. Учитывая различие знаков i-х координат векторов a и Px при i ∈ I можно записать |a_>i-(Px)_>i| = |a_>i|+|(Px)_>i| = 1+|(Px)_>i|. Совпадение знаков i-х координат векторов b и Px при i ∈ I позволяет записать следующее неравенство |b_>i-(Px)_>i| = ||b_>i|-|(Px)_>i| < 1+|(Px)_>i|. Сравним расстояния от вершин a и b до точки Px

Полученное неравенство противоречит тому, что a — ближайшая к Px. Таким образом, доказано, что второе преобразование в (5) переводит точку Px в ближайшую вершину гиперкуба образов.

Для обеспечения правильного воспроизведения эталонов вне зависимости от степени их коррелированности достаточно потребовать, чтобы первое преобразование в (5) было таким, что x^>i = Px^>i [67]. Очевидно, что если проектор является ортогональным, то это требование выполняется, поскольку x = Px при x ∈L({x^>i}), а x^>j ∈L({x^>i}) по определению множества L({x^>i}).

Для обеспечения ортогональности проектора воспользуемся дуальным множеством векторов. Множество векторов V({x^>i}) называется дуальным к множеству векторов {x^>i}, если все векторы этого множества v^>j удовлетворяют следующим требованиям:

1. (x^>i, v^>i) = ς_>ij; ς_>ij = 0, при i ≠ j; ς_>ij = 1 при i = j;

2. v^>j ∈L({x^>i}).

Преобразование

является ортогональным проектором на линейное пространство L({x^>i}).

Ортогональная сеть ассоциативной памяти преобразует образы по формуле

(6)

Дуальное множество векторов существует тогда и только тогда, когда множество векторов {x^>i} линейно независимо. Если множество эталонов {x^>i} линейно зависимо, то исключим из него линейно зависимые образы и будем рассматривать полученное усеченное множество эталонов как основу для построения дуального множества и преобразования (6). Образы, исключенные из исходного множества эталонов, будут по-прежнему сохраняться сетью в исходном виде (преобразовываться в самих себя). Действительно, пусть эталон x является линейно зависимым от остальных m эталонов. Тогда его можно представить в виде

Подставив полученное выражение в преобразование (6) и учитывая свойства дуального множества получим:

(7)

Рассмотрим свойства сети (6) [67]. Во-первых, количество запоминаемых и точно воспроизводимых эталонов не зависит от степени их коррелированности. Во-вторых, формально сеть способна работать без искажений при любом возможном числе эталонов (всего их может быть до 2^>n). Однако, если число линейно независимых эталонов (т. е. ранг множества эталонов) равно n, сеть становится прозрачной — какой бы образ не предъявили на ее вход, на выходе окажется тот же образ. Действительно, как было показано в (7), все образы, линейно зависимые от эталонов, преобразуются проективной частью преобразования (6) сами в себя. Значит, если в множестве эталонов есть n линейно независимых, то любой образ можно представить в виде линейной комбинации эталонов (точнее n линейно независимых эталонов), а проективная часть преобразования (6) в силу формулы (7) переводит любую линейную комбинацию эталонов в саму себя.

Если число линейно независимых эталонов меньше n, то сеть преобразует поступающий образ, отфильтровывая помехи, ортогональные всем эталонам.

Отметим, что результаты работы сетей (3) и (6) эквивалентны, если все эталоны попарно ортогональны.

Остановимся несколько подробнее на алгоритме вычисления дуального множества векторов. Обозначим через Γ({x^>i}) матрицу Грама множества векторов {x^>i}.

Элементы матрицы Грама имеют вид γ_>ij = (x^>i, x^>j) (ij-ый элемент матрицы Грама равен скалярному произведению