ВЛИЯНИЕ ХАРАКТЕРИСТИК ПАТТЕРНА ЗАДАЧИ НА АДЕКВАТНОСТЬ ГИПОТЕЗ, ПОРОЖДАЕМЫХ НЕЙРОННОЙ СЕТЬЮ СО СВЯЗЯМИ ПО СХЕМЕ ГОЛОГРАФИИ ФУРЬЕ
ВЛИЯНИЕ ХАРАКТЕРИСТИК ПАТТЕРНА ЗАДАЧИ НА АДЕКВАТНОСТЬ ГИПОТЕЗ …
2 ФОТОНИКА И ОПТОИНФОРМАТИКА
УДК 004.387; 535.417
ВЛИЯНИЕ ХАРАКТЕРИСТИК ПАТТЕРНА ЗАДАЧИ НА АДЕКВАТНОСТЬ ГИПОТЕЗ, ПОРОЖДАЕМЫХ НЕЙРОННОЙ
СЕТЬЮ СО СВЯЗЯМИ ПО СХЕМЕ ГОЛОГРАФИИ ФУРЬЕ
З.С. Бекяшева, В.Н. Васильев, А.А. Востриков, А.В. Павлов
В развитие подхода к реализации механизмов творческого мышления на нейросетях со связями, реализуемыми методом голографии Фурье, исследовано влияние размера паттерна внутренней репрезентации условий задачи в связи c его спектральными характеристиками на адекватность порождаемых сетью гипотез. Показано, что адекватность порождаемых гипотез возрастает при увеличении обобщенной частоты паттерна. Ключевые слова: голография, нейронная сеть, искусственный интеллект, когнитивная система.
Введение
Одна из актуальных задач искусственного интеллекта – реализация механизмов творческого мышления [1]. По мнению ряда исследователей, творческие способности зависят в значительной степени от двух факторов – развитости образного (правополушарного) мышления [1–5] и способности к «погружению в хаос», т.е. переходу к хаотической динамике нейронной активности [6–8].
Один из возможных подходов к реализации образного мышления в искусственных интеллектуальных системах основан на том, что мозг, являясь нейронной сетью (НС), обрабатывает картины нейронной активности, формирующиеся в коре мозга при восприятии сенсорами информации из внешнего мира. Эти картины нейронной активности суть паттерны внутренней репрезентации (ПВР) воспринимаемой информации. В работах [9, 10] был сформулирован подход, согласно которому процесс решения задач может рассматриваться как процедура обработки ПВР, а именно: условия встреченной задачи представляются в нейронной сети системой сенсоров и сенсорных трак-
тов в виде ПВР воспринимаемой информации – ПВР условий задачи; решение задачи – это ПВР ответа, формируемые в результате обработки сетью ПВР задачи на основе
имеющихся знаний, представленных межнейронными связями. Подход [9, 10] основан на результатах, полученных в когнитивной науке, согласно которым жиз-
недеятельность организма направлена на восстановление целостности внутренней картины мира, нарушаемой поступающей извне информацией [7]. Соответственно, воспринимаемая информация является субъективно проблемной, т.е. ПВР такой информации рассматривается как ПВР задачи, которую надо решить, если он не соответствует имеющимся знаниям – воспринимается как искаженный или дефектный вариант «правильного» или эталонного образа. Тогда процесс решения задачи представляет собой достройку или восстановление субъективно целостного образа, а ответ задачи – достроенный или исправленный ПВР.
В этих рамках творческая задача (ТЗ) отличается от нетворческой тем, что ПВР ответа не может быть сформирован НС посредством обработки ПВР условий задачи на основе имеющихся знаний методами какого-либо из формальных выводов (дедуктивного, абдуктивного или индуктивного). В этом случае один из возможных методов решения ТЗ предполагает генерацию большого числа образов, несколько отличающихся друг от друга, но принадлежащих одной области фазового пространства сети [6]. Эти образы, не связанные с ПВР условиями задачи и знаниями правил формального вывода, суть творческие гипотезы – варианты ответов на встреченную задачу. «Погружение в хаос», т.е. переход к хаотической динамике нейронной активности, как раз и является методом генерации большого числа новых образов, каждый из которых представляет собой ПВР гипотезы.
В работах [9, 10] обоснована реализуемость этого подхода на НС с двунаправленными связями, формируемыми методом голографии Фурье (рис. 1).
Напомним коротко суть этого подхода. 1. ПВР воспринимаемой информации ImPer(x,y) (условия задачи) формируется в слое репрезентаций R,
знания (голограмма Фурье эталонного образа) ImR(x,y) реализуются в виде матрицы связей нейронных слоев H, а в слое корреляций C формируется функция взаимной корреляции условий задачи и имеющихся знаний. 2. Мерой «проблемности» воспринимаемой информации служит мера сходства ПВР ImPer(x,y) с имеющимися знаниями ImR(x,y), в качестве которой используется амплитуда глобального максимума корреляционной функции ImPer(x,y)ImR(x,y) (ГМКФ). Если ПВР условий задачи не соответствует имеющимся знаниям, то ГМКФ либо отсутствует, либо его амплитуда не превосходит амплитуды боковых максимумов. Ни вспомнить правильный ПВР, ни вывести его не удается. ПВР ответа можно только придумать (увидеть во сне, например) – это творческая задача. Для того чтобы «придумать»
20 Научно-технический вестник Санкт-Петербургского государственного университета
информационных технологий, механики и оптики, 2011, № 4 (74)
З.С. Бекяшева, В.Н. Васильев, А.А. Востриков, А.В. Павлов
ПВР ответа, НС переходит в режим хаотической активности, в котором в слое R на каждой итерации R→C→R генерируется новый образ – творческая гипотеза. 3. Последний этап – верификация порожденных гипотез по критерию адекватности реальности для выбора только одной гипотезы – решения задачи.
аб
Рис. 1. Схема двухслойной нейронной сети с матрицей двунаправленных связей (а) и ее реализация методом голографии Фурье (б): R – слой репрезентаций; C – слой корреляций;
L1 и L2 – Фурье-преобразующие линзы с фокусными расстояниями f; H – матрица межнейронных связей (голограмма); PCM1 и PCM2 – фазосопрягающие зеркала во входной и корреляционной плоскостях
В [11] выделено два аспекта проблемы адекватности:
адекватность ПВР условий задачи реальности, обусловленная свойствами сенсора и сенсорного тракта;
адекватность ПВР гипотезы условиям задачи, обусловленная свойствами НС. В работе [11] рассмотрен второй аспект проблемы адекватности в части влияния фильтрации, возникающей в схеме рис. 1, б, вследствие ограниченности динамического диапазона регистрирующих сред, на статистические характеристики гипотезы. В настоящей работе, в развитие [9–11], исследовано влияние ограниченности области существования (размера) ПВР условий задачи на характеристики ПВР гипотезы.
Механизм формирования гипотез
Свойства ПВР гипотез, порождаемых в режиме хаотической динамики, определяются тем, что в НС (рис. 1) связи нейронных слоев R и C, представляющие имеющиеся знания, формируется в виде голограммы Фурье
HRC x,y F*ImRx, y,
где (νx, νy) – пространственные частоты; астериск (*) обозначает комплексное сопряжение; F – символ преобразования Фурье. Голограмма Фурье удовлетворяет определению знаний [2]. При предъявлении в слое R ПВР условий задачи ImPer(x,y) в слое C формируется функция корреляции ImPer(x,y) и эталонного ПВР (знаний) ImR(x,y)
C, ImPerx, y ImRx, y F FImPerx, yF*ImRx, y ,
где ζ, η – координаты в слое C. На этапе обратного прохождения возбуждения C→ H → R используется матрица связей, реализуемая посредством инверсной голограммы
H 1 x,y
F
*
1 ImR
x, y
,
тогда, в предположении линейности активационных функций нейронов в слое С (C-нейронов), картина
нейронной активности в слое R R→H→C→H–1→R, описывается
в области вокруг выражением
исходного
ПВР
ImR(x,y),
восстановленная
в
итерации
Im xk , yl
F
F
C xk , yl F* ImR x, y
,
(1)
где (xk,yl) – координаты в плоскости R вне области существования ImR(x,y) (т.е. в области ореола). Выражение (1) может быть приведено [12, 13] к развитой в теории случайных процессов модели линейного
предсказателя [14, 15]. Если ПВР Im(x,y) описывается как реализация однородного случайного поля, то
(1) дает наилучшую по критерию минимума среднего квадрата ошибки оценку линейного прогноза.
Для перехода к режиму хаотической динамики по сценарию Фейгенбаума активационные функ-
ции С-нейронов должны иметь соответствующую нелинейность Nl [16], тогда для итерации N выражение
(1) примет вид
Научно-технический вестник Санкт-Петербургского государственного университета информационных технологий, механики и оптики, 2011, № 4 (74)
21
ВЛИЯНИЕ ХАРАКТЕРИСТИК ПАТТЕРНА ЗАДАЧИ НА АДЕКВАТНОСТЬ ГИПОТЕЗ …
ImN
xk
,
yl
F
F
Nl
CN 1 xk F * ImR
, yl
x, y
.
Это выражение описывает ПВР гипотезы, порождаемой сетью на N-ой итерации.
Ограниченность области существования ПВР ImR (x, y) влияет на характеристики автокорреляционной функции (АКФ) и, тем самым, на характеристики ПВР порождаемой гипотезы.
Для упрощения дальнейших выкладок примем допущение о разделимости переменных при описа-
нии ПВР и соответственно используем термины «процесс» вместо «поле» и «стационарность» вместо
«однородность».
Влияние ограниченности паттерна условий задачи на адекватность гипотезы
Для большей наглядности начнем анализ с предположения, что ПВР задачи представляет собой
гармонику ограниченной длины. Тогда в слое R (без учета нелинейности в слое C) одна гармоника при
использовании корреляционной функции (КФ) бесконечного процесса (т.е. теоретической КФ) экстрапо-
лируется линейным предсказателем с нулевой ошибкой.
Однако, поскольку корреляционная функция строится на основе ограниченной реализации (изме-
ренная КФ) и, следовательно, КФ имеет линейно зависимый от длины реализации дополнительный спад
к краям, то возникает ошибка экстраполяции.
Если предсказание на максимальную глубину xmax строится по реализации длиной L, которую будем называть базой предсказания, то для реализации модели [14, 15] необходима АКФ, имеющая размер
области определения (длину) 2(L+xmax). Предсказание по измеренной АКФ длиной 2(L+xmax):
Imx
1 L x A3 cos L
0
1
L xmax
sin
0
L x
d
x
1 Lx A3 sin L x
0 sin 0 2L
20 L xmax
sin
0 L x
d
A3
sin
0 L x
1 2
L x2 x2
4L L xmax
L
1 L xmax
A3 cos 0 x L x xmax L
40
L
1 L xmax
A3 cos
0 x L
40
x xmax 2L
A3 sin
0 x L sin
802
0 3L x
.
Первые два слагаемых описывают спад предсказания к краям, остальные слагаемые имеют мень-
шую амплитуду и характеризуют набег фазы, появляющийся также вследствие ограниченности реализа-
ции. Их амплитуды малы по сравнению с двумя первыми слагаемыми и равны
1, 4K
1 2K
и
1 42K 2
соответственно, где K L – отношение длины паттерна к периоду гармоники (так называемая нормиT0
рованная частота). При достаточно большом K, в зависимости от требуемой точности, этими слагаемыми можно пренебречь (рис. 2). Ошибка в таком случае зависит от глубины предсказания и от длины реализации. Таким образом, при большой величине нормированной частоты K ошибка предсказания одной гармоники описывается выражением
Errx
sin0 x
sin0L x 4L xmaxL
2
L
2Lxmax
x
.
Для компенсации этой ошибки при большой величине нормированной частоты можно ввести в
корреляционной плоскости фильтр с пропусканием, обратным спаду, который описывается следующей
функцией (рис. 3):
1, (L xmax );
Ffil
()
1
1
, (L xmax ).
L xmax
В результате такой фильтрации АКФ на интервале (L+xmax) становится пропорциональной теоретической АКФ. В этом случае ошибка предсказания будет состоять только из слагаемых, описывающих
набег фаз.
22 Научно-технический вестник Санкт-Петербургского государственного университета
информационных технологий, механики и оптики, 2011, № 4 (74)
З.С. Бекяшева, В.Н. Васильев, А.А. Востриков, А.В. Павлов
1 2
3
Рис. 2. Зависимости амплитуды слагаемых, характеризующих набег фазы, от нормированной частоты при различной глубине предсказания и максимальной глубине предсказания max LL
2 3
1
Рис. 3. Автокорреляционные функции и фильтр в корреляционной плоскости: 1 – АКФ до фильтрации; 2 – фильтр, обратно пропорциональный спаду АКФ; 3 – АКФ после фильтрации
Для ПВР со сложным спектральным составом казалось бы логичным просуммировать результаты экстраполяции отдельных гармоник. Однако ограниченность реализации обусловливает появление кросс-корреляции между гармониками, что ведет к уменьшению радиуса корреляции. Этот фактор не учитывается при суммировании результатов экстраполяции отдельных гармоник. Рассмотрим реализацию процесса, состоящего из двух гармоник. АКФ такой ограниченной реализации описывается следующим выражением:
C
1 L
L 0
n i0
Ai
sin
(i
x)
n i0
Aisin(i x )
dx
n
i0
Ai 2 cos(i )
1
L
Ai 2
sin
i 2L
2i
sin(i)
2
n
2
Ai
Aj
cos
i j 2
sin L
j i
j i 2
sin
j i 2
i j 2L j i
n
2
Ai
Aj
cos
i j 2
sin L
j
i
j i 2
sin
j i 2
.
i j 2L j i
Научно-технический вестник Санкт-Петербургского государственного университета информационных технологий, механики и оптики, 2011, № 4 (74)
23
ВЛИЯНИЕ ХАРАКТЕРИСТИК ПАТТЕРНА ЗАДАЧИ НА АДЕКВАТНОСТЬ ГИПОТЕЗ …
Первое слагаемое – это сумма АКФ каждой из гармоник, а два последних – сумма их кросскорреляций. Чем больше разность этих частот, тем меньше их кросс-корреляция и, следовательно, тем ближе АКФ реализации к сумме АКФ гармоник. Если же частоты кратные (1=Nω0, где N – целое), то кросс-корреляция равна нулю, и АКФ суммы гармоник равна сумме АКФ каждой гармоники.
Таким образом, для ПВР условий задачи с дискретным спектром, частоты которого далеко отстоят друг от друга, ПВР гипотезы можно построить с достаточно малой ошибкой. Для иллюстрации на рис. 4 представлена зависимость ошибки экстраполяции, которая возникает вследствие кросс-корреляции двух гармоник, от координаты в корреляционной плоскости для трех случаев соотношения частот гармоник: 1) 1=5, 2=3; 2) 1=16, 2=3; 3) 1=6, 2=3.
12
3
Рис. 4. Кросс-корреляционные слагаемые корреляционной функции паттерна из двух гармоник при разных частотах гармоник
В [11] было показано, что при малых L вследствие малых значений обобщенной частоты (отношения длины реализации к радиусу корреляции) статистические характеристики паттерна не соответствуют требованиям модели линейного предсказателя на стационарность реализации, и поэтому далее случай
малых значений L и малых нормированных частот K L рассматриваться не будет. Тогда АКФ (2) буT0
дет состоять из слагаемых, которые описывают АКФ каждой гармоники. ПВР построенной гипотезы, соответственно, можно приближенно описать выражением, в котором, учитывая громоздкость точного выражения, авторы работы, основываясь на результатах, приведенных на рис. 2, пренебрегли членами
высшего порядка малости, начиная с членов с множителями 1 перед амплитудой: L
Im x
1 L
Lx x
A12
cos(0) L xmax 2 L xmax
( A1 sin(0 (L x )) A2 sin(1(L x )))d
1 L
Lx x
A22
cos(1)
2L
L xmax xmax
( A1 sin(0 (L x )) A2 sin(1(L x )))d
(3)
1 8
A13
sin 0
(L
x)
2
L x2 x2 L xmax L
A23
sin
1 ( L
x)
2
L x2 x2 L xmax L
.
Здесь первые два слагаемых описывают идеальное, в соответствии с моделью линейного предска-
зателя, построение ПВР гипотезы, а два последних – ошибку, обусловленную спадом АКФ. Заметим
также, что в формуле отсутствуют слагаемые кросс-корреляции гармоник, поскольку при больших зна-
чениях нормированной частоты (больших значениях L) кросс-корреляция (2) между гармониками незна-
чительна.
Из сравнения выражения (3) с выражением, даваемым моделью линейного предсказателя, следует,
что ошибка построения ПВР гипотезы из двух гармоник описывается следующим выражением, также
приближенным в предположении достаточно больших L:
24 Научно-технический вестник Санкт-Петербургского государственного университета
информационных технологий, механики и оптики, 2011, № 4 (74)
З.С. Бекяшева, В.Н. Васильев, А.А. Востриков, А.В. Павлов
Errx
1 8
A13
sin0 ( L
x) 6
L x2 x2 L xmaxL
A23
sin1(L
x) 6
L x2 x2 L xmaxL
.
В данное выражение входят слагаемые, описывающие спад к краям амплитуд ПВР гипотезы по
мере увеличения глубины предсказания, зависящий от размера ПВР задачи. Ошибка имеет вид суммы
двух гармоник с амплитудой, возрастающей по мере увеличения глубины предсказания. Следовательно,
ограниченность ПВР условий задачи обусловливает появление ошибки ПВР гипотезы относительно
ПВР, даваемого моделью линейного предсказателя, которая уменьшается с ростом нормированной ча-
стоты, т.е. с увеличением размера ПВР условий задачи.
Поскольку вследствие ограниченности полосы пропускания тракта ввода и динамического диапа-
зона регистрирующих сред спектр ПРВ задачи всегда занимает ограниченную спектральную область, то
в первом приближении можно ограничиться рассмотрением только нижней и верхней граничных норми-
рованных частот, от значений которых и зависит точность экстраполяции. Если граничные частоты в
силу плавного спада спектра определить затруднительно, то более точную оценку позволяет получить
использование не нормированных граничных частот, а обобщенной частоты.
Заключение
Таким образом, на адекватность условию задачи гипотезы, порождаемой нейронной сетью со связями по схеме голографии Фурье, влияет ограниченность размера области существования паттерна условий задачи. Этот фактор влечет дополнительный спад и набег фазы автокорреляционной функции паттерна относительно теоретической автокорреляционной функции случайного поля, используемого для описания паттерна. Это, в свою очередь, ведет к ошибке формирования гипотезы относительно даваемого моделью линейного предсказателя. Эта ошибка уменьшается с ростом обобщенной частоты паттерна условий задачи. Данная зависимость универсальна в том смысле, что малая длина ПВР условий задачи обусловливает ошибку не только вследствие спада АКФ, но и, как было показано в [11], вследствие изменения стационарности исходного ПВР.
Работа выполнена при поддержке РФФИ (гранты 09-01-00165-а и 09-02-00223-а) и ФЦП №
02.740.11.0390.
Литература
1. Фоминых И.Б. О технологии решения творческих задач // Сб. трудов VIII Национальной конференции по искусственному интеллекту «КИИ-2002». – М.: Физматлит, 2002. – Т. 1. – С. 519–525.
2. Кузнецов О.П. Неклассические парадигмы в ИИ // Известия АН. Сер. Теория и системы управления. – 1995. – № 5. – С. 3–23.
3. Голицын Г.А., Фоминых И.Б. Нейронные сети и экспертные системы: перспективы интеграции // Новости искусственного интеллекта. – 1996. – № 4. – С. 121–145.
4. Семинар «Отражение образного мышления и интуиции специалиста в системах искусственного интеллекта» // Новости искусственного интеллекта. – 1998. – № 1. – С. 22–136; 1998. – № 3. – С. 64–100.
5. Леутин В.П., Николаева Е.И. Функциональная асимметрия мозга. Мифы и реальность. – СПб: Речь, 2005. – 368 с.
6. Фриман У.Дж. Динамика мозга в восприятии и сознании: творческая роль хаоса // В сб. «Синергетика и психология». Вып. 3. Когнитивные процессы. – М.: Когито-Центр, 2004. – С. 13–28.
7. Князева Е.Н. Методы нелинейной динамики в когнитивной науке // В сб. «Синергетика и психология». Вып. 3. Когнитивные процессы. – М.: Когито-Центр, 2004. – С. 29–48.
8. Комбс А. Сознание: Хаотическое и странно-аттракторное // В сб. «Синергетика и психология». Вып. 3. Когнитивные процессы. – М.: Когито-Центр, 2004. – С. 49–60.
9. Павлов А.В. О применимости голографических технологий в задаче моделирования творческого мышления // Интегрированные модели и мягкие вычисления в искусственном интеллекте: Сборник трудов IV Международной научно-практической конференции, Коломна, 28–30 мая 2007. – М.: Физматлит, 2007. – С. 282–290.
10. Павлов А.В. О возможности моделирования творческого мышления методом голографии Фурье // Труды XI Национальной конференции по искусственному интеллекту. – М.: URSS, 2008. – Т. 1. – C. 384–392.
11. Бекяшева З.С., Васильев В.Н., Павлов А.В. Статистические свойства гипотез, порождаемых нейронной сетью со связями по схеме голографии Фурье // Научно-технический вестник СПбГУ ИТМО. – 2010. – № 6(70). – С. 17–21.
12. Павлов А.В. Возможности ассоциативной обработки информации, реализуемые методом Фурьеголографии // Новости искусственного интеллекта. – 2006. – № 2. – С. 41–56.
13. Павлов А.В. О применимости модели линейной регрессии к описанию Фурье-голографии // Оптика и спектроскопия. – 2005. – Т. 98. – № 6. – С. 1033–1037.
Научно-технический вестник Санкт-Петербургского государственного университета информационных технологий, механики и оптики, 2011, № 4 (74)
25
СОЗДАНИЕ ФОТОИНДУЦИРОВАННЫХ БРЭГГОВСКИХ ДИФРАКЦИОННЫХ …
14. Колмогоров А.Н. Интерполирование и экстраполирование стационарных случайных последовательностей // Известия АН СССР. Сер. мат. – 1941. – № 5. – С. 3–14.
15. Вентцель А.Д. Курс теории случайных процессов. – М.: Наука, 1975. – 320 c. 16. Кроновер Р.М. Фракталы и хаос в динамических системах. – М.: Постмаркет, 2000. – 352 с.
Бекяшева Зоя Салаватовна Васильев Владимир Николаевич
Востриков Алексей Алексеевич Павлов Александр Владимирович
– Санкт-Петербургский государственный университет информационных технологий, механики и оптики, студент, zoya.bekyasheva@phoi.ifmo.ru
– Санкт-Петербургский государственный университет информационных технологий, механики и оптики, доктор технических наук, профессор, ректор, vasilev@mail.ifmo.ru
– Санкт-Петербургский государственный университет информационных технологий, механики и оптики, студент, lehav@inbox.ru
– Санкт-Петербургский государственный университет информационных технологий, механики и оптики, кандидат технических наук, доцент,
pavlov@phoi.ifmo.ru
26 Научно-технический вестник Санкт-Петербургского государственного университета
информационных технологий, механики и оптики, 2011, № 4 (74)
2 ФОТОНИКА И ОПТОИНФОРМАТИКА
УДК 004.387; 535.417
ВЛИЯНИЕ ХАРАКТЕРИСТИК ПАТТЕРНА ЗАДАЧИ НА АДЕКВАТНОСТЬ ГИПОТЕЗ, ПОРОЖДАЕМЫХ НЕЙРОННОЙ
СЕТЬЮ СО СВЯЗЯМИ ПО СХЕМЕ ГОЛОГРАФИИ ФУРЬЕ
З.С. Бекяшева, В.Н. Васильев, А.А. Востриков, А.В. Павлов
В развитие подхода к реализации механизмов творческого мышления на нейросетях со связями, реализуемыми методом голографии Фурье, исследовано влияние размера паттерна внутренней репрезентации условий задачи в связи c его спектральными характеристиками на адекватность порождаемых сетью гипотез. Показано, что адекватность порождаемых гипотез возрастает при увеличении обобщенной частоты паттерна. Ключевые слова: голография, нейронная сеть, искусственный интеллект, когнитивная система.
Введение
Одна из актуальных задач искусственного интеллекта – реализация механизмов творческого мышления [1]. По мнению ряда исследователей, творческие способности зависят в значительной степени от двух факторов – развитости образного (правополушарного) мышления [1–5] и способности к «погружению в хаос», т.е. переходу к хаотической динамике нейронной активности [6–8].
Один из возможных подходов к реализации образного мышления в искусственных интеллектуальных системах основан на том, что мозг, являясь нейронной сетью (НС), обрабатывает картины нейронной активности, формирующиеся в коре мозга при восприятии сенсорами информации из внешнего мира. Эти картины нейронной активности суть паттерны внутренней репрезентации (ПВР) воспринимаемой информации. В работах [9, 10] был сформулирован подход, согласно которому процесс решения задач может рассматриваться как процедура обработки ПВР, а именно: условия встреченной задачи представляются в нейронной сети системой сенсоров и сенсорных трак-
тов в виде ПВР воспринимаемой информации – ПВР условий задачи; решение задачи – это ПВР ответа, формируемые в результате обработки сетью ПВР задачи на основе
имеющихся знаний, представленных межнейронными связями. Подход [9, 10] основан на результатах, полученных в когнитивной науке, согласно которым жиз-
недеятельность организма направлена на восстановление целостности внутренней картины мира, нарушаемой поступающей извне информацией [7]. Соответственно, воспринимаемая информация является субъективно проблемной, т.е. ПВР такой информации рассматривается как ПВР задачи, которую надо решить, если он не соответствует имеющимся знаниям – воспринимается как искаженный или дефектный вариант «правильного» или эталонного образа. Тогда процесс решения задачи представляет собой достройку или восстановление субъективно целостного образа, а ответ задачи – достроенный или исправленный ПВР.
В этих рамках творческая задача (ТЗ) отличается от нетворческой тем, что ПВР ответа не может быть сформирован НС посредством обработки ПВР условий задачи на основе имеющихся знаний методами какого-либо из формальных выводов (дедуктивного, абдуктивного или индуктивного). В этом случае один из возможных методов решения ТЗ предполагает генерацию большого числа образов, несколько отличающихся друг от друга, но принадлежащих одной области фазового пространства сети [6]. Эти образы, не связанные с ПВР условиями задачи и знаниями правил формального вывода, суть творческие гипотезы – варианты ответов на встреченную задачу. «Погружение в хаос», т.е. переход к хаотической динамике нейронной активности, как раз и является методом генерации большого числа новых образов, каждый из которых представляет собой ПВР гипотезы.
В работах [9, 10] обоснована реализуемость этого подхода на НС с двунаправленными связями, формируемыми методом голографии Фурье (рис. 1).
Напомним коротко суть этого подхода. 1. ПВР воспринимаемой информации ImPer(x,y) (условия задачи) формируется в слое репрезентаций R,
знания (голограмма Фурье эталонного образа) ImR(x,y) реализуются в виде матрицы связей нейронных слоев H, а в слое корреляций C формируется функция взаимной корреляции условий задачи и имеющихся знаний. 2. Мерой «проблемности» воспринимаемой информации служит мера сходства ПВР ImPer(x,y) с имеющимися знаниями ImR(x,y), в качестве которой используется амплитуда глобального максимума корреляционной функции ImPer(x,y)ImR(x,y) (ГМКФ). Если ПВР условий задачи не соответствует имеющимся знаниям, то ГМКФ либо отсутствует, либо его амплитуда не превосходит амплитуды боковых максимумов. Ни вспомнить правильный ПВР, ни вывести его не удается. ПВР ответа можно только придумать (увидеть во сне, например) – это творческая задача. Для того чтобы «придумать»
20 Научно-технический вестник Санкт-Петербургского государственного университета
информационных технологий, механики и оптики, 2011, № 4 (74)
З.С. Бекяшева, В.Н. Васильев, А.А. Востриков, А.В. Павлов
ПВР ответа, НС переходит в режим хаотической активности, в котором в слое R на каждой итерации R→C→R генерируется новый образ – творческая гипотеза. 3. Последний этап – верификация порожденных гипотез по критерию адекватности реальности для выбора только одной гипотезы – решения задачи.
аб
Рис. 1. Схема двухслойной нейронной сети с матрицей двунаправленных связей (а) и ее реализация методом голографии Фурье (б): R – слой репрезентаций; C – слой корреляций;
L1 и L2 – Фурье-преобразующие линзы с фокусными расстояниями f; H – матрица межнейронных связей (голограмма); PCM1 и PCM2 – фазосопрягающие зеркала во входной и корреляционной плоскостях
В [11] выделено два аспекта проблемы адекватности:
адекватность ПВР условий задачи реальности, обусловленная свойствами сенсора и сенсорного тракта;
адекватность ПВР гипотезы условиям задачи, обусловленная свойствами НС. В работе [11] рассмотрен второй аспект проблемы адекватности в части влияния фильтрации, возникающей в схеме рис. 1, б, вследствие ограниченности динамического диапазона регистрирующих сред, на статистические характеристики гипотезы. В настоящей работе, в развитие [9–11], исследовано влияние ограниченности области существования (размера) ПВР условий задачи на характеристики ПВР гипотезы.
Механизм формирования гипотез
Свойства ПВР гипотез, порождаемых в режиме хаотической динамики, определяются тем, что в НС (рис. 1) связи нейронных слоев R и C, представляющие имеющиеся знания, формируется в виде голограммы Фурье
HRC x,y F*ImRx, y,
где (νx, νy) – пространственные частоты; астериск (*) обозначает комплексное сопряжение; F – символ преобразования Фурье. Голограмма Фурье удовлетворяет определению знаний [2]. При предъявлении в слое R ПВР условий задачи ImPer(x,y) в слое C формируется функция корреляции ImPer(x,y) и эталонного ПВР (знаний) ImR(x,y)
C, ImPerx, y ImRx, y F FImPerx, yF*ImRx, y ,
где ζ, η – координаты в слое C. На этапе обратного прохождения возбуждения C→ H → R используется матрица связей, реализуемая посредством инверсной голограммы
H 1 x,y
F
*
1 ImR
x, y
,
тогда, в предположении линейности активационных функций нейронов в слое С (C-нейронов), картина
нейронной активности в слое R R→H→C→H–1→R, описывается
в области вокруг выражением
исходного
ПВР
ImR(x,y),
восстановленная
в
итерации
Im xk , yl
F
F
C xk , yl F* ImR x, y
,
(1)
где (xk,yl) – координаты в плоскости R вне области существования ImR(x,y) (т.е. в области ореола). Выражение (1) может быть приведено [12, 13] к развитой в теории случайных процессов модели линейного
предсказателя [14, 15]. Если ПВР Im(x,y) описывается как реализация однородного случайного поля, то
(1) дает наилучшую по критерию минимума среднего квадрата ошибки оценку линейного прогноза.
Для перехода к режиму хаотической динамики по сценарию Фейгенбаума активационные функ-
ции С-нейронов должны иметь соответствующую нелинейность Nl [16], тогда для итерации N выражение
(1) примет вид
Научно-технический вестник Санкт-Петербургского государственного университета информационных технологий, механики и оптики, 2011, № 4 (74)
21
ВЛИЯНИЕ ХАРАКТЕРИСТИК ПАТТЕРНА ЗАДАЧИ НА АДЕКВАТНОСТЬ ГИПОТЕЗ …
ImN
xk
,
yl
F
F
Nl
CN 1 xk F * ImR
, yl
x, y
.
Это выражение описывает ПВР гипотезы, порождаемой сетью на N-ой итерации.
Ограниченность области существования ПВР ImR (x, y) влияет на характеристики автокорреляционной функции (АКФ) и, тем самым, на характеристики ПВР порождаемой гипотезы.
Для упрощения дальнейших выкладок примем допущение о разделимости переменных при описа-
нии ПВР и соответственно используем термины «процесс» вместо «поле» и «стационарность» вместо
«однородность».
Влияние ограниченности паттерна условий задачи на адекватность гипотезы
Для большей наглядности начнем анализ с предположения, что ПВР задачи представляет собой
гармонику ограниченной длины. Тогда в слое R (без учета нелинейности в слое C) одна гармоника при
использовании корреляционной функции (КФ) бесконечного процесса (т.е. теоретической КФ) экстрапо-
лируется линейным предсказателем с нулевой ошибкой.
Однако, поскольку корреляционная функция строится на основе ограниченной реализации (изме-
ренная КФ) и, следовательно, КФ имеет линейно зависимый от длины реализации дополнительный спад
к краям, то возникает ошибка экстраполяции.
Если предсказание на максимальную глубину xmax строится по реализации длиной L, которую будем называть базой предсказания, то для реализации модели [14, 15] необходима АКФ, имеющая размер
области определения (длину) 2(L+xmax). Предсказание по измеренной АКФ длиной 2(L+xmax):
Imx
1 L x A3 cos L
0
1
L xmax
sin
0
L x
d
x
1 Lx A3 sin L x
0 sin 0 2L
20 L xmax
sin
0 L x
d
A3
sin
0 L x
1 2
L x2 x2
4L L xmax
L
1 L xmax
A3 cos 0 x L x xmax L
40
L
1 L xmax
A3 cos
0 x L
40
x xmax 2L
A3 sin
0 x L sin
802
0 3L x
.
Первые два слагаемых описывают спад предсказания к краям, остальные слагаемые имеют мень-
шую амплитуду и характеризуют набег фазы, появляющийся также вследствие ограниченности реализа-
ции. Их амплитуды малы по сравнению с двумя первыми слагаемыми и равны
1, 4K
1 2K
и
1 42K 2
соответственно, где K L – отношение длины паттерна к периоду гармоники (так называемая нормиT0
рованная частота). При достаточно большом K, в зависимости от требуемой точности, этими слагаемыми можно пренебречь (рис. 2). Ошибка в таком случае зависит от глубины предсказания и от длины реализации. Таким образом, при большой величине нормированной частоты K ошибка предсказания одной гармоники описывается выражением
Errx
sin0 x
sin0L x 4L xmaxL
2
L
2Lxmax
x
.
Для компенсации этой ошибки при большой величине нормированной частоты можно ввести в
корреляционной плоскости фильтр с пропусканием, обратным спаду, который описывается следующей
функцией (рис. 3):
1, (L xmax );
Ffil
()
1
1
, (L xmax ).
L xmax
В результате такой фильтрации АКФ на интервале (L+xmax) становится пропорциональной теоретической АКФ. В этом случае ошибка предсказания будет состоять только из слагаемых, описывающих
набег фаз.
22 Научно-технический вестник Санкт-Петербургского государственного университета
информационных технологий, механики и оптики, 2011, № 4 (74)
З.С. Бекяшева, В.Н. Васильев, А.А. Востриков, А.В. Павлов
1 2
3
Рис. 2. Зависимости амплитуды слагаемых, характеризующих набег фазы, от нормированной частоты при различной глубине предсказания и максимальной глубине предсказания max LL
2 3
1
Рис. 3. Автокорреляционные функции и фильтр в корреляционной плоскости: 1 – АКФ до фильтрации; 2 – фильтр, обратно пропорциональный спаду АКФ; 3 – АКФ после фильтрации
Для ПВР со сложным спектральным составом казалось бы логичным просуммировать результаты экстраполяции отдельных гармоник. Однако ограниченность реализации обусловливает появление кросс-корреляции между гармониками, что ведет к уменьшению радиуса корреляции. Этот фактор не учитывается при суммировании результатов экстраполяции отдельных гармоник. Рассмотрим реализацию процесса, состоящего из двух гармоник. АКФ такой ограниченной реализации описывается следующим выражением:
C
1 L
L 0
n i0
Ai
sin
(i
x)
n i0
Aisin(i x )
dx
n
i0
Ai 2 cos(i )
1
L
Ai 2
sin
i 2L
2i
sin(i)
2
n
2
Ai
Aj
cos
i j 2
sin L
j i
j i 2
sin
j i 2
i j 2L j i
n
2
Ai
Aj
cos
i j 2
sin L
j
i
j i 2
sin
j i 2
.
i j 2L j i
Научно-технический вестник Санкт-Петербургского государственного университета информационных технологий, механики и оптики, 2011, № 4 (74)
23
ВЛИЯНИЕ ХАРАКТЕРИСТИК ПАТТЕРНА ЗАДАЧИ НА АДЕКВАТНОСТЬ ГИПОТЕЗ …
Первое слагаемое – это сумма АКФ каждой из гармоник, а два последних – сумма их кросскорреляций. Чем больше разность этих частот, тем меньше их кросс-корреляция и, следовательно, тем ближе АКФ реализации к сумме АКФ гармоник. Если же частоты кратные (1=Nω0, где N – целое), то кросс-корреляция равна нулю, и АКФ суммы гармоник равна сумме АКФ каждой гармоники.
Таким образом, для ПВР условий задачи с дискретным спектром, частоты которого далеко отстоят друг от друга, ПВР гипотезы можно построить с достаточно малой ошибкой. Для иллюстрации на рис. 4 представлена зависимость ошибки экстраполяции, которая возникает вследствие кросс-корреляции двух гармоник, от координаты в корреляционной плоскости для трех случаев соотношения частот гармоник: 1) 1=5, 2=3; 2) 1=16, 2=3; 3) 1=6, 2=3.
12
3
Рис. 4. Кросс-корреляционные слагаемые корреляционной функции паттерна из двух гармоник при разных частотах гармоник
В [11] было показано, что при малых L вследствие малых значений обобщенной частоты (отношения длины реализации к радиусу корреляции) статистические характеристики паттерна не соответствуют требованиям модели линейного предсказателя на стационарность реализации, и поэтому далее случай
малых значений L и малых нормированных частот K L рассматриваться не будет. Тогда АКФ (2) буT0
дет состоять из слагаемых, которые описывают АКФ каждой гармоники. ПВР построенной гипотезы, соответственно, можно приближенно описать выражением, в котором, учитывая громоздкость точного выражения, авторы работы, основываясь на результатах, приведенных на рис. 2, пренебрегли членами
высшего порядка малости, начиная с членов с множителями 1 перед амплитудой: L
Im x
1 L
Lx x
A12
cos(0) L xmax 2 L xmax
( A1 sin(0 (L x )) A2 sin(1(L x )))d
1 L
Lx x
A22
cos(1)
2L
L xmax xmax
( A1 sin(0 (L x )) A2 sin(1(L x )))d
(3)
1 8
A13
sin 0
(L
x)
2
L x2 x2 L xmax L
A23
sin
1 ( L
x)
2
L x2 x2 L xmax L
.
Здесь первые два слагаемых описывают идеальное, в соответствии с моделью линейного предска-
зателя, построение ПВР гипотезы, а два последних – ошибку, обусловленную спадом АКФ. Заметим
также, что в формуле отсутствуют слагаемые кросс-корреляции гармоник, поскольку при больших зна-
чениях нормированной частоты (больших значениях L) кросс-корреляция (2) между гармониками незна-
чительна.
Из сравнения выражения (3) с выражением, даваемым моделью линейного предсказателя, следует,
что ошибка построения ПВР гипотезы из двух гармоник описывается следующим выражением, также
приближенным в предположении достаточно больших L:
24 Научно-технический вестник Санкт-Петербургского государственного университета
информационных технологий, механики и оптики, 2011, № 4 (74)
З.С. Бекяшева, В.Н. Васильев, А.А. Востриков, А.В. Павлов
Errx
1 8
A13
sin0 ( L
x) 6
L x2 x2 L xmaxL
A23
sin1(L
x) 6
L x2 x2 L xmaxL
.
В данное выражение входят слагаемые, описывающие спад к краям амплитуд ПВР гипотезы по
мере увеличения глубины предсказания, зависящий от размера ПВР задачи. Ошибка имеет вид суммы
двух гармоник с амплитудой, возрастающей по мере увеличения глубины предсказания. Следовательно,
ограниченность ПВР условий задачи обусловливает появление ошибки ПВР гипотезы относительно
ПВР, даваемого моделью линейного предсказателя, которая уменьшается с ростом нормированной ча-
стоты, т.е. с увеличением размера ПВР условий задачи.
Поскольку вследствие ограниченности полосы пропускания тракта ввода и динамического диапа-
зона регистрирующих сред спектр ПРВ задачи всегда занимает ограниченную спектральную область, то
в первом приближении можно ограничиться рассмотрением только нижней и верхней граничных норми-
рованных частот, от значений которых и зависит точность экстраполяции. Если граничные частоты в
силу плавного спада спектра определить затруднительно, то более точную оценку позволяет получить
использование не нормированных граничных частот, а обобщенной частоты.
Заключение
Таким образом, на адекватность условию задачи гипотезы, порождаемой нейронной сетью со связями по схеме голографии Фурье, влияет ограниченность размера области существования паттерна условий задачи. Этот фактор влечет дополнительный спад и набег фазы автокорреляционной функции паттерна относительно теоретической автокорреляционной функции случайного поля, используемого для описания паттерна. Это, в свою очередь, ведет к ошибке формирования гипотезы относительно даваемого моделью линейного предсказателя. Эта ошибка уменьшается с ростом обобщенной частоты паттерна условий задачи. Данная зависимость универсальна в том смысле, что малая длина ПВР условий задачи обусловливает ошибку не только вследствие спада АКФ, но и, как было показано в [11], вследствие изменения стационарности исходного ПВР.
Работа выполнена при поддержке РФФИ (гранты 09-01-00165-а и 09-02-00223-а) и ФЦП №
02.740.11.0390.
Литература
1. Фоминых И.Б. О технологии решения творческих задач // Сб. трудов VIII Национальной конференции по искусственному интеллекту «КИИ-2002». – М.: Физматлит, 2002. – Т. 1. – С. 519–525.
2. Кузнецов О.П. Неклассические парадигмы в ИИ // Известия АН. Сер. Теория и системы управления. – 1995. – № 5. – С. 3–23.
3. Голицын Г.А., Фоминых И.Б. Нейронные сети и экспертные системы: перспективы интеграции // Новости искусственного интеллекта. – 1996. – № 4. – С. 121–145.
4. Семинар «Отражение образного мышления и интуиции специалиста в системах искусственного интеллекта» // Новости искусственного интеллекта. – 1998. – № 1. – С. 22–136; 1998. – № 3. – С. 64–100.
5. Леутин В.П., Николаева Е.И. Функциональная асимметрия мозга. Мифы и реальность. – СПб: Речь, 2005. – 368 с.
6. Фриман У.Дж. Динамика мозга в восприятии и сознании: творческая роль хаоса // В сб. «Синергетика и психология». Вып. 3. Когнитивные процессы. – М.: Когито-Центр, 2004. – С. 13–28.
7. Князева Е.Н. Методы нелинейной динамики в когнитивной науке // В сб. «Синергетика и психология». Вып. 3. Когнитивные процессы. – М.: Когито-Центр, 2004. – С. 29–48.
8. Комбс А. Сознание: Хаотическое и странно-аттракторное // В сб. «Синергетика и психология». Вып. 3. Когнитивные процессы. – М.: Когито-Центр, 2004. – С. 49–60.
9. Павлов А.В. О применимости голографических технологий в задаче моделирования творческого мышления // Интегрированные модели и мягкие вычисления в искусственном интеллекте: Сборник трудов IV Международной научно-практической конференции, Коломна, 28–30 мая 2007. – М.: Физматлит, 2007. – С. 282–290.
10. Павлов А.В. О возможности моделирования творческого мышления методом голографии Фурье // Труды XI Национальной конференции по искусственному интеллекту. – М.: URSS, 2008. – Т. 1. – C. 384–392.
11. Бекяшева З.С., Васильев В.Н., Павлов А.В. Статистические свойства гипотез, порождаемых нейронной сетью со связями по схеме голографии Фурье // Научно-технический вестник СПбГУ ИТМО. – 2010. – № 6(70). – С. 17–21.
12. Павлов А.В. Возможности ассоциативной обработки информации, реализуемые методом Фурьеголографии // Новости искусственного интеллекта. – 2006. – № 2. – С. 41–56.
13. Павлов А.В. О применимости модели линейной регрессии к описанию Фурье-голографии // Оптика и спектроскопия. – 2005. – Т. 98. – № 6. – С. 1033–1037.
Научно-технический вестник Санкт-Петербургского государственного университета информационных технологий, механики и оптики, 2011, № 4 (74)
25
СОЗДАНИЕ ФОТОИНДУЦИРОВАННЫХ БРЭГГОВСКИХ ДИФРАКЦИОННЫХ …
14. Колмогоров А.Н. Интерполирование и экстраполирование стационарных случайных последовательностей // Известия АН СССР. Сер. мат. – 1941. – № 5. – С. 3–14.
15. Вентцель А.Д. Курс теории случайных процессов. – М.: Наука, 1975. – 320 c. 16. Кроновер Р.М. Фракталы и хаос в динамических системах. – М.: Постмаркет, 2000. – 352 с.
Бекяшева Зоя Салаватовна Васильев Владимир Николаевич
Востриков Алексей Алексеевич Павлов Александр Владимирович
– Санкт-Петербургский государственный университет информационных технологий, механики и оптики, студент, zoya.bekyasheva@phoi.ifmo.ru
– Санкт-Петербургский государственный университет информационных технологий, механики и оптики, доктор технических наук, профессор, ректор, vasilev@mail.ifmo.ru
– Санкт-Петербургский государственный университет информационных технологий, механики и оптики, студент, lehav@inbox.ru
– Санкт-Петербургский государственный университет информационных технологий, механики и оптики, кандидат технических наук, доцент,
pavlov@phoi.ifmo.ru
26 Научно-технический вестник Санкт-Петербургского государственного университета
информационных технологий, механики и оптики, 2011, № 4 (74)