ИСПОЛЬЗОВАНИЕ РЕЗУЛЬТАТОВ МАТЕМАТИЧЕСКОГО ПЛАНИРОВАНИЯ ЭКСПЕРИМЕНТА ПРИ ФОРМИРОВАНИИ ОБУЧАЮЩЕЙ ВЫБОРКИ НЕЙРОСЕТИ
Использование результатов МПЭ при формировании обучающей выборки нейросети 51
УДК 621.396.6-001.4
Д. А. ГРИШЕЛЁНОК, А. А. КОВЕЛЬ
ИСПОЛЬЗОВАНИЕ РЕЗУЛЬТАТОВ МАТЕМАТИЧЕСКОГО ПЛАНИРОВАНИЯ ЭКСПЕРИМЕНТА ПРИ ФОРМИРОВАНИИ ОБУЧАЮЩЕЙ ВЫБОРКИ НЕЙРОСЕТИ
Рассмотрены результаты применения метода математического планирования эксперимента при формировании обучающей выборки нейронной сети.
Ключевые слова: математическое планирование, нейросеть, обучающая выборка, космический аппарат.
Увеличение срока активного существования космических аппаратов (КА) до 10—15 лет, а также эксплуатация бортовой аппаратуры вне гермоконтейнера предопределяют строгие требования к надежности КА. Эксплуатация бортовой аппаратуры в условиях открытого космического пространства значительно усложняет задачу точного измерения параметров, так как под влиянием внешних факторов может происходить деградация электрорадиоизделий (ЭРИ) и, как следствие, увеличение погрешности измерений. Повышение точности измерений за счет усложнения схемотехнической части измерительных систем снижает их надежность. Решение проблемы компенсации внешних воздействий и упрощения схемотехнического исполнения заключается в математической обработке данных непосредственно при проектировании бортовой аппаратуры КА.
Нейронные сети и проблемы их обучения. Для решения задач компенсации внешних воздействий математическими методами целесообразно применение аппарата нейросетей. Нейронные сети (НС) — это современные вычислительные системы, в которых процесс преобразования информации аналогичен процессам, происходящим в мозге человека. Обрабатываемая информация имеет цифровое представление, что позволяет использовать нейронную сеть, например, в качестве модели объекта с совершенно неизвестными характеристиками.
Возможности искусственных нейронных сетей ограничены методом их обучения. Наиболее известным методом обучения нейросетей является алгоритм обратного распространения ошибки [1]. Существенные недостатки этого метода заключаются в непредсказуемости результата, а также длительности процесса обучения, в худшем случае нейросеть может оказаться вообще не обученной. Длительность обучения может быть результатом неоптимального выбора длины шага, а неудачи в обучении обычно возникают по двум причинам: паралича сети и попадания ее в локальный минимум.
Если в процессе обучения нейросети значения весов в результате коррекции становятся очень большими, это может привести к тому, что нейроны будут функционировать в области, где производная сжимающей функции очень мала. Так как посылаемая обратно в процессе обучения ошибка пропорциональна этой производной, то процесс обучения может практически приостановиться. Такое поведение нейросети в процессе обучения называют ее параличом. При обратном распространении ошибки используется разновидность градиентного спуска, т. е. осуществляется спуск по поверхности ошибки с непрерывным подстраиванием веса в направлении минимума. Поверхность ошибки сложной сети сильно изрезана и состоит из холмов, долин, складок и оврагов в пространстве высокой размерности. Сеть может попасть в локальный минимум, когда рядом имеется гораздо более глубокий минимум. В точке локального минимума все направления ведут вверх, и сеть неспособна из него выбраться [2].
ИЗВ. ВУЗОВ. ПРИБОРОСТРОЕНИЕ. 2011. Т. 54, № 4
52 Д. А. Гришелёнок, А. А. Ковель
Информационная модель объекта исследования. В условиях промышленного производства измерительной аппаратуры, базирующейся на использовании математического аппарата нейросетей, актуальным является уменьшение количества экспериментов для получения обучающих пар. Количество обучающих выборок должно в достаточной степени описывать модель поведения прибора, т.е. содержать максимум информации о взаимном влиянии параметров. С этих позиций представляет интерес использование результатов математического планирования эксперимента (МПЭ) [3].
Важно отметить, что вся информация, которую нейронная сеть имеет о задаче, содержится в наборе примеров. Поэтому качество обучения нейронной сети непосредственно зависит от количества примеров в обучающей выборке, а также от того, насколько полно эти примеры описывают данную задачу.
Для минимизации количества экспериментальных данных при обучении нейросети целесообразно синтезировать недостающие обучающие пары из предварительно построенной математической модели (ММ) измерительного устройства (ИУ) (см. рисунок).
ЭУ
НС ΠЭУ {xi} ЭУ ΠЭУ
{xi} {yi}
ИУ {xi} ММ ΠЭУ
При построении математической модели сложной измерительной системы (например,
электронного устройства — ЭУ) на основе экспериментов или наблюдений определяется сис-
темная функция F лишь для конечного количества параметров {xi}:
{xi} = {xвх, xвнт, xвнш},
(1)
где xвх — входные, xвнт — внутренние (отклонения параметров ЭРИ, взаимовлияние ЭРИ и
др.), xвнш — внешние (температура, напряжение питания, радиация и др.) воздействия соот-
ветственно.
При этом значения {yi} данной функции и параметры {xi} вычисляются приближенно, так как измерения подвержены ошибкам различной природы. Целью моделирования является
получение значений системных откликов при изменении {xi}. При моделировании сложных технических систем широко используются статистиче-
ские модели, но в условиях промышленного производства (когда по экономическим причи-
нам или вследствие временных ограничений нельзя получить достаточное количество дан-
ных) применение статистических моделей невозможно. В данном случае более эффективна
математическая модель, построенная с использованием метода МПЭ. Применение этого ме-
тода для построения полиномиальной математической модели, отражающей функционирова-
ние электронного устройства в условиях {xi} (см. формулу (1)), позволяет сократить количество проводимых экспериментов [3].
nn
n
∑ ∑ ∑ΠЭУ = b0 + bi xi +
bij xi x j + ... +
bij xi2 ,
i=1 i=1, j>i
i=1, j>i
(2)
где ΠЭУ характеризует реакцию ЭУ на воздействие совокупности факторов, b — коэффициенты регрессии, n — количество факторов.
Точность поведения объекта исследования и его информационной модели определяется
свойствами этой модели (порядком нелинейности) и экспериментальными данными. Множе-
ство входных и выходных переменных не может содержать все параметры, существенные для
ИЗВ. ВУЗОВ. ПРИБОРОСТРОЕНИЕ. 2011. Т. 54, № 4
Использование результатов МПЭ при формировании обучающей выборки нейросети 53
описания поведения системы. Это связано как с техническими условиями, так и с ограниченностью представлений о моделируемой системе. Кроме того, при увеличении числа переменных ужесточаются требования к объему необходимых экспериментальных данных для построения модели. База экспериментальных данных, на которых основывается построение математической модели, рассматривается как объективная реальность. При этом в данных всегда присутствуют погрешности разной природы и шум. Такие особенности базы данных и постановки задач требуют особого подхода к анализу ошибок информационных моделей [4].
При построении математической модели следует учитывать, что из-за разброса внутренних параметров {xвнт} пассивных и активных ЭРИ измерительного устройства влияние факторов {xвх}, {xвнш} на выходной параметр {yi} будет различным для каждой реализации ЭУ. Так как речь идет о промышленном изготовлении устройств, то использование индивидуальной математической модели для каждой реализации нецелесообразно, и осуществляется построение обобщенной модели [5].
Формирование обучающей и тестовой выборок. В качестве обучающей выборки используются те же экспериментальные результаты, что и для построения обобщенной математической модели. Если объем данных ограничен, то требуется анализ его достаточности для решения поставленной задачи. В любом случае обучающих данных должно быть больше, чем обучаемых параметров НС. Если результатов эксперимента оказалось недостаточно, то для дополнения обучающей выборки используется обобщенная модель. Такой прием позволяет увеличить количество обучающих пар без увеличения количества экспериментов.
Невязка выхода НС и системной функции на обучающем множестве называется ошибкой обучения НС. Основной интерес представляет отклик НС на новое воздействие, пример которого отсутствует в обучающей выборке. Неизвестная ошибка, допускаемая НС при воздействиях, не использовавшихся при обучении, называется ошибкой обобщения. Основной целью при обучении НС является уменьшение именно ошибки обобщения.
Важно отметить, что незначительность ошибки обучения не гарантирует малого значения ошибки обобщения. Поскольку истинное значение ошибки обобщения недоступно, на практике используется ее оценка. Для ее получения проводится анализ части примеров из имеющейся базы данных, для которых известны отклики системы, но которые не использовались при обучении. Эта выборка примеров называется тестовой. Ошибка обобщения оценивается на множестве примеров из тестовой выборки.
После построения обобщенной математической модели устройства определяются факторы, изменение которых в процессе эксплуатации ЭУ вызывает наибольшее влияние на выходной параметр ΠЭУ. Определив наиболее критичные из факторов {xвнш}, проводят дополнительный эксперимент при значениях {xвнш}, соответствующих нормальным условиям эксплуатации ЭУ. Результаты дополнительного эксперимента используются в дальнейшем в качестве тестовой выборки для определения ошибки обобщения.
Применение метода математического планирования эксперимента для получения обучающих пар НС и использование обобщенной математической модели исследуемого устройства позволяют выбрать оптимальное количество проводимых экспериментов.
Рассмотренный подход при формировании обучающей выборки нейросети внедряется в практику разработки бортовой аппаратуры КА.
Исследования, результаты которых представлены в настоящей статье, выполнены в рамках Федеральной целевой программы „Научные и научно-педагогические кадры инновационной России“ на 2009—2013 гг., гос. контракт № 02.740.11.0621.
ИЗВ. ВУЗОВ. ПРИБОРОСТРОЕНИЕ. 2011. Т. 54, № 4
54 А. А. Ковель, С. В. Покидько
СПИСОК ЛИТЕРАТУРЫ
1. Рутковская Д., Пилиньский М., Рутковский Л. Нейронные сети, генетические алгоритмы и нечеткие системы. М.: Горячая линия—Телеком, 2006. 252 с.
2. Пауков Д. Прогнозирование с помощью искусственных нейронных сетей [Электронный ресурс]: .
3. Барабащук В. И., Креденцер Б. П., Мирошниченко В. И. Планирование эксперимента в технике. Киев: Техника, 1984.
4. Горбань А. Н., Дунин-Барковский В. Л., Кирдин А. Н. и др. Нейроинформатика. Новосибирск: Наука, 1998. 296 с.
5. Ковель А. А. Установление допусков на параметры электронных устройств по результатам многофакторного эксперимента // Изв. вузов. Приборостроение. 2008.Т. 51, № 8. С. 18—22.
Сведения об авторах
Дмитрий Анатольевич Гришелёнок — ОАО „Информационные спутниковые системы“ им. акад. М. Ф. Ре-
шетнёва, Железногорск, Красноярский край; инженер-конструктор;
E-mail: dimass_13@mail.ru
Анатолий Архипович Ковель
— д-р техн. наук, профессор; Сибирский государственный аэрокосмиче-
ский университет им. акад. М. Ф. Решетнёва, кафедра космических
информационных систем, Красноярск; E-mail: kovel.bogdan@mail.ru
Рекомендована СибГАУ
Поступила в редакцию 19.11.10 г.
ИЗВ. ВУЗОВ. ПРИБОРОСТРОЕНИЕ. 2011. Т. 54, № 4
УДК 621.396.6-001.4
Д. А. ГРИШЕЛЁНОК, А. А. КОВЕЛЬ
ИСПОЛЬЗОВАНИЕ РЕЗУЛЬТАТОВ МАТЕМАТИЧЕСКОГО ПЛАНИРОВАНИЯ ЭКСПЕРИМЕНТА ПРИ ФОРМИРОВАНИИ ОБУЧАЮЩЕЙ ВЫБОРКИ НЕЙРОСЕТИ
Рассмотрены результаты применения метода математического планирования эксперимента при формировании обучающей выборки нейронной сети.
Ключевые слова: математическое планирование, нейросеть, обучающая выборка, космический аппарат.
Увеличение срока активного существования космических аппаратов (КА) до 10—15 лет, а также эксплуатация бортовой аппаратуры вне гермоконтейнера предопределяют строгие требования к надежности КА. Эксплуатация бортовой аппаратуры в условиях открытого космического пространства значительно усложняет задачу точного измерения параметров, так как под влиянием внешних факторов может происходить деградация электрорадиоизделий (ЭРИ) и, как следствие, увеличение погрешности измерений. Повышение точности измерений за счет усложнения схемотехнической части измерительных систем снижает их надежность. Решение проблемы компенсации внешних воздействий и упрощения схемотехнического исполнения заключается в математической обработке данных непосредственно при проектировании бортовой аппаратуры КА.
Нейронные сети и проблемы их обучения. Для решения задач компенсации внешних воздействий математическими методами целесообразно применение аппарата нейросетей. Нейронные сети (НС) — это современные вычислительные системы, в которых процесс преобразования информации аналогичен процессам, происходящим в мозге человека. Обрабатываемая информация имеет цифровое представление, что позволяет использовать нейронную сеть, например, в качестве модели объекта с совершенно неизвестными характеристиками.
Возможности искусственных нейронных сетей ограничены методом их обучения. Наиболее известным методом обучения нейросетей является алгоритм обратного распространения ошибки [1]. Существенные недостатки этого метода заключаются в непредсказуемости результата, а также длительности процесса обучения, в худшем случае нейросеть может оказаться вообще не обученной. Длительность обучения может быть результатом неоптимального выбора длины шага, а неудачи в обучении обычно возникают по двум причинам: паралича сети и попадания ее в локальный минимум.
Если в процессе обучения нейросети значения весов в результате коррекции становятся очень большими, это может привести к тому, что нейроны будут функционировать в области, где производная сжимающей функции очень мала. Так как посылаемая обратно в процессе обучения ошибка пропорциональна этой производной, то процесс обучения может практически приостановиться. Такое поведение нейросети в процессе обучения называют ее параличом. При обратном распространении ошибки используется разновидность градиентного спуска, т. е. осуществляется спуск по поверхности ошибки с непрерывным подстраиванием веса в направлении минимума. Поверхность ошибки сложной сети сильно изрезана и состоит из холмов, долин, складок и оврагов в пространстве высокой размерности. Сеть может попасть в локальный минимум, когда рядом имеется гораздо более глубокий минимум. В точке локального минимума все направления ведут вверх, и сеть неспособна из него выбраться [2].
ИЗВ. ВУЗОВ. ПРИБОРОСТРОЕНИЕ. 2011. Т. 54, № 4
52 Д. А. Гришелёнок, А. А. Ковель
Информационная модель объекта исследования. В условиях промышленного производства измерительной аппаратуры, базирующейся на использовании математического аппарата нейросетей, актуальным является уменьшение количества экспериментов для получения обучающих пар. Количество обучающих выборок должно в достаточной степени описывать модель поведения прибора, т.е. содержать максимум информации о взаимном влиянии параметров. С этих позиций представляет интерес использование результатов математического планирования эксперимента (МПЭ) [3].
Важно отметить, что вся информация, которую нейронная сеть имеет о задаче, содержится в наборе примеров. Поэтому качество обучения нейронной сети непосредственно зависит от количества примеров в обучающей выборке, а также от того, насколько полно эти примеры описывают данную задачу.
Для минимизации количества экспериментальных данных при обучении нейросети целесообразно синтезировать недостающие обучающие пары из предварительно построенной математической модели (ММ) измерительного устройства (ИУ) (см. рисунок).
ЭУ
НС ΠЭУ {xi} ЭУ ΠЭУ
{xi} {yi}
ИУ {xi} ММ ΠЭУ
При построении математической модели сложной измерительной системы (например,
электронного устройства — ЭУ) на основе экспериментов или наблюдений определяется сис-
темная функция F лишь для конечного количества параметров {xi}:
{xi} = {xвх, xвнт, xвнш},
(1)
где xвх — входные, xвнт — внутренние (отклонения параметров ЭРИ, взаимовлияние ЭРИ и
др.), xвнш — внешние (температура, напряжение питания, радиация и др.) воздействия соот-
ветственно.
При этом значения {yi} данной функции и параметры {xi} вычисляются приближенно, так как измерения подвержены ошибкам различной природы. Целью моделирования является
получение значений системных откликов при изменении {xi}. При моделировании сложных технических систем широко используются статистиче-
ские модели, но в условиях промышленного производства (когда по экономическим причи-
нам или вследствие временных ограничений нельзя получить достаточное количество дан-
ных) применение статистических моделей невозможно. В данном случае более эффективна
математическая модель, построенная с использованием метода МПЭ. Применение этого ме-
тода для построения полиномиальной математической модели, отражающей функционирова-
ние электронного устройства в условиях {xi} (см. формулу (1)), позволяет сократить количество проводимых экспериментов [3].
nn
n
∑ ∑ ∑ΠЭУ = b0 + bi xi +
bij xi x j + ... +
bij xi2 ,
i=1 i=1, j>i
i=1, j>i
(2)
где ΠЭУ характеризует реакцию ЭУ на воздействие совокупности факторов, b — коэффициенты регрессии, n — количество факторов.
Точность поведения объекта исследования и его информационной модели определяется
свойствами этой модели (порядком нелинейности) и экспериментальными данными. Множе-
ство входных и выходных переменных не может содержать все параметры, существенные для
ИЗВ. ВУЗОВ. ПРИБОРОСТРОЕНИЕ. 2011. Т. 54, № 4
Использование результатов МПЭ при формировании обучающей выборки нейросети 53
описания поведения системы. Это связано как с техническими условиями, так и с ограниченностью представлений о моделируемой системе. Кроме того, при увеличении числа переменных ужесточаются требования к объему необходимых экспериментальных данных для построения модели. База экспериментальных данных, на которых основывается построение математической модели, рассматривается как объективная реальность. При этом в данных всегда присутствуют погрешности разной природы и шум. Такие особенности базы данных и постановки задач требуют особого подхода к анализу ошибок информационных моделей [4].
При построении математической модели следует учитывать, что из-за разброса внутренних параметров {xвнт} пассивных и активных ЭРИ измерительного устройства влияние факторов {xвх}, {xвнш} на выходной параметр {yi} будет различным для каждой реализации ЭУ. Так как речь идет о промышленном изготовлении устройств, то использование индивидуальной математической модели для каждой реализации нецелесообразно, и осуществляется построение обобщенной модели [5].
Формирование обучающей и тестовой выборок. В качестве обучающей выборки используются те же экспериментальные результаты, что и для построения обобщенной математической модели. Если объем данных ограничен, то требуется анализ его достаточности для решения поставленной задачи. В любом случае обучающих данных должно быть больше, чем обучаемых параметров НС. Если результатов эксперимента оказалось недостаточно, то для дополнения обучающей выборки используется обобщенная модель. Такой прием позволяет увеличить количество обучающих пар без увеличения количества экспериментов.
Невязка выхода НС и системной функции на обучающем множестве называется ошибкой обучения НС. Основной интерес представляет отклик НС на новое воздействие, пример которого отсутствует в обучающей выборке. Неизвестная ошибка, допускаемая НС при воздействиях, не использовавшихся при обучении, называется ошибкой обобщения. Основной целью при обучении НС является уменьшение именно ошибки обобщения.
Важно отметить, что незначительность ошибки обучения не гарантирует малого значения ошибки обобщения. Поскольку истинное значение ошибки обобщения недоступно, на практике используется ее оценка. Для ее получения проводится анализ части примеров из имеющейся базы данных, для которых известны отклики системы, но которые не использовались при обучении. Эта выборка примеров называется тестовой. Ошибка обобщения оценивается на множестве примеров из тестовой выборки.
После построения обобщенной математической модели устройства определяются факторы, изменение которых в процессе эксплуатации ЭУ вызывает наибольшее влияние на выходной параметр ΠЭУ. Определив наиболее критичные из факторов {xвнш}, проводят дополнительный эксперимент при значениях {xвнш}, соответствующих нормальным условиям эксплуатации ЭУ. Результаты дополнительного эксперимента используются в дальнейшем в качестве тестовой выборки для определения ошибки обобщения.
Применение метода математического планирования эксперимента для получения обучающих пар НС и использование обобщенной математической модели исследуемого устройства позволяют выбрать оптимальное количество проводимых экспериментов.
Рассмотренный подход при формировании обучающей выборки нейросети внедряется в практику разработки бортовой аппаратуры КА.
Исследования, результаты которых представлены в настоящей статье, выполнены в рамках Федеральной целевой программы „Научные и научно-педагогические кадры инновационной России“ на 2009—2013 гг., гос. контракт № 02.740.11.0621.
ИЗВ. ВУЗОВ. ПРИБОРОСТРОЕНИЕ. 2011. Т. 54, № 4
54 А. А. Ковель, С. В. Покидько
СПИСОК ЛИТЕРАТУРЫ
1. Рутковская Д., Пилиньский М., Рутковский Л. Нейронные сети, генетические алгоритмы и нечеткие системы. М.: Горячая линия—Телеком, 2006. 252 с.
2. Пауков Д. Прогнозирование с помощью искусственных нейронных сетей [Электронный ресурс]: .
3. Барабащук В. И., Креденцер Б. П., Мирошниченко В. И. Планирование эксперимента в технике. Киев: Техника, 1984.
4. Горбань А. Н., Дунин-Барковский В. Л., Кирдин А. Н. и др. Нейроинформатика. Новосибирск: Наука, 1998. 296 с.
5. Ковель А. А. Установление допусков на параметры электронных устройств по результатам многофакторного эксперимента // Изв. вузов. Приборостроение. 2008.Т. 51, № 8. С. 18—22.
Сведения об авторах
Дмитрий Анатольевич Гришелёнок — ОАО „Информационные спутниковые системы“ им. акад. М. Ф. Ре-
шетнёва, Железногорск, Красноярский край; инженер-конструктор;
E-mail: dimass_13@mail.ru
Анатолий Архипович Ковель
— д-р техн. наук, профессор; Сибирский государственный аэрокосмиче-
ский университет им. акад. М. Ф. Решетнёва, кафедра космических
информационных систем, Красноярск; E-mail: kovel.bogdan@mail.ru
Рекомендована СибГАУ
Поступила в редакцию 19.11.10 г.
ИЗВ. ВУЗОВ. ПРИБОРОСТРОЕНИЕ. 2011. Т. 54, № 4