В статье исследуются достижения советской науки в области искусственного интеллекта. Рассмотрены работы Е. В. Галушкина, А. Г. Ивахненко, а также взаимодействие советских и западных исследователей в области развития нейронных сетей.
Ключевые слова: искусственный интеллект, нейронные сети, исследования советских ученых.
Нейросети в советском союзе
В наши дни нейронные сети известны благодаря достижениям западных учёных таких как Джеффри Хинтон, Йошуа Бенджио и Ян ЛеКун. Но далеко не все открытия в области коннекционизма сделаны на Западе. Коннеционизм является одним из подходов в области искусственного интеллекта, моделирующий мыслительные или поведенческие явления, в том числе с помощью нейронных сетей [1].
Начиная с конца 50-х годов в Советском союзе проводились работы по исследованию нейронных сетей. Однако данные об этих исследованиях обычно не известны широкой публике. В отечественной науке работали научные школы, специализировавшиеся на нейронных сетях, самые известные из которых это Московская и Красноярская. В данной статье мы решили напомнить о работе советских учёных, рассказав историю отечественного коннекционизма.
Датой рождения новой науки считается середина XX в., ознаменовавшаяся появлением первого нейрокомпьютера — персептрона — устройства, сконструированного «по образу и подобию» человеческого мозга, обученного типичным для живых существ методом «поощрения — наказания», способного решать сложнейшую для того времени интеллектуальную задачу — распознавать буквы латинского алфавита.
К 1975 году одна четвертая от всего количества учёных в мире работала в СССР, при этом большое внимание уделялось точным наукам, плоды которых часто имели прикладное значение. Не обходили стороной и кибернетику, в которой видели огромный потенциал.
В рамках кибернетики развивалось и направление, которое мы привыкли называть нейросетевым. Юрген Шмитхубер, создатель известной нейросетевой архитектуры LSTM (Long short-term memory), известный в наши дни также как историк глубокого обучения, часто ссылается в своих выступлениях на вклад советских учёных в становление этого направления [4].
Сотрудничество с западными исследователями
Несмотря на железный занавес, существовало тесное сотрудничество между советскими и западными учеными — они активно обменивались идеями.
В 1965 году в рамках международного обмена группа западных исследователей посетила СССР. В составе делегации был и Джон Маккарти, автор термина «искусственный интеллект». Делегация отправилась в тур по советским научно-исследовательским институтам.
Помимо Одессы, Киева и Тбилиси, делегация посетила Баку, Москву, Минск, Ленинград и несколько других городов союзных республик. После визита в Москву Маккарти в сопровождении Ершова отправился в новосибирский Академгородок, откуда через Москву вернулся домой [5].
Через три года Маккарти ещё раз приехал в Академгородок — теперь уже на два месяца и в качестве сотрудника Вычислительного центра: он прочитал курс по верификации программ в Новосибирском университете. В ходе одной из поездок Маккарти познакомился с Александром Кронродом, который работал над шахматной программой, наследницей которой стала знаменитая «Каисса», и договорился о проведении первого в мире шахматного матча между компьютерными программами. В этом матче в 1967 году советская шахматная программа, разработанная в Институте теоретической и экспериментальной физики, победила программу Стэнфордского университета со счётом 3:1.
Алгоритм обучения многослойных нейронных сетей
Еще известный деятель СССР — Евгений Васильевич Галушкин, который является автором алгоритма обучения многослойных нейронных сетей.
Алгоритм обучения многослойных нейронных сетей является одной из вариаций классического алгоритма обратного распространения ошибки (backpropagation). Основная идея алгоритма заключается в поэтапной коррекции весов нейросети на основе градиентного спуска, при этом особое внимание уделяется аналитическому описанию всех этапов обучения с точки зрения теории вероятностей и математики [2].
Галушкин предложил детальный математический подход к обучению нейронных сетей ещё в 1980-х годах, опираясь на собственные исследования в области нейроинформатики и математической логики. Он объединил идеи биологических нейросетей с математической строгостью, сделав акцент на устойчивости и сходимости алгоритма. В отличие от многих популярных описаний, его подход включает формальное обоснование процесса обучения, включая методы нормализации входов, выбор функций активации, а также анализ поведения сети в динамике [3].
Данный алгоритм служит для обучения многослойных перцептронов — нейросетей, состоящих из нескольких слоёв нейронов. Он позволяет сети «учиться» на примерах: получать на вход данные и выдавать правильный ответ, минимизируя ошибку. Это основа для решения задач классификации, распознавания образов, прогнозирования и других интеллектуальных задач.
Метод группового учёта аргументов
Еще одним деятелем в области развитии нейронных сетей является Ивахненко Алексей Григорьевич. В 1959 году он успешно собрал и испытал собственную версию перцептрона — машину «Альфа».
Один из самых значимых результатов работы Ивахненко в этом направлении — создание и развитие «Метода группового учета аргументов» (МГУА), который является одним из первых в истории алгоритмом глубокого обучения.
Также Ивахненко является соавтором книг «Предсказание случайных процессов» (1969 г.) и «Системы эвристической самоорганизации в технической кибернетике» (1971 г.), которые содержат описания техник, которые исследовались советскими коннекционистами и подробное описание МГУА, включая множество примеров его применения для решения различных задач.
Заключение
В данной статье были рассмотрены основные достижения советских ученых в области исследования нейронных сетей, которые значительно повлияли на развитие данной тематики во всем мире. В частности, были рассмотрены работы следующих ученых: Е. В. Галушкин («Алгоритм обучения многослойных нейронных сетей»), А. Г. Ивахненко («Метод группового учета аргументов), помимо этого, рассматривалось взаимодействие советских и западных исследователей в области нейронных сетей.
Литература:
- История нейронных сетей в СССР [Электронный ресурс] // Хабр. URL: https://habr.com/ru/companies/sberdevices/articles/543988/.
- Ясницкий Л. Н. О приоритете Советской науки в области нейроинформатики. — Издательство «Радиотехника», 2019.
- Галушкин А. И. Об алгоритмах адаптации в многослойных системах распознавания образов // Доклады АН УССР (представлено акад. Глушковым В. М.). 1973.
- Нейронные сети в отечественной науке [Электронный ресурс] // LiveJournal. URL: https://ushastyi.livejournal.com/299823.html?ysclid=maok8t0e9k50635406&es=1.
- Как в СССР в 1960-х годах искусственный интеллект разрабатывали [Электронный ресурс] // Яндекс Дзен. URL: https://dzen.ru/a/W20HWrHsswCoPMzb?ysclid=maok916172288019868.