Разработка информационного обеспечения автоматизированной системы обнаружения объектов на изображении

В данной статье разработаны требования к информационному обеспечению автоматизированной системы, описаны входные и выходные данные для системы, проанализирован процесс обнаружения объектов на изображении.

Ключевые слова: обнаружение, eye-tracker, изображение, машинное обучение

Задача обнаружения объекта на изображении является первым этапом в процессе решения более сложных задач, например, распознавание лица, выделение контура определенного объекта или техническое зрение автоматизированных систем. Такие системы применяются в различных сферах: взаимодействие между машиной и человеком, идентификация, производственная сфера, космические и глубоководные отрасли, детектирование в фото и видео оборудовании.

В данной статье предлагается проанализировать информационное обеспечение для одной из таких автоматизированных систем (АС) предназначенных для обнаружения объекта. Опишем более подробно входные и выходные данные автоматизированной системы. На вход системы поступают изображения формата JPEG или PNG поставленные заказчиком. Они располагаются на персональном компьютере, входящего в систему, и загружаются в нее путем использования интерфейса разработанной программы [2]. Изображения, на которых необходимо обнаружить объект являются постановлением задачи заказчика. Такими объектами могут быть лица людей, числовые значения, штрих коды, предметы передвижения. На выходе получаем изображения, на которых обнаружен объект. Данные изображения так же находятся в форматах PNG или JPEG на персональном компьютере, а объект на изображении выделяется в прямоугольную рамку для удобного и понятного восприятия. Обнаружение объекта в системе происходит за счет модели распознавания объекта — это механизм, разработанный с помощью алгоритмов машинного обучения без учителя, то есть непосредственно будет проводиться кластерный анализ, с использованием методов k-среднее и EM-алгоритм [3], [5]. Так же данная модель содержит текстовые документы с результатами испытаний, полученных с устройства eye-tracker, данные будут записаны в таблицы. Такие данные предназначены для обучения модели, лежащей в основе разработанного программного продукта обнаружения объектов в автоматизированной системе. Управляющими документами для автоматизированной системы являются алгоритмы машинного обучения, алгоритмы обнаружения объектов, регламент тестирований, инструкции для работы с устройством eye-tracker и технический регламент для работы системы. Автоматизированная система работает при использовании дополнительных инструментов таких, как разработанный программный продукт на основе методов машинного обучения, eye-tracker — устройство позволяющие отслеживать и записывать информацию о движении взгляда респондентов, персональный компьютер (ПК) для отображения данных и выполнения различных операций в программном продукте, дополнительные программные средства, а также люди — лаборант и респонденты. Процесс автоматизированной системы представлен на рисунке 1.

Рис. 1. Автоматизированная система обнаружения объектов

Сбор данных для обучения модели АС осуществляется с помощью eye-tracker устройства, полученные данные хранятся в табличном формате в базе данных. Хранилище данных функционирует под управлением реляционной СУБД Microsoft SQL Server 2005, и выполнено в виде набора взаимосвязанных реляционных таблиц и вспомогательных объектов. В качестве основного носителя данных в системе применяются встроенные накопители на жестких магнитных дисках. Дополнительным носителем информации является облачный сервер, а именно Google Диск. Организация данных на дисках и доступ к хранимой информации обеспечиваются средствами используемых операционных систем и СУБД, входящих в состав программно-технического комплекса.

Внутрисистемное информационное обеспечение системы организовано по принципу создания центрального хранилища данных. Ядром системы является база данных, содержащая всю информацию для оперирования в различных модулях системы. Основными принципами организации внесистемного информационного обеспечения являются:

‒ полный аудит информационного обеспечения.

Модель для обучения и тестирования, положенная в основу программного продукта разрабатывается на базе программы IBM SPSS Modeler. Данные для обучения хранятся в базе данных, полученные только с устройства eye-tracker. Сбор информации должен осуществляться исключительно посредством тестирования респондентов и получением отдельных изображений для исследований. Возможность редактирования и корректировка алгоритма преобразования этих данных должна быть доступна пользователю с правами администратора. Процесс тестирования респондентов регулируется документом, а именно регламентом тестирования.

Передача информации между функциональным местом АС, а именно рабочим местом на котором проводится обнаружение объекта и базой данных должна осуществляться автоматически в режиме онлайн. Контроль целостности и структурной корректности внесенной информации осуществляется базой данных в автоматическом режиме. Контроль смысловой корректности вносимой информации осуществляется оператором соответствующего функционального места. Корректировка информации осуществляется оператором соответствующего функционального места. Отклик программы на действия пользователя должен быть с задержкой не более 5 секунд. Формирование результатов в электронном виде должно составлять не более 15 секунд после получения задания.

Опишем более детально требования к задачам разрабатываемого программного продукта. Программа должна быть разработана в бесплатной среде разработки и с открытыми библиотеками для более быстрого и эффективного создания, так же иметь простейший дружелюбный интерфейс. Система должна работать хотя бы с двумя устройствами eye-tracker. На выходе программного обеспечения должно сформировать описание наблюдаемой сцены и показать обнаруженный объект. В состав программного продукта (ПП) включается подсистема принятия решения в подсистеме, предназначенной для решения задач распознавания. Требования надежности ПП обусловлены высокой степенью распознавания объекта (не менее 80 %). Каналы приема изображений и передачи описания объекта на аппаратном и программном уровнях не подлежат защите.

Задачи нижнего уровня ПП: определение доступного устройства eye-tracker, инициализация камеры, калибровка, выбор методики и алгоритма обнаружения, строится основной алгоритм для работы системы.

Задачи среднего уровня ПП: захват изображения, фильтрация, восстановление изображения, обработка цветных и полутоновых изображений, конвертирование цветных изображения в полутоновые изображения, сегментация изображений, подготовка изображения для модели классификация объектов, процесс кластеризации, проведение eye-tracking теста на респондентах обучение модели, тестирование модели, фиксирование результатов, переобучение модели.

Задачи верхнего уровня ПП: распознавания объектов относящиеся к классу, обнаружение объекта, процесс принятия решения, построение контрольной рамки обнаружения, вывод результатов.

Рассмотрим подробнее необходимые технические средства для автоматизированной системы обнаружения объектов.

Для работы с АС рабочее место должно быть оснащено ПК с ОС MS Windows XP/Vista/7/8.

‒ Pentium/Celeron 1,7 ГГц;

‒ HDD — 40 Гб;

‒ Разрешение мониторов от 1024 *768.

Для получения данных системы необходимо устройство eye-tracker. Проведя сравнительный анализ устройств, был выбран оптимальный eye-tracker для проведения тестирования. Таким устройством выбран eye-tracker Tobii Pro T60XL [1], представленный на рисунке 2.

Рис. 2. Устройство eye-tracker Tobii Pro T60XL

Для работы устройства требуется компьютер с любой операционной системой и с портом USB 3.0. Характеристики устройства представлены в таблице 1.

Таблица 1

Характеристики eye-trackerTobiiPro T60XL

В заключении отметим, что разработка информационного обеспечения АС позволит спроектировать систему, которая сможет определять объекты на изображении, используя разработанную программную среду на основе методов машинного обучения и данных, полученных с устройства eye-tracker.

Литература:

1. Tobii Pro [Электронный ресурс]. — URL: http://www.tobiipro.com/product-listing/tobii-pro-t60xl
2. Поиск и анализ цветового пространства оптимального для построения выделяющихся объектов на заданном классе изображений [Электронный ресурс]. — URL: https://habrahabr.ru/post/229757
3. Dim P. Papadopoulos, Alasdair D. F. Clarke, Frank Keller, Vittorio Ferrari Training object class detectors from eye tracking data, 2015 С.16
4. Сойфер, В. А. Методы компьютерной обработки изображений / В. А. Сойфер, — М.: Физматлит, 2001. — 784с.
5. S. Amershi, c. Conati, Unsupervised and supervised machine learning in user modeling for intelligent learning environments. In Proc. Of the 12^th Int. Conf. On Intelligent user interfaces, (2007) pp. 72–81. Honolulu, Hawaii, SA: ACM.