Система распознавания интернет угроз по журналам веб-сервисов

В последние два десятилетия получила огромное распространение глобальная информационная сеть Интернет. По данным рейтинговых исследований к концу 2011 г. число пользователей, регулярно использующих сеть Интернет, составило около 2,3 млрд человек. На сегодняшний день наибольшее распространение получил протокол HTTP. Большинство информационных ресурсов в современной сети Интернет основаны именно на этом протоколе.

Параллельно с ростом популярности «всемирной паутины» растет и количество всевозможных угроз, связанных с информационной безопасностью, направленных на кражу или порчу личной информации пользователей, попытками фальсифицировать данные или вовсе сделать информационный ресурс недоступным. В связи с этим возникла необходимость в своевременном обнаружении и последующей ликвидации этих угроз. Функционирование веб-сервиса на основе протокола HTTP предполагает использование двух категорий программного обеспечения: 

–    Серверы – как основные поставщики услуг хранения и обработки информации (обработка запросов); 

–    Клиенты – конечные потребители услуг сервера (отправка запроса). 

Мы будем рассматривать только безопасность сервера, как наиболее существенного компонента, без которого работа сервиса невозможна. Наиболее популярными в настоящее время являются веб-серверы: Apache, Internet Information Services (IIS), lighttpd. 

В качестве сервера в данной работе был рассмотрен Apache, поскольку он является Open Source, и, согласно данным [1], наиболее распространённым в мире (рис. 1).

Любой веб-сервис ведёт запись всех действий его пользователей в журнал (Log-файл) [2]. Лог-файл является документом, в котором запротоколирована информация о пользователе и его действиях (запросах) по отношению к веб-сервису [3]. Apache предоставляет гибкие инструменты журналирования, что реализовано средствами ведения Log-файлов. Структура лог-файла приведена на рис. 2.

Одним из методов решения проблемы обнаружения интернет-угроз является анализ журналов веб-сервиса на предмет подозрительных действий со стороны его пользователей [4]. Эти меры позволят построить защищённый интернет-сервис, предоставляющий своим пользователям стабильность и определённую степень информационной безопасности.

Рис. 1. Рейтинг веб серверов

Рис. 2. Структура лог-файла

Для наиболее эффективного администрирования веб-сервиса, построенного на базе HTTP сервера Apache, нам потребуется объективная информация о его функционировании. Для получения этой информации необходимо произвести анализ Log-файла, сгенерированного нашим сервером. Поскольку Log-файлы зачастую содержат огромное количество записей, то самостоятельный анализ без привлечения каких-либо программных средств является очень затратным по времени. Поэтому в настоящее время разработано большое количество программного обеспечения, облегчающего процесс анализа [5].

В ходе работы были рассмотрены следующие средства анализа:

1.Analog 6.0 (http://www.analog.cx/);

2.Apache Log Analyzer 1.0 (http://on-line-teaching.com/);

3.Sawmill Enterprise 8.6.2 (http://www.sawmill.net/);

4.WebSpy Vantage Ultimate 2.2.0.84 (http://www.webspy.com/);

5.WebLog Expert Lite 8.1 (http://www.weblogexpert.com/);

6.OSSEC (http://www.ossec.net/);

7.Prelude (http://www.prelude-siem.com/).

При проведении анализа первые пять инструментов предоставили исчерпывающую информацию о посещаемости ресурса, его рентабельности, о популярности тех или иных разделов, о географическом расположении пользователей и многом другом; но ни один не предоставил какой-либо информации об интернет угрозах, оставшиеся два инструмента узконаправленны на обнаружение вторжений и какой-либо побочной информации не дают, также в их составе по умолчанию отсутствует графический интерфейс с возможностью представления статистики (таблица 1). 

Таблица 1

Сравнения существующих средств анализа

Исходя из результатов проведенного анализа, встала задача реализации автономной системы обнаружения интернет-угроз со следующими функциями:

1.      Автономное обнаружение и хранение информации об интернет-угрозах.

2.      Визуализация полученных данных.

В качестве интернет-угроз были рассмотренны следующие частные случаи:

–    поиск точек входа и уязвимостей в административной части сайта;

–    попытки нагрузочных атак на сайт (DOS). Большое количество запросов за короткое время от одного пользователя;

–    попытки получения доступа к файловой системе сервиса по протоколу FTP.

–    перебор пары логин-пароль для последующего получения доступа;

–    поиск ошибок при администрировании ресурса.

Реализация данной системы была произведена на базе операционной системы семейства UNIX в виде «демона», написанного на языке PHP. Для автоматизации процесса обнаружения использовался демон-планировщик «Cron»; в роли хранилища данных выступает база данных MySQL; в качестве визуализации используется веб-страница с java скриптами dc.js, d3.js и crosfilter.js, позволяющими создать интерактивную инфографику [6].

Выбор операционной системы семейства UNIX обусловлен тем, что большинство веб-сервисов базируется на веб-сервер Apache [1], который в свою очередь наиболее корректно функционирует на ее базе. PHP в современном интернете используется как язык для реализации веб-сервисов, но при подключении CLI библиотеки веб-скрипт может функционировать как локальное приложение, что в нашем случае исключает необходимость в использовании дополнительных программных средств для реализации и функционирования системы. База данных MySQL — распространенный инструмент для хранения данных веб-ресурса (к примеру, учетные записи пользователей); для хранения информации об интернет-угрозах просто необходимо добавить новую таблицу. Визуальный интерфейс в виде веб-страницы позволяет оперативно и наглядно предоставлять информацию об угрозах, а также имеет возможность интеграции в административные разделы веб-сервиса.

Принцип работы системы заключается в автономном получении, анализе и занесении информации в базу данных. В нашем случае лог-файлы хранятся на удаленном файловом сервере FTP (рис. 3).

Рис. 3. Общая структура системы

При помощи «Cron» было запланировано задание о запуске PHP демона каждый час. После запуска демон скачивает с удаленного сервера лог-файлы веб-сервисов, указанных в списке конфигурации, после чего происходит фильтрация не интересующей нас информации. Затем запускается анализ на предмет интернет-угроз. В случае обнаружения демон вносит в базу данных запись, в которой указывает IP-адрес подозреваемого пользователя; тип угрозы; имя веб-сервиса, к которому относилась угроза; дата и время; продолжительность; количество запросов; начальный фрагмент из лог-файла, подтверждающий факт угрозы. По окончании анализа, демон при наличии изменений в базе данных, экспортирует ее в CSV-файл для возможности последующего использования в веб-интерфейсе.

В ходе проделанной работы был произведён анализ журналов нескольких веб-сервисов периодом с 2012 г. по сегодняшний день, по результатам которого были выявлены неоднократные случаи интернет-угроз для ресурсов.

На рис. 4–8 показан веб-интерфейс системы в виде интерактивной инфографики, отвечающий за визуализацию накопленных данных. Интерактивность интерфейса заключается в перестроении в реальном времени диаграмм и графиков в зависимости от данных, выбранных пользователем. Таким образом, каждый элемент интерфейса является своеобразным графическим «фильтром» выводимой информации.

На рис. 4 изображена первая часть интерфейса, дающая наглядное представление о временных границах интернет-угроз за весь период анализа. Здесь представлены диаграммы, показывающие количество обнаруженных интернет-угроз в рамках год, месяц, день, а также пользователях. Рис. 5 отображает аналогичную информацию только с применением пользовательского фильтра. Рис. 6, 7 содержат диаграммы о количестве обнаруженных интернет-угроз того или иного типа, а также подверженность угрозам среди веб-сервисов. Рис. 8 является сводным графиком всех угроз на протяжении всего периода анализа. На основании всех диаграмм и графиков (за весь период) можно сделать следующий вывод:

Рис. 4. Диаграммы даты и IP

Рис. 5. Пример интерактивности. Диаграммы даты и IP с использованием фильтра.

«данные за сентябрь 2014 и 2012 гг.»

В 2013 г. была наибольшая активность пользователей, направленная на нанесение вреда веб-сервисам. Наибольшую активность пользователи проявляют в феврале. В течение месяца активность пользователей фактически равномерна и не имеет резких перепадов. Наибольшее число запросов, расцененных системой как интернет-угроза, произвел пользователь с IP-адресом 5.45.72.16.

Рис. 6. Диаграмма типов угроз

Рис. 7. Диаграмма сервисов

Рис. 8. Сводный график

Наибольшее число угроз относится к типу нагрузочных атаками (DOS). Веб-сервисы modernproblems, icm и mail больше всего подвержены интернет-угрозам.

Разработанная система позволяет получать актуальную информацию о возможных интернет-угрозах на веб-сервисы, что даёт возможность оперативно их предотвращать.

На данный момент система находится на стадии доработки и оптимизации. Одной из главных проблем является ресурсоемкость веб-интерфейса и низкая скорость обработки большого объема данных. Также существует проблема выявления новых типов угроз, поскольку злоумышленники разрабатывают новые алгоритмы атак, которые плохо поддаются обнаружению и требуют более глубокого анализа данных.

В дальнейшем планируется расширение функционала системой оповещений и автономного принятия решения о блокировке доступа пользователя к веб-сервису для пресечения дальнейших интернет-угроз от этого пользователя.

Литература:

1.      June 2014 Web Server Survey [Электронный ресурс]: Netcraft // web-server-survey – Режим доступа http://news.netcraft.com/archives/category/web-server-survey/

2.      Log Files [Электронный ресурс]: ASF// Apache Software Foundation – Режим доступа http://httpd.apache.org/docs/1.3/logs.html

3.      Ashok A. Administering and Securing the Apache Server: technical manual/A. Ashok. – Portland: Premier Press, 2002. – 442 c.

4.      Обеспечение безопасности веб-сайтов [Электронный ресурс]: Яндекс//Яндекс помощь вебмастеру – Режим доступа http://help.yandex.ru/webmaster/protecting-sites/shared-hosting.xml 

5.      Анализ и интерпретация лог-файлов [Электронный ресурс]: Gilbert webkontor//веб-аналитика – Режим доступа http://www.web-patrol.net/webanalytics-logfile.html

6.      Интерактивная инфографика [Электронный ресурс]: Com agency//полезно знать – Режим доступа  http://comagency.ru/interaktivnaja-infografika