Кто, куда, зачем пришел, или анализируем логи веб-сервера

Кто, куда, зачем пришел, или анализируем логи веб-сервера

Статистика посещений интересует почти каждого владельца веб-ресурса. И практически везде установлены счетчики посещений. При выборе инструмента учета важно учесть удобство применения, простоту установки, требования к ресурсам и, конечно, полноту выдачи информации.

Чаще всего для бизнеса важны несколько параметров выдачи: общее число посещений, наиболее популярные страницы, запросы для поиска сайта, с каких адресов чаще приходят пользователи. Для получения всей этой информации оправданно использование программ, которые анализируют логи веб-сервера.

Анализ логов веб-сервера с помощью goaccess

Утилита GoAccess служит для анализа логов web-серверов и построения отчетов. Создана на языке C, включена в дистрибутивы Linux. Полная информация по установке, настройке и анализу логов - в прилагаемой документации.

С помощью GoAccess сисадмин просматривает  журнал web-сервера в онлайн-режиме. Поддерживается Apache, Nginx и Lighttpd. Утилита  GoAccess производит анализ нужного файла веб-журнала, а полученные данные выдает в браузер и X-терминал.

При разработке GoAccess была поставлена задача создания быстрого анализатора логов на базе терминалов, причем использование браузера не обязательно.  По умолчанию информация выводится в терминал. Есть возможность генерации полного автономного отчета в любом формате:  html, json, csv, комбинированном XLF/ELF Apache Nginx и общем CLF Apache.

GoAccess от других утилит отличает несколько особенностей. Среди них – выдача отчета в реальном времени с обновлением метрик каждые 200 миллисекунд на терминале и ежесекундно на выходе html. Время обработки запроса приложением отслеживается, за счет чего можно выявить причину торможения работы сайта. Для медленных запросов определяется число посещений, посетителей, пропускная способность по часам или датам. При наличии нескольких виртуальных хостов можно вывести потребление ресурсов отдельно для каждого.

Кто посоветует анализатор логов веб-сервера?

Такой вопрос системный администратор может задать на специализированном форуме. Посоветовать можно несколько вариантов.

Splunk собирает данные, сортирует их на поля и обрабатывает своим специальным языком с помощью запросов SPL. Выдает отчеты в таблицы или выборки, фильтрует данные, объединяет, используя внешние и внутренние справочники, создает аналитические панели, формирует алерты. Платформа Splunk признана в США и выходит на российский рынок. Отличается широким спектром применения, работает с различными источниками данных.

Syslog-ng – программа для сбора и хранения лог-данных для Unix, создана на основе популярного приложения Syslog. По отзывам пользователей, отличается быстротой, надежностью и невысокой требовательностью к ресурсам. Бесплатное приложение открытым исходным кодом дополняет базовый Syslog широкими возможностями фильтрации, гибкими настройками конфигурации и дает возможность использования TCP-протокола для передачи данных. Всего есть три редакции Syslog-ng: открытая с бесплатным исходным кодом Open Source Edition, премиум-редакция Premium Edition с дополнительными плагинами по закрытой лицензии и Storebox в виде устройства с веб-интерфейсом и дополнительными функциями.

AWStats с открытым исходным кодом собирает и анализирует данные логов сервера. Генерирует отчеты в виде таблиц и гистограмм. Создание html-отчетов возможно в командной строке и по сценарию GGI. Подходит для разбора данных веб, почтовых и ftp-серверов, потоковой мультимедийной передачи.