Программа для анализа лог файлов сайта

Обновлено: 07.07.2024

У хорошего системного администратора должны быть хорошие инструменты. Предлагаем вашему вниманию подборку программных средств, которые предназначены для мониторинга, логирования и сбора показателей.

Мониторинг:

• Alerta — масштабируемая, гибкая и распределённая система мониторинга;

• Adagios — web-интерфейс для конфигурации Nagios;

• Cacti — инструмент с web-интерфейсом, собирающий статистические данные за временные интервалы и позволяющий отобразить их в графическом виде;

• Cabot — служба мониторинга и оповещений на собственном сервере;

• Centreon — опенсорсный инструмент для мониторинга производительности;

• check_mk — комплект расширений для Nagios;

• Dash — web-дашборд для Linux;

• Flapjack — система мониторинга маршрутизации уведомлений;

• Monit — для управления и мониторинга Unix-систем;

• Munin — сетевой инструмент, обеспечивающий мониторинг ресурсов;

• Naemon — сетевой инструмент, обеспечивающий мониторинг. Основан на Nagios, но имеет улучшенную производительность и обновлённую функциональность;

• Nagios — известный опенсорсный инструмент для мониторинга компьютерных сетей и систем. Используется для наблюдения и контроля состояния вычислительных служб и узлов, а также оповещения сисадмина, если какие-нибудь службы прекращают работу;

• Observium — система мониторинга для Cisco, Linux, HP, Juniper, Windows, Dell, Brocade, Netscaler, FreeBSD, NetApp и прочих. Имеет платную и бесплатную версии;

• OMD — система для сетевого мониторинга;

• Opsview — эта система мониторинга основана на Nagios 4;

• Riemann — гибкий инструмент мониторинга распределённых систем;

• Sensu — опенсорсный фреймворк для мониторинга на Ruby;

• Sentry — для мониторинга приложений и логирования событий;

• Serverstats – простой инструмент создания графиков посредством rrdtool;

• Seyren — дашборд с оповещениями для Graphite;

• Shinken — опенсорсный фреймворк для мониторинга на «Пайтон»;

• Thruk — web-интерфейс для Nagios, Icinga, Naemon, Shinken;

• Uchiwa — дашборд для Sensu;

• Zabbix — известнейшая опенсорсная система мониторинга и отслеживания статусов различных сервисов компьютерной сети, а также серверов и сетевого оборудования.

Сбор показателей:

• Collectd — демон для сбора системной статистики;

• Collectl — очень точный инструмент, обеспечивающий сбор показателей производительности системы;

• Smashing — фреймворк на Ruby, с помощью которого можно создавать дашборды. Форк Dashing;

• Diamond — демон на Python, обеспечивающий сбор статистики;

• Facette — для визуализации временных данных. Написан на Go; • Freeboard — для создания дашбордов;

• Ganglia — распределённая масштабируемая система мониторинга, предназначенная для высокопроизводительных систем;

• Grafana — популярное ПО для анализа временных рядов;

• Graphite — для хранения и отображения временных данных;

• InfluxDB — опенсорсная распределённая БД для хранения временных рядов;

• KairosDB — БД для хранения временных рядов, форк OpenTSDB 1.x;

• NetData — система, обеспечивающая распределённый мониторинг производительности и работоспособности в режиме реального времени;

• OpenTSDB — распределённая и масштабируемая опенсорсная БД для хранения временных рядов;

• Packetbeat — захватывает сетевой трафик и отображает его на дашборде Kibana;

• Prometheus — система мониторинга сервисов и БД временных рядов;

• RRDtool — комплект программных средств, обеспечивающих хранение, обработку и визуализацию динамических последовательностей данных;

• Statsd — демон на Node.js, который служит для сбора статистики.

Работа с логами:

• Echofish — система сбора и анализа логов в режиме реального времени;

• Fluentd — опенсорсная система по сбору логов;

• Flume — распределённая система, предназначенная для сбора и агрегации логов;

• Graylog2 — сервер, обеспечивающий анализ событий и логов с возможностью оповещения;

Увеличение количества устройств, повышение квалификационных требований, оптимизация процесса сбора данных необходимы для любого вида бизнеса. Анализ логов может дать вам реальное представление о том, что происходит в вашей информационной среде. Вот некоторые примеры, функционирующие в реальном времени:

планирование производительности
раннее обнаружение проблемы
актуальная отчетность
управление доступностью

Если вы ищете решение для мониторинга и анализа логов ваших веб-приложений, включая инфраструктуру, вы можете рассмотреть следующие средства для работы с логами. Большинство из них имеют слегка урезанную бесплатную версию, в которой вы можете попробовать поработать.

Список анализаторов логов:

Loggly

Loggly одно из самых популярных решений для управления логами, подходит для анализа данных практически из любого источника, включая следующие:

Loggly обладает мощной поисковой системой, в которой вы можете настраивать и устанавливать фильтры для всего текста, одного поля и булевских значений. Вы можете также привязать электронную почту, PageDuty, Slack, HipChat и т.д., чтобы получать оповещения.

SumoLogic

Получите информационную аналитику в режиме реального времени с помощью SumoLogic для мониторинга, анализа, устранения проблем и защиты бизнес приложений и инфраструктуры.

У SumoLogic есть агент-сборщик/облачный сборщик, который необходимо установить на ваш сервер для передачи логов в SumoLogic. Вы можете преобразовывать любые типы логов составляя наглядную картину происходящего, обновляющуюся в реальном времени, для мониторинга и оповещения о достижении заданных границ.

SumoLogic имеет несколько заранее настроенных приложений, основанных на наиболее распространенных способах применения для ускорения работающих задач и изучения проблем.

Примеры приложений для:

mongoDB – отслеживание общего состояния, оптимизация запросов, мониторинг безопасности;
AWS Lambda – проактивный мониторинг, обзор затрат, углубленное изучение;
AWS – определение проблем производительности, активный контроль безопасности, расширенная аналитика;
Salesforce – улучшение адаптации для пользователей, аудиторские проверки, сравнение данных;
Trend Micro – анализ уязвимости, история событий, улучшение визуализации атак;
Github – визуализация командной производительности, создание базовых показателей использования;
Docker — расширенная аналитика, устранение проблем;
Linux — устранение неполадок и оптимизация ОС, оповещения о доступе/проверке и событиях безопасности, отслеживание показателей производительности;
Nginx — обзор, локация посетителей, время отклика, выявление узких мест в производительности;
Apache – взаимодействие с посетителями, оптимизация производительности, визуализация посетителей;
IIS — комплексная информация, статистика трафика, поиск медленных страниц;
MySQL — общее состояние, ключевые ошибки, мониторинг производительности запросов.

Splunk

Splunk Cloud доступен в 10 регионах AWS по всему миру для сбора и индексирования любого типа информации. Splunk — это быстрый и простой способ анализа и визуализации данных, создаваемых на физических, облачных или виртуальных устройствах.

С помощью Splunk вы можете отслеживать и визуализировать данные и настраивать пороговые показатели для оповещений. Я не видел бесплатной версии, но у них есть пробная версия, позволяющая анализировать и визуализировать данные объемом 5 ГБ в течение 15 дней.

Papertrail

Papertrail может собирать данные из syslog, text, Apache, MySQL, приложений Heroku, журнала событий Windows, маршрутизаторов, брандмауэров, RubyOnRails и многого другого.

Вы можете выполнять поиск в режиме реального времени с помощью браузера, командной строки или API и получать оповещения по электронной почте или Slack.

Logz.io

Logz.io предоставляет размещение ELK как услугу. ELK (Elastic Search, Logstash, Kibana) — одна из самых популярных платформ для анализа с открытым исходным кодом. Если вы ищете гибкую платформу для обработки логов, то Logz.io будет вам полезен.

Logz.io может индексировать данные почти всех современных технологий и предоставлять вам подробный анализ с визуализацией данных и оповещениями.

Некоторые поддерживаемые технологии:

Timber

Отслеживание в режиме реального времени, современная система фильтрации, быстрый поиск, а также возможность интеграции Timber с вашим приложением или платформой.

Библиотеки доступны для Node, Ruby и Elixir и поддерживают многие платформы, включая следующие:

Logstash
Zeit (Now)
AWS Lambda
Docker
Linux
Heroku
Kubernetes

Logentries

Отправьте любые данные в Logentries для немедленного поиска и визуализации данных. Вы можете следить за логами в пользовательском интерфейсе Logentries и немедленно получать оповещения о необходимых значениях.

Оповещения могут быть переданы в Slack, Hipchat, Pagerduty или при помощи вебхуков. Logentries предоставляет REST API для запроса ваших логов для визуализации.

Logsene

Logsene от Sematext — это ваш облачный управляемый ELK Stack для управления и анализа логов. Вы можете отправлять логи через зашифрованные каналы из любого источника, включая Syslog.

Он работает на AWS и поддерживает SOC, SSAE, FISMA, DIACAP, HIPPA и др.

Попробуйте демо-версию, чтобы понять принцип работы.

Я надеюсь, что эти облачные анализаторы журналов помогут вам искать, анализировать и визуализировать свои данные и облегчат ИТ-аналитику.

Любое обращение к серверу сайта со стороны пользователей или поисковых ботов фиксируется в специальном файле логов. Благодаря этой первичной информации у SEO-оптимизатора появляется возможность делать определенные выводы, на основе которых в будущем строится или корректируется стратегия продвижения в поисковых системах. Рассказываем, как правильно провести анализ логов сайта.

ТОП-10
лучших компаний интернет-продвижения России 2020

Принципы работы web server log file

Логи сервера (журнал посещений) – текстовый файл с расширением .log (или без расширения), в котором хранится системная информация о результатах обращений к серверу, как со стороны пользователей, так и со стороны различных краулеров. Сам файл располагается в отдельной папке logs или в корне сайта, попасть туда можно либо по протоколу FTP, либо через веб-интерфейс хостинг-провайдера.

Польза изучения log-файла для SEO

Анализ логов для SEO-оптимизатора поможет понять техническое состояние сайта, получив таким образом полезные данные об отношении поисковиков к ресурсу.

Что даст эта информация:

Чем больше промежуток времени за который собраны логи (желательно не меньше месяца), тем более полную картину в итоге удастся получить.

Это поможет найти максимум закономерностей и слабых мест, а также понять общие тенденции процессов. Для определения последних, логи нужно просматривать регулярно, не реже двух раз в месяц.

Содержание и структура лог-файла

Независимо от типа сервера и его конфигурации, в файле логов присутствуют следующие данные:

IP-адрес с которого был сделан запрос.
Дата + время посещения.
Пользовательский агент.
Метод (тип) запроса:
GET – получение содержимого страницы.
POST – обработка и отправка чего-либо, например, комментирование или ввод других данных.
URL-адрес (объект), к которому был совершен запрос.
Тип браузера.
Протокол.
Код ответа.

Программы для анализа логов

Проводить анализ логов вручную – дело бессмысленное в большинстве случаев. Подойдет, если необходимо найти конкретно взятое посещение, но увидеть общие тенденции и прочие детали не получится. Поэтому ниже рассмотрим специализированный софт, позволяющий получить максимальное количество полезной информации.

Excel

На случай изучения логов, Excel имеет скудный инструментарий и крайне неудобную структуру просмотра данных. Подойдет для небольшого количества вводной информации, но будет сложно сформировать сводные отчеты или агрегировать выбранный тип данных.

Изучение логов в Excel

GoAccess

Утилита для анализа логов Apache с широким функционалом, есть возможность отслеживания и визуализации результатов в реальном времени. Имеет удобный интерфейс, предоставляющий внушительное количество информации. Больше подходит для опытных пользователей.

Splunk

Платформа, позволяющая собирать, обрабатывать и анализировать машинные данные, в том числе логи сайтов. В области анализа предоставляются широчайшие возможности по обработке целевых данных. На базе Splunk можно развернуть индивидуальный модуль по анализу логов, удобной для вас визуализацией и т.д. Не смотря на сложность решения, у платформы имеется большое сообщество, которое предлагает массу бесплатных решений.

В бесплатной версии доступна индексация данных, объемом до 500 Мб в сутки – для небольшого проекта этого будет достаточно.

Loggly

Позволяет анализировать данные из разных источников, в том числе журналы посещений сайтов. Подходит для построения информационных дашбордов, отображающих визуализацию данных в реальном времени. Большое количество фильтров, отличная система поиска и возможность реализации оповещений на электронную почту, делают этот сервис одним из лидеров своей отрасли.

Logstash

Бесплатный сборщик логов с открытым кодом (open source), написанный на языке JRuby. Процесс работы основан на шаблонах фильтров. Сложен в освоении.

Power BI

Известный программный комплекс для всевозможной аналитики данных. Позволяет загружать их автоматически и интерпретировать в гибко настраиваемом виде. Для частного использования бесплатен, но требует некоторых знаний по настройке сбора и вывода отчетов.

Screaming Frog Log Analyzer

Screaming Frog Log Analyzer – приложение, с интуитивно понятным интерфейсом, открывает широкие возможности для чтения и аналитики log-файлов. Есть бесплатная и платная версии (99 £/год). Бесплатная имеет ограничение в 1000 строк для загружаемого файла, подойдет для изучения логов небольших сайтов с низкой посещаемостью.

Рассмотрим подробнее то, как анализировать логи сайта в этой программе.

1. Для начала работы, находим файл логов в файловой структуре сайта. В нашем случае он находится в папке «Logs» и имеет название «access.log». Многие хостинги (или сервера) разбивают журнал посещений по месяцам, мы же будем использовать файл с большим количеством данных (с 2015-2020 года). При использовании Screaming Frog Log Analyzer, помните об ограничениях для бесплатной версии.

2. После установки и запуска программы, перед нами открывается главное окно, в левой колонке которого будут отображаться прошлые проекты. Для начала работы с файлом логов, необходимо простым перетаскиванием поместить его в область Drag&Drop, после чего начнется загрузка данных.

Перемещаем файл в область Drag&Drop

Дождаться окончания загрузки

3. Сразу после загрузки файла, появятся сводные данные по разным событиям:

Графики данных

4. Пройдемся по основным вкладкам.

Вкладка URLs

Вкладка User Agents

Вкладка «События»

Раздел «Directories» позволяет отобразить файловую структуру сайта глазами поисковых (и не только) ботов. Каждую папку можно раскрыть и посмотреть по ней дополнительную информацию в событиях.

Раздел «Directories»

«IP» – отображает список ip-адресов, которые приходили на сайт, по каждому из них доступны данные о посещенных URL-адресах.

Анализ по «IP»

Хочется отметить несколько функций программы, которые доступны в любой вкладке, и облегчающие процесс аналитики логов. Данные в Screaming Frog Log Analyzer представляются в виде таблицы, выделив каждую из строк, получаем доступ к расширенной информации. Каждый из двух блоков можно экспортировать в файлы Excel (.csv/.xls/.xlsx).

Экспорт данных из Screaming Frog Log Analyzer

Программа изначально заточена на аналитику под SEO, поэтому имеет специальный фильтр для сортировки ботов поисковых систем:

Googlebot.
Googlebot Smartphone.
Bingbot.
Yandex.
Baidu.

Фильтр для сортировки ботов

Как упоминалось выше, хостинг-провайдеры часто дробят log-файлы по временным отрезкам. Поэтому, если требуется к проекту импортировать дополнительные логи, то достаточно перейти в одноименную вкладку и загрузить файлы.

Дополнительная загрузка файла

Не забываем о возможности выделять диапазоны дат, удобно при большом количестве данных.

Выбираем нужные даты

Теперь понятен принцип сбора и формирования файла логов сайта и его практическое значение в разрезе поисковой оптимизации. Приведен список наиболее популярных решений, позволяющих интерпретировать данные из журнала посещений, а также разобран пошаговый процесс аналитики log-файла в программе Screaming Frog Log Analyzer.

Блоги, форумы, посадочные страницы и другие интернет-ресурсы представляют собой совокупность графического, текстового, аудио- и видео-контента, размещенного на веб-страницах в виде кода. Чтобы обеспечить к ним доступ пользователей через интернет, файлы размещают на серверах. Это аппаратное обеспечение (персональный компьютер или рабочая станция), на жестком диске которого и хранится код. Ключевые функции выполняются без участия человека, что актуально для всех типов оборудования, включая виртуальный выделенный сервер. Но это не означает, что контроль не осуществляется. Большинство событий, которые происходят при участии оборудования, пользователей и софта, включая ошибки, логи сервера фиксируют и сохраняют. Из этой статьи вы узнаете, что они собой представляют, зачем нужны, и как их читать.

Что такое логи

Это текстовые файлы, которые хранятся на жестком диске сервера. Создаются и заполняются в автоматическом режиме, в хронологическом порядке. В них записываются:

Посмотреть логи сервера может каждый, у кого есть к ним доступ, но непосвященному обывателю этот набор символов может показаться бессмысленным. Интерпретировать записи и получить пользу после прочтения проще профессионалу.

Классификация логов

Для каждой разновидности софта предусмотрены соответствующие файлы. Все логи сервера могут храниться на одном диске или даже на отдельном сервере. Существует довольно много разновидностей логов, вот наиболее распространенные:

Записи в системные журналы выполняет установленный софт.

Зачем нужны логи

Анализ логов сервера — неотъемлемая часть работы системного администратора или веб-разработчика. Обрабатывая их, специалисты получают массу полезных сведений. Используются в следующих целях:

поиск ошибок и сбоев в работе системы;
выявление вредоносной активности;
сбор статистики посещения веб-ресурса.

После изучения информации можно получить точную статистику в виде сводных цифр, информацию о юзерах, выявить поведенческие закономерности пользовательских групп.

Этичный хакинг и тестирование на проникновение, информационная безопасность

Оглавление: Всё о логах Apache — от настройки до анализа

4. Криминалистические логи

5. Дополнительные настраиваемые журналы отладки. Журналы выполнения CGI скриптов

Объединение логов Apache в один файл

Текущий журнал логов Apache обычно хранится в обычном текстовом файле с именем access_log, а журнал ошибок в файле error_log. Журналы за предыдущие дни, как правило, также сохраняются, но сжимаются в архивы. Им присваиваются имена access_log.1.gz, access_log.2.gz и так далее.

Если необходимо проанализировать журнал не только за последний день, но и за предыдущие, то все логи Apache можно объединить в один файл. Это можно сделать в командной строке с помощью группировки команд:

GoAccess

GoAccess — это мощнейший анализатор логов Apache, программа создаёт интерактивные отчёты, которые можно просматривать в любом браузере. Работает как на Linux, так и на Windows. Подходит для общего анализа логов веб сервера, для мониторинга активности в реальном времени или для анализа определённых аспектов активности или проблем.

Способы установки и ещё больше примеров вы найдёте в подробном описании данной программы на странице «GoAccess: программа для анализа логов веб-серверов (полная документация, примеры)».

Самый типичный запуск программы goaccess для анализа файлов журналов и генерации отчёта, который можно открыть в веб-браузере:

Поддерживаются следующие форматы логов и значений для опции --log-format:

COMBINED - комбинированный формат журнала,
VCOMBINED - комбинированный формат журнала с виртуальным хостом,
COMMON - обычный формат журнала,
VCOMMON - обычный формат журнала с виртуальным хостом,
W3C - расширенный формат журнала W3C,
SQUID - родной формат журнала Squid,
CLOUDFRONT - Amazon CloudFront Web Distribution,
CLOUDSTORAGE - Google Cloud Storage,
AWSELB - Amazon Elastic Load Balancing,
AWSS3 - Amazon Simple Storage Service (S3)

Если у вас особый формат, не подходящий ни под один из указанных выше, то вы можете настроить обработку любого формата в конфигурационном файле, для этого смотрите раздел «Как настроить goaccess.conf».

Для того, чтобы собрать статистику по странам, которые обращались к сайту (геолокация), нужно указать с опцией --geoip-database путь до базы данных GeoIP, например GeoLiteCity.dat или GeoLite2-City.mmdb.

Итак, мой большой объединённый лог Apache размещён в файле biglog.txt, он в формате COMBINED, я хочу сохранить созданный отчёт в файл файл logs_report.html и при анализе использовать геолокацию с помощью БД GeoLite2-City.mmdb, тогда команда следующая:

Открыть сгенерированный отчёт можно в любом браузере:

Если вас интересует подробное описание каждого пункта, то смотрите статью «Зачем и как анализировать логи веб-сервера».

Можно указать различные форматы вывода: -o --output=<path/file.[json|csv|html]>:

/path/file.csv — Разделённые запятой значения (CSV)
/path/file.json - JSON (JavaScript Object Notation)
/path/file.html - HTML

То есть формат определяется расширением файла, поэтому имя можно указать любое, а расширение файла выбрать одно из трёх представленных.

Для анализа рефереров (ссылающиеся сайты) можно исключить сам анализируемый сайт, а также разные некорректные значения, это делается опцией --hide-referer, которую можно использовать много раз:

Если среди ссылающихся сайтов не интересуют поисковые системы, то их также можно добавить в исключения:

Ещё одна опция, которая улучшает наглядность результатов, это -d или длинный вариант --with-output-resolver, эта опция включает преобразование IP адресов в имена хостов, работает только для форматов HTML и JSON.

Обратите внимание, что для при использовании опции -d выполняется большое количество DNS запросов и создание файла отчёта может проходить медленнее.

Данный сервис принимает файлы журналов в виде распакованных текстовых файлов или в архивах .gz.

Там написано, что это анализатор логов Apache, но на самом деле принимается любой формат логов, который поддерживает GoAccess.

Я буду использовать следующие опции в команде:

-i формат ввода. Варианты: common combined vhost logio cookie
-o формат вывода. Варианты: html json xml csv
-u выполнять URL-декодирование для кодированных запросов (влияет только на отчёты)
-g включить геотэгин

Файл с журналом Apache находится в файле

/access_log, отчёт я хочу сохранить в текущую папку в файл с именем report.htm, тогда команда следующая:

Отчёт можно открыть в веб-браузере:

Как отредактировать форматы логов в LORG

На самом деле, формат моего журнала веб-сервера не подходит ни под один из предлагаемых форматов LORG (common combined vhost logio cookie). Формат моего файла очень похож на combined с тем отличием, что в конце строки идёт имя хоста (домен сайта). Можно отредактировать имеющиеся поддерживаемые форматы логов или добавить свои. Для этого открываем исполнимый файл программы:

Находим там строки:

К этим строкам я добавлю новый формат моего хостера Hostland:

Сохраняем и закрываем файл.

Вновь запускаю команду для анализа логов, но в этом случае указываю в качестве типа формата combined_hostland:

Хотя в файле biglog.txt почти 6 миллионов записей, анализ прошёл довольно быстро.

Когда программа завершает работу, она выводит обобщённую статистику — сколько найдено инцидентов и какое количество пользователей в них задействовано:

Открываем созданный отчёт:

Вверху диаграмма с обобщённой информацией:

Для каждого инцидента можно просмотреть детальную информацию:

ARTLAS

ARTLAS — это анализатор логов Apache в реальном времени. Основываясь на важнейших 10 уязвимостях по классификации OWASP, эта программа выявляет попытки эксплуатации ваших веб-приложений и уведомляет вас или вашу команду по реагированию на инциденты по Telegram, Zabbix и Syslog/SIEM.

ARTLAS использует регулярные выражения из проекта PHP-IDS для идентификации попыток эксплуатации.

К сожалению, данная программа написана на Python 2 и давно не обновлялась.

Анализ логов с помощью инструментов командной строки (Bash)

Очень удобно использовать комбинацию из команд Linux для быстрого анализа логов. Это поможет определить, например, с каких IP пришло больше всего запросов.

Если файл заархивирован, то вместо cat используйте zcat:

Если в команде не используется cat, но файл заархивирован, то вы можете чуть отредактировать команду. Допустим, в следующем примере обрабатывается файл access_log:

Программа awk (смотрите Уроки по Awk) как и большинство других может принимать данные из стандартного ввода, поэтому эту же команду можно переписать следующим образом:

Как вы видите, теперь в неё есть cat и, следовательно, для сжатых файлов этот сниппет можно использовать следующим образом:

Поиск по произвольной строке

Простейший пример, поиск среди запросов по произвольной строке (IP адрес, User-Agent, адрес страницы и т. д.) с помощью grep:

Чтобы найти все строки, содержащий определённый статус ответа, например, 403 (доступ запрещён):

Список всех пользовательских агентов, отсортированных по количеству раз, которое они появлялись:

Вывод показывает как много типов запросов получил ваш сайт. «Нормальный» результат запроса — это код 200, который означает, что страница или файл были запрошены и доставлены. Но возможны и многие другие варианты.

Наиболее распространённые ответы:

200 – OK
206 – Partial Content (частичное содержимое)
301 – Moved Permanently (перемещено навсегда)
302 – Found (найдено)
304 – Not Modified (не изменилось)
401 – Unauthorised (password required) (не авторизованы — требуется пароль)
403 – Forbidden (запрещено)
404 – Not Found (не найдено)

Ошибка 404 говорит об отсутствующем ресурсе. Посмотрите на запрашиваемые URI, которые получили эту ошибку.

Ещё один вариант вывода самых часто не найденных страниц на сайте:

IP адреса, сделавшие больше всего запросов:

Первые 25 IP адресов, сделавших больше всего запросов с показом их страны:

Установим необходимые зависимости:

Команда для показа страны IP адресов, сделавших больше всего запросов к серверу:

Для поиска сайтов, которые вставляют изображения моего сайта (при воровстве статей, например):

В предыдущей и следующей командах не забудьте отредактировать доменное имя.

Для анализа всех архивов:

Пустой пользовательский агент

Пустой пользовательский агент обычно говорит о том, что запрос исходит от автоматического скрипта. Следующая команда выдаст список IP адресов для этих пользовательских агентов и уже на основе него вы сможете решить, что с ними делать дальше — блокировать или разрешить заходить:

Слишком большая нагрузка из одного источника?

Когда ваш сайт находится под тяжёлой нагрузкой, вам следует разобраться, нагрузка исходит от реальных пользователей или от чего-нибудь ещё:

Проблем в настройке или в системе
Пользовательское приложение или бот запрашивает информацию с вашего сайта слишком быстро

Вывод IP адресов, отсортированных по количеству запросов:

10 самых активных IP:

Трафик в килобайтах по кодам статуса:

10 самых популярных рефереров (не забудьте отредактировать доменное имя):

10 самых популярных пользовательских агентов:

Анализ активности IP по последним 10,000 запросам на сайт.

Распределение активности пользователей по времени

Количество запросов за день:

Количество запросов по часам (укажите день):

Количество запросов поминутно (укажите дату и время):

Всего уникальных посетителей:

Уникальные посетители сегодня:

Уникальные посетители в этом месяце:

Уникальные посетители на произвольную дату:

Уникальные посетители за месяц: