Lightsquid установка настройка ubuntu

Обновлено: 03.07.2024

Доброго всем времени суток, в этой статье я вкратце расскажу как установить lightsquid на наш сервер. Как установить на сервер и настроить squid3 было описано в статьях ранее.

и создаём там каталог lightsquid:

в который распаковываем файлы LightSquid, которые мы скачали.

Потом нам понадобится выставить права на выполнение скриптов, которые мы распаковали:

sudo chmod +x *.cgi

sudo chmod +x *.pl

Следующим шагом редактируем конфиг lightsquid.cfg где указываем основные пути, и так же язык отображения статистики:

Приводить весь конфиг смысла нет, так как он везде одинаковый, ну разве что в настройках языка eng сменить на ru.

Затем нужно добавить в конец файла конфигурации апача apache2.conf строки, которые позволят запускать наши скрипты:

AddHandler cgi-script .cgi

Сам файл лежит вот тут: /etc/apache2/apache2.conf

После нам потребуется перезапустить Apache:

sudo /etc/init.d/apache2 restart

Если все в порядке запустим анализ логов:

Затем прописываем наш скрипт в автозагрузку:

для запуска скрипта каждые 30 минут.

Затем на всякий пожарный случай можно 1 разок перезагрузится:

Для установки perl-GD, которая отвечает за вывод графиков статистики.

sudo apt-get install libgd-gd2-perl

Чтобы не путаться среди IP адресов машин пользователей в статистике, можно прописать их соответствие в файле realname.cfg. На примере самой простой авторизации по IP

192.168.1.2 Пользователь Один

192.168.1.3 Пользователь Два

192.168.1.4 Пользователь Три

и включить в конфиге lightsquid.cfg прописать

Вот вобщем-то и всё, теперь у нас отображаются имена пользователей.

Но есть проблема, при редактировании файла realname.cfg из консоли получается проблема с кодировками. Чтобы такого не случалось, нам надо /var/www/lightsquid/lang/ru.lng конвертировать в UTF-8 и изменить в нём строку

и сохраним как ru-utf8.lng

Теперь в настройках lightsquid.cfg впишем

Ну и всё, парсим логи заново и наслаждаемся.

Настройка прокси сервера Squid 3.3 на Ubuntu Server 14.04 LTS. Часть 9. Конфигурация LightSquid

Немного предыстории. Поначалу я было уцепился за SARG, так как по истории выхода версий было предположено, что этот продукт развивается активней своих аналогов. Однако после его настройки и нескольких дней использования стали очевидны его недостатки, главным из которых оказался размер генерируемых отчетов даже при самых скромных настройках конфигурации. Размер ежедневного отчета сливаемого SARG на диск при количестве

Установка и базовая настройка LightSquid

Итак, перейдём к установке и настройке LightSquid 1.8 на Ubuntu Server 14.04 LTS. Для начала посмотрим какая версия пакета нам доступна из репозиториев Ubuntu и какие имеет зависимости:

sudo apt-get install lightsquid

Сохраняем используемый по умолчанию конфигурационный файл и открываем исходный файл на редактирование:

sudo cp /etc/lightsquid/lightsquid.cfg /etc/lightsquid/lightsquid.cfg.default sudo nano -Y sh /etc/lightsquid/lightsquid.cfg

Редактируем (выведено содержимое конфигурационного файла без комментариев):

Наполним его содержимым:

artur Артур Вахтангович Пирожков anov1 Алексей Сигизмундович Новацкий

Чтобы автоматизировать процесс заполнения и поддержания в актуальном состоянии этого файла создадим bash-скрипт, который будет при запуске очищать содержимое файла, а затем наполнять его информацией полученной из Active Directory (AD). Скрипт сделаем исполняемым и откроем на редактирование:

sudo touch /etc/lightsquid/realname-generate.sh sudo chmod +x /etc/lightsquid/realname-generate.sh sudo nano -Y sh /etc/lightsquid/realname-generate.sh

Наполним скрипт содержимым (не забываем изменить переменную groupdn):

Обратите внимание на то, что поиск пользователей в AD производится по их членству в доменной группе безопасности KOM-Internet-AllUsers, которую мы создали ранее в одной из предыдущих частей.

Немного позже мы вернёмся к этому скрипту, чтобы настроить его периодическое выполнение через планировщик Cron.

Языковой файл LightSquid

Теперь настало время объяснить почему в переменной $lang конфигурационного файла lightsquid.cfg у нас указано значение ru-utf8, хотя в поставке LightSquid нет такого языкового файла в каталоге указанном в переменной $langpath (/usr//lightsquid/lang/). Дело в том, что если мы будем использовать любой из предложенных ru*.lng файлов, то можем нарваться на ситуацию когда данные из файла сопоставлений realname.cfg не состыкуются по используемой кодировке с кодировкой языкового файла LightSquid. Так как в нашем случае в системе по умолчанию используется кодировка UTF-8, то и генерируемый файл realname.cfg будет содержать данные в этой кодировке, и чтобы не было разночтений с языковым файлом LightSquid сделаем свой языковой файл, сконвертировав его из уже имеющегося, после чего откроем получившийся файл на редактирование:

sudo iconv -f cp1251 -t utf8 /usr//lightsquid/lang/ru.lng -o /usr//lightsquid/lang/ru-utf8.lng sudo nano -Y sh /usr//lightsquid/lang/ru-utf8.lng

Изменим одну строчку в начале файла указав его кодировку:

Интеграция LightSquid с веб-сервером Apache2

Теперь настало время интегрировать LightSquid в ранее установленный веб-сервер Apache2. Для этого к основной конфигурации Apache2 можно подключить конфигурационный модуль /etc/apache2/conf-available/lightsquid.conf. Как всегда сохраним копию и откроем исходный файл на редактирование:

sudo cp /etc/apache2/conf-available/lightsquid.conf /etc/apache2/conf-available/lightsquid.conf.default sudo nano -Y sh /etc/apache2/conf-available/lightsquid.conf

Изменённое содержимое файла будет таким:

Подключаем этот конфигурационный модуль к основной конфигурации веб-сервера:

sudo a2enconf lightsquid Enabling conf lightsquid. To activate the new configuration, you need to run: service apache2 reload

При этом в каталоге /etc/apache2/conf-enabled/ (который в свою очередь обрабатывается из главного файла /etc/apache2/apache2.conf) будет создан линк на /etc/apache2/conf-available/lightsquid.conf

ls -la /etc/apache2/conf-enabled/lightsquid.conf lrwxrwxrwx 1 root root 33 Jun 20 16:33 /etc/apache2/conf-enabled/lightsquid.conf -> ../conf-available/lightsquid.conf

Так как веб-страницы LightSquid формируются cgi-скриптами, для веб-сервера Apache2 потребуется включить модуль обработки CGI (будет создан линк в каталоге /etc/apache2/mods-enabled/):

sudo a2enmod cgi Enabling module cgi. To activate the new configuration, you need to run: service apache2 restart

После проделанных изменений перезагружаем конфигурацию веб-сервера Apache2 :

sudo service apache2 reload * Reloading web server apache2 * *

Теперь можно попробовать выполнить генерацию отчетов LightSquid:

Исправление ошибки деления на 0

[Wed Jun 25 13:03:53.828886 2014] [cgi:error] [pid 53614] [client 10.160.100.100:52121] AH01215: Illegal division by zero at /usr/lib/cgi-bin/lightsquid/user_detail.cgi line 91.

Указанная проблема воспроизводится LightSquid 1.8 в том, случае случае если пользователь интернета имел какой-то минимальный трафик, и весь этот трафик попал к нему из кэша.

sudo nano -Y sh /usr/lib/cgi-bin/lightsquid/user_detail.cgi.patch

…и наполняем его с содержимым:

Патчим предварительно сохранив оригинальный файл user_detail.cgi

cd /usr/lib/cgi-bin/lightsquid/ sudo cp user_detail.cgi user_detail.cgi.default sudo patch user_detail.cgi user_detail.cgi.patch patching file user_detail.cgi

Автоматизация обработки логов Squid

Перенесём файл описывающий правила ротации логов Squid для Logrotate в отельное месторасположение, например в каталог с конфигурационными файлами Squid.

sudo mv /etc/logrotate.d/squid3 /etc/squid3/squid.logrotate

Отредактируем файл squid.logrotate, немного увеличив срок хранения логов, убрав упоминания о SARG и расширив postrotate:

sudo nano -Y sh /etc/squid3/squid.logrotate

Изменённое содержимое файла будет таким:

sleep 120 /usr//lightsquid/lightparser.pl access.log.1 endscript >

Используемая по умолчанию конфигурация подразумевает ежедневный запуск скрипта lightparser.pl в 04:00 утра. Закомментируем данные настройки и добавим вызов logrotate с нашим конфигурационным файлом /etc/squid3/squid.logrotate

sudo nano -Y sh /etc/cron.d/lightsquid

Изменённое содержимое файла будет таким:

То есть каждый день в 21:00 мы будем вызывать скрипт обновления файла сопоставления имён realname.cfg а в 00:00 будем вызывать ротацию логов, из которой в свою очередь (после ротации лога access.log) будет вызвана процедура генерации отчетов LightSquid за прошедшие сутки (из лога access.log.1).

Разумеется, на всякий случай можно проверить успешность выполнения запланированной в CRON команды:

sudo /usr/sbin/logrotate /etc/squid3/squid.logrotate

PS: Отдельное Спасибо Владимиру Леттиеву (aka crux) за помощь в создании скриптов и исправлении ошибки LightSquid.

Предыдущие части цикла заметок:

Часть 1. Установка ОС на ВМ Hyper-V Gen2

Часть 2. Настройка диска для кэша Squid

Часть 3. Конфигурация DNS , NTP и установка Squid

Часть 4. Конфигурация Kerberos и NTLM

Часть 5. Конфигурация Squid 3

Часть 6. Настройка Proxy Auto Configuration (WPAD)

Часть 7. Кастомизация страниц ошибок

Часть 8. Конфигурация Sq

Следующие части цикла заметок:

Часть 10. Отключаем IPv6

LightSquid

Установка и настройка LightSquid

Берём последнюю версию и распаковываем:

Создаём каталог, где будем хранить отчёты:

В конфигурационном файле lightsquid.cfg меняем значения переменных:

Проверяем все ли настройки сделаны правильно:

Если ругается на отсутсвие модуля CGI.pm, то доустанавливаем:

Для отображения графиков должен быть установлен модуль GD

Также доустановим поддержку Perl для Apache:

Настроим сам Apache. Если у нас несколько виртуальных хостов, то добавим эти строки в настройку соответсвующего хоста:

Проверим в браузере, что мы получили. Начальная страница отчёта должна быть как на рис.1

рис.1. LightSquid. Начальная страница

Можно объединять пользователей в группы и смотреть отчёты по группе. Для этого в файле group.cfg определяем какой пользователь к какой группе относится:

192.168.10.1 01 Sysadmin 192.168.10.9 02 Managers 192.168.10.14 02 Operators 192.168.10.30 02 Operators 192.168.10.74 03 Managers

Можно вместо IP адресов выводить имя компьютера и каждому имени компьютера сопоставить реальное имя пользователя. Для первой цели автор программы предлагает либо использовать DNS, либо подставлять из списка. Скрипты, обрабатывающие файлы списков находятся в подкаталоге ip2name. Можно написать свой, но нам сейчас достаточно использовать имеющийся.

рис.2. LightSquid. Поддержка групп

Для того чтобы получить отчёт как на рис.6 определяем в lightsquid.cfg следующие параметры:

В ./ip2name/ip2name.list меняем значение переменной:

и создаём указанный файл следующего содержания:

192.168.10.1 Myself 192.168.10.9 Bond 192.168.10.14 Bart 192.168.10.30 Ivan 192.168.10.74 Petrov

Теперь в group.cfg нужно заменить все IP адреса на сопоставленные им имена компьютеров, а в файле realname.cfg сопоставить эти имена с реальными людьми:

Myself sysadmin Bart Bart Simpson Ivan Ivan Ivanov Petrov Petrov Semen Semenovich Bond James Bond

Конечно, если у вас где-то ведётся свой список пользователей, то можно и лучше использовать его, написав для LightSquid небольшой скрипт по разбору этого файла.

рис.3. LightSquid. Популярные сайты

Запуская программу, мы получаем следующие отчёты:

количество соединений и скаченных байт на день, на месяц и на год по каждому пользователю, для группы и для прокси-сервера в целом;
популярные сайты дня, месяца (рис.7) и года. В этом отчёте приятно порадовала возможность сортировки списка по количеству запросов, либо по объёму данных;
таблица времени доступа пользователя к сайтам, то есть время его активности в Интернете;
отчёт о «больших» скаченных файлах.

Осталось автоматизировать генерацию отчётов путём добавления в /etc/crontab соответствующих заданий:

Конечно, частота обновления отчётов остаётся на ваше усмотрение. В приведённом примере LightSquid будет поддерживать свои отчёты в актуальном состоянии, обновляя их через каждые 20 минут. Sarg будет создавать свои один раз в день после ротации журналов, которую logrotate делает в полночь. А Calamaris будет запускаться с аналогичной задачей каждый день в 00:30, раз в неделю по понедельникам в 00:35 и первого числа каждого месяца в 00:45. В первых же числах он обновит свой журнал.

Ограничим доступ к отчётам только с определённых IP адресов. Для этого создаём файл /var/www/html/reports/.htaccess:

Options +Indexes Order deny,allow Deny from all Allow from 192.168.10.11 Allow from 192.168.10.17

Можно сделать доступ по паролю. Подробности по настройке доступа можно прочитать в статьи про Apache.

В этой части мы рассмотрим инструмент разбора логов Squid3 и построения отчетов о пользовательской активности в Интернет – LightSquid 1.8. LightSquid по сути своей является набором Perl-скриптов, выполняющих анализ лог-файлов access.log* и способных на основе данных этого анализа строить HTML-отчёты. Выбор именно этого инструмента был сделан после ряда сравнительных экспериментов в контексте сопоставления функциональности с другими программами выполняющими аналогичные задачи.

800 пользователей (не одновременно работающих, а в целом за день) составлял 1,2 – 1,5GB. Стало понятно, что если выпустить всех пользователей через Squid и рассчитывать при этом на хранение отчётов минимум за 3 месяца потребуется приличная дисковая ёмкость. LightSquid оказался в этом плане многократно скромнее при почти той-же функциональности отчетов, да ещё и выгодно отличился скоростью обработки access-лога.

Установка и базовая настройка LightSquid

Сохраняем используемый по умолчанию конфигурационный файл и открываем исходный файл на редактирование:

Редактируем (выведено содержимое конфигурационного файла без комментариев):

Файл преобразований имён LightSquid - ip2name

Наполним его содержимым:

Файл сопоставлений имён LightSquid - realname.cfg

При генерации отчётов по пользователям включенный параметр $userealname подразумевает добавление дополнительной колонки в которой будет отображаться полное имя (Ф.И.О.) пользователя. В нашем случае в анализируемом логе прокси-сервера access.log информация об аутентифицированных пользователях отображается в виде доменных логинов, и для того чтобы заполнить в отчётах LightSquid колонку с полным именем во время генерации этих отчётов используется специальный вспомогательный файл сопоставлений - /etc/lightsquid/realname.cfg . Каждая строка этого файла может содержать пару значений по принципу: <Что искать> <Чему соответствует>. Таким образом, если мы хотим в отчетах получить заполненной колонку с ФИО, - нужно наполнить файл сопоставлений, например:

Наполним скрипт содержимым (не забываем изменить переменную groupdn ):

Обратите внимание на то, что поиск пользователей в AD производится по их членству в доменной группе безопасности KOM-Internet-AllUsers , которую мы создали ранее в одной из предыдущих частей .

Языковой файл LightSquid

Теперь настало время объяснить почему в переменной $lang конфигурационного файла lightsquid.cfg у нас указано значение ru-utf8 , хотя в поставке LightSquid нет такого языкового файла в каталоге указанном в переменной $langpath ( /usr/share/lightsquid/lang/ ). Дело в том, что если мы будем использовать любой из предложенных ru*.lng файлов, то можем нарваться на ситуацию когда данные из файла сопоставлений realname.cfg не состыкуются по используемой кодировке с кодировкой языкового файла LightSquid. Так как в нашем случае в системе по умолчанию используется кодировка UTF-8, то и генерируемый файл realname.cfg будет содержать данные в этой кодировке, и чтобы не было разночтений с языковым файлом LightSquid сделаем свой языковой файл, сконвертировав его из уже имеющегося, после чего откроем получившийся файл на редактирование:

Изменим одну строчку в начале файла указав его кодировку:

Интеграция LightSquid с веб-сервером Apache2

Теперь настало время интегрировать LightSquid в ранее установленный веб-сервер Apache2. Для этого к основной конфигурации Apache2 можно подключить конфигурационный модуль /etc/apache2/conf-available/lightsquid.conf . Как всегда сохраним копию и откроем исходный файл на редактирование:

Изменённое содержимое файла будет таким:

Подключаем этот конфигурационный модуль к основной конфигурации веб-сервера:

При этом в каталоге /etc/apache2/conf-enabled/ (который в свою очередь обрабатывается из главного файла /etc/apache2/apache2.conf ) будет создан линк на /etc/apache2/conf-available/lightsquid.conf

После проделанных изменений перезагружаем конфигурацию веб-сервера Apache2 :

Генерация отчетов

Теперь можно попробовать выполнить генерацию отчетов LightSquid:

Исправление ошибки деления на 0

При первой же попытке генерации отчетов LightSquid нами была обнаружена ошибка – для некоторых пользователей/компьютеров с минимальным объёмом трафика отчёт отображался в виде пустой страницы. При этом в логе веб-сервера /var/log/apache2/error.log фиксировалась запись:

…и наполняем его с содержимым:

Патчим предварительно сохранив оригинальный файл user_detail.cgi

Автоматизация обработки логов Squid

Отредактируем файл squid.logrotate , немного увеличив срок хранения логов, убрав упоминания о SARG и расширив postrotate :

Изменённое содержимое файла будет таким:

Периодический запуск обработки логов Squid из LightSquid по расписанию реализован путём автоматического добавления файла lightsquid в /etc/cron.d/ в процессе установки пакета LightSquid.
Используемая по умолчанию конфигурация подразумевает ежедневный запуск скрипта lightparser.pl в 04:00 утра. Закомментируем данные настройки и добавим вызов logrotate с нашим конфигурационным файлом /etc/squid3/squid.logrotate

Изменённое содержимое файла будет таким:

То есть каждый день в 21:00 мы будем вызывать скрипт обновления файла сопоставления имён realname.cfg а в 00:00 будем вызывать ротацию логов, из которой в свою очередь (после ротации лога access.log ) будет вызвана процедура генерации отчетов LightSquid за прошедшие сутки (из лога access.log.1 ).

Разумеется, на всякий случай можно проверить успешность выполнения запланированной в CRON команды:

PS: Отдельное Спасибо Владимиру Леттиеву (aka crux) за помощь в создании скриптов и исправлении ошибки LightSquid.

Т.к. LightSquid с помощь cgi скриптов формирует html тэгированные файлы, потом выдает их серверу, сервер пользователю, а пользователь в свою очередь видит ВСЮ статистику по ВСЕМ пользователям — это не есть хорошо. Поэтому есть задача, «перехватить» вывод, сделать свой html файли с преферансом и куртизанками и выдать обработанный файл пользователю.

Первый скрипт на PHP

Первый скрипт он у нас будет на РНР: это будет стартовая страничка которая будет показывать пользователю «обработанную» первую страницу ligsquid. Заносим данные:

Принцип таков. Мы через РНР получаем какие либо параметры, в данном случае год, месяц, день, на стартовой странице эти параметры пусты, но если перейти на другой месяц, или год, то сразу же они будут заполнены.
Далее мы сами узнаем IP хоста, который запросил данную страничку. Этот ip нам нужен чтобы формировать ТОЛЬКО по нему данные, и вообще как — то ориентироваться среди создаваемых нами файлов, потому что мы будем привязывать имя файла к его IP адресу.
Далее мы формируем строку. Которая запускает следующий скрипт ( будет ниже описан) и передает в него параметры IP, год, месяц, день.
Вызываем этот скрипт на выполнение.

Показываем html страницу. Заметьте, что имя страницы формируется из IP адреса хоста и приставки «log_file.html»

Второй скрипт на shell

Данный скрипт будет реализовывать запуск cgi скиптра lightsquid и записывать результат выполнения (cgi скрипта) в отдельный файл. А потом инициализирует запуск другого скрипта с передачей в него параметров (о котором ниже).

Делаем его исполняемым

www-data ALL=(ALL) NOPASSWD: /var/lightsquid/my_scr/index.sh

Далее записываем в файл сами данные

Вообще в Python очень важно отступы (четыре пробела) для тех кто не в курсе :)
Поясню немного скрипт.
Получаем IP адрес пользователя который запросил статистику (этот IP адрес передается сюда из предыдущего скрипта).
Далее открываем файл сформированный cgi скриптом lightsquid'а
Узнаем сколько в нем строк
Делаем цикл, в этом цикле проверяем каждую строку на соответствие нашим требованиям. А именно изменяет пути ссылок с cgi на php, так же мне не нужно было чтобы пользователи не видели группы, поэтому я делаю этот столбец вообще пустым ().
Ну и все, записываем обратно уже обработанный файл.

И так, я разобрал один путь как все должно делаться. Но для полного функционирования нужно 27 скриптов. Конечно же, можно было все это дело впихнуть в одни скрипт и вообще получилось бы только 3, но я не стал себе усложнять жизнь. Ниже я хотел бы привести оставшиеся скрипты, но с коротким их разбором и без лишних действий их создания (т.к. подобные действия были описаны выше).

Остальные скипты

Все, что относится к bigfiles

bigfiles.php

my_bigfiles.sh

Все что относится к day_detail

bigfiles.php

Считаю нужным пояснить этот скрипт.
Скрипт получает IP пользователя который запросил данные.
Т.к. файл который генерирует cgi однотипный, я решил привязать поиск нужной мне строки к цвету строки, там их два "cornsilk" и "beige" . Если находится такая строка где есть этот цвет, то мы перемещаемся на три строчки вниз, там есть IP адрес. Сравниваем тот или не тот, и если не тот то мы просто удаляем все 16 строк. (столько именно занимает описание одной строчки в отчете).

Понадобилось мониторить squid, но времени на настройку толкового билинга небыло.
Вот и наткнулся на lightsquid.

Ставим apache2 и libgd-gd2-perl (нужен для графиков):
$ sudo apt-get install apache2 perl libgd-gd2-perl

Создаём каталог, где у нас, непосредственно, и будет крутиться lightsquid

Качаем последнюю версию lightsquid:

Выставляем рекурсивно права 755 пользователю и группе www-data на каталог и его содержимое:

Делаем скрипты программы исполняемыми:

С установкой всё. Теперь приступим к настройке lightsquid:

Alias /lightsquid /var/www/lightsquid

AddHandler cgi-script .cgi
AllowOverride All

Правим конфиг lightsquid:

Правим пути в секции GLOBAL VARIABLES

Если установлен squid3 то в переменной $logpath = "/var/log/squid3" соответственно.
В секции WEB VARIABLES выставляем нужный язык интерфейса. В данном случае русский.

Закрываем и сохраняем конфиг. Теперь с помощью скрипта check-setup.pl можем проверить правильность сделанных настроек. Никаких ошибок быть не должно.

Если необходимо прописываем соответствие реальных имен и ip в realname.cfg:

192.168.135.2 Manager1
192.168.135.3 Manager2
192.168.135.4 BOSS
192.168.135.5 Admin

Теперь можно вручную сгенерировать отчеты и заодно проверить как работает lightsquid:

Открываем браузер и вводим в адресной строке:

Для автоматизации генерирования отчётов добавляем в cron задание:

*/15 * * * * /var/www/lightsquid/lightparser.pl today

Отчёты будут автоматом генерироваться ежечасно. Вместо 15 можно выставить какое угодно значение в минутах.

Для ограничения доступа к серверу статистики по логину и паролю сделаем следующее:

Допустим, нам нужно сделать логин lightsquid и пароль lightsquid. Приводим файл .htaccess к следующему виду:

Options FollowSymLinks ExecCGI
DirectoryIndex index.cgi

AuthType Basic
AuthName "Private zone. Only for administrator!"
AuthUserFile /var/www/lightsquid/.htpasswd
require user lightsquid

Читайте также: