Splunk forwarder настройка linux

Обновлено: 04.07.2024

Splunk combat (1) -indexer configuration and инструкция по установке и настройке форвардера

В этой статье будет рассказано об использовании splunk в реальном бою в форме сериализации: начиная с установки и развертывания индексаторов и транспондеров, заканчивая общим поиском и извлечением полей, отчетами и настройкой панели инструментов и сигналами тревоги и т. Д., Чтобы подробно описать фактический бой автора. Опыт работы в Китае (собственно ямы встречались), так что каждый может избежать объездов после прочтения.

Что такое Splunk?

Splunk - это двигатель машинных данных. Используйте Splunk для сбора, индексации и использования быстро меняющихся компьютерных данных, генерируемых всеми приложениями, серверами и устройствами (физическими, виртуальными и облачными), а также для поиска и анализа всех текущих и исторических данных из одного места в любое время. Используя Splunk, вы можете решать проблемы и расследовать инциденты безопасности за считанные минуты (а не часы или дни), сопоставлять и анализировать сложные инциденты в нескольких системах и выходить на новый уровень операций по обеспечению безопасности и прозрачности бизнес-операций.

Сила Splunk

Splunk может индексировать любые типы компьютерных данных в реальном времени из любого источника. Как видно из рисунка ниже, он собирает журналы различных серверов или сетевых устройств посредством мониторинга портов, а также может получать системные индикаторы с помощью скриптов.

В то же время вы можете установить и развернуть сервер пересылки в каждой операционной системе, чтобы отправлять каждый файл каталога журнала на стороне агента в индексатор splunk. Нижний уровень на рисунке ниже - это сервер пересылки, а средний уровень - индексатор.

Краткое введение в общую структуру, давайте перейдем к собственно боевой ссылке.

Индексатор Splunk

Версия 6.3.3, IP 10.2.1.157

Форвардер Splunk

Linux и windows версии 6.3.3

Стороне индексатора необходимо настроить порт прослушивания, чтобы получать файлы журнала, отправленные со стороны сервера пересылки. Настройте мониторинг порта 9997 в разделе «Настройки - пересылка и получение-получение данных»

Кроме того, порт управления индексатора по умолчанию - 8089, настройка не требуется.

Готов к работе

Все политики аудита в разделе «Локальная политика безопасности - Локальная политика - Политика аудита» должны быть настроены как «Успех» и «Ошибка» на сервере Windows.

Процесс установки

Сначала скопируйте сервер пересылки на соответствующий сервер

Дважды щелкните, чтобы запустить файл, как показано на рисунке ниже, установите флажок, чтобы принять соглашение, а затем выберите «Параметры настройки», чтобы настроить установку.

Путь по умолчанию в порядке

По умолчанию этот шаг подходит.

(важный!) Настройте сервер планирования (этот шаг позволяет индексатору распознавать сервер пересылки и выдавать инструкции по сбору журналов со стороны управления). IP на этом шаге - 10.2.1.157, а порт - 8089, как показано на рисунке ниже.

(важный!) На этом этапе настройте принимающий индексатор (этот шаг позволяет индексатору получать журналы, отправленные сервером пересылки), введите IP-адрес 10.2.1.157 и порт 9997.

После выполнения процесса установки нажмите Готово для завершения.

Наконец, вы видите, что репитер подключен к индексатору.

Процесс установки

Сначала проверьте текущий IP.

Загрузите сжатый пакет с сервера внутренней сети:

войти ./splunk start Установить

Введите y и дождитесь завершения установки.

войти ./splunk enable boot-start , Настроен на загрузку

(важный!) Настройте сервер планирования (этот шаг позволяет индексатору распознавать сервер пересылки и выдавать инструкции по сбору журналов со стороны управления).

Яма обнаружена: При установке транспондера 6.3.3 кажется, что невозможно указать равноправный индексатор путем ввода команды.Если файл конфигурации не используется, индексатор не может обнаружить этот транспондер.

С последующим %splunkforwarder%/etc/system/local/ Настроить deploymentclient.conf

Формат содержимого файла:

Следующая конфигурация успешна

(важный!) Настройте получающий индексатор на этом шаге (этот шаг позволяет индексатору получать журналы, отправленные сервером пересылки)

Также необходимо %splunkforwarder%/etc/system/local/ Настройте outputs.conf

Следующая конфигурация успешна

После настройки файла conf вам необходимо перезапустить службу splunk

Кроме того, вам необходимо настроить /etc/rsyslog.conf , Установите запись системного журнала приема как: (Чтобы реализовать классификацию индекса, здесь я укажу системный журнал Linux, который будет отправлен на порт 516 индексатора)

После завершения настройки сохраните и выйдите, а затем перезапустите службу rsyslog.

На этом этапе ретранслятор на стороне Linux настроен.

Затем вы увидите, что сервер пересылки был подключен в списке серверов на стороне сервера.

Сначала выберите «Настройки - Импорт данных».

Выберите, чтобы добавить данные из журнала событий окна ретранслятора

Создать новую группу серверов

Поскольку в настоящее время нас интересуют только журналы безопасности, просто выберите безопасность, как показано на рисунке ниже.

Отправьте настроенные выше журналы этих серверов пересылки в ваш собственный недавно созданный индекс Windows, чтобы не выполнять запросы в сверхбольшом основном индексе и снижать эффективность.

Таким же образом в функции «Добавить файл данных и каталог» вы можете напрямую импортировать путь, по которому находится каталог журналов IIS или tomcat ретранслятора. После завершения настройки ретранслятор автоматически отправит журнал в индексатор (как если бы удаленное управление Там дрова есть)

Затем сохраните журналы разных категорий в соответствующем индексе.

Наконец, введите index = windows или index = iis при поиске, вы сможете найти все журналы, отправленные серверами пересылки.

Кроме того, системный журнал linux, настроенный в предыдущей главе, был отправлен на порт 516, поэтому здесь мы создаем новое правило для прослушивания UDP: 516

И создайте отдельный индекс linux для хранения данных UDP, отправленных на порт 516 (то есть syslog), затем выполните поиск index = linux напрямую.

Статистика брутфорсом SSH источника IP

Сначала выполните поиск в поле функции «сбой пароля» сбоя входа в Linux.В то же время все журналы Linux находятся в индексной таблице с именем linux, поэтому вам следует выполнить поиск: index = linux failed password. Как показано ниже

После этого вы хотите подсчитать IP-адрес источника, нажмите «Src_ip» слева и выберите «Верхний предел», который представляет собой 20 лучших с наибольшим количеством вхождений.

Статистический график может быть автоматически создан, чтобы наглядно показать, какой IP-адрес источника имеет наибольшую частоту.

После изменения Src_ip на Dst_ip вы можете наблюдать, каким серверам Linux угрожает взлом методом грубой силы.

Что касается того, как разделены упомянутые выше Src_ip и Dst_ip, давайте послушаем следующую разбивку «Навыки поиска и извлечение полей».

  1. Это элемент масштабирования общей системы мониторинга, и его можно установить на удаленный сервер или хост для сбора событий.
  2. Возможность использования скриптовых языков ( PowerShell , Python и т.д.) для передачи событий на Splunk -сервер.
  3. Надежный способ передачи событий на Splunk -сервер (защита канала передачи, контроль целостности переданных событий).
  4. Возможность присваивать тэги Sourcetype, Source , Host для источников событий.

Устанавливать Splunk Forwarder будем на Windows 8.1. Последовательность шагов установки описана ниже.

  • Установка, в принципе, не вызывает сложностей, но уже на этом этапе можно начать настройку полезных функций.


После выбора директории для установки, будет предложено использовать собственные сертификаты для построения SSL -туннеля. Если вы откажетесь, то Splunk будет использовать собственные сертификаты.

На следующем шаге вы можете сразу выбрать источники событий, например, Security -лог.


На следующем шаге можно настроить подключение Splunk Forwarder к Deployment Server, и осуществлять централизованную настройку из веб-интерфейса Splunk -сервера. Есть важный момент, у вас должна быть Enterprise -лицензия.


Если вы не являетесь счастливым обладателем такой лицензии, то для вас следующий шаг ( Receiving Indexer ). Необходимо указать IP -адрес Splunk -сервера.


Для управление Forwarder (запуск\отключение\перезапуск) можно использовать командную строку:

Подключение журналов событий Windows

После перезагрузки форвардера в Splunk вы увидите события:

| table RecordNumber,EventCode," ИД нового процесса "," Имя нового процесса "



Получение результатов командлета на PowerShell

У форвардера имеется замечательная возможность, это получение события при помощи powershell , как от скриптов, так и от отдельных командлетов. Для корректного отображения результат вывода командлетов должен быть отформатирован в виде Format - table .

script = Get-Service | select Name, Status, DisplayName | Format-list -Property *


Подключение скрипта на powershell

С подключением скриптов ситуация не сложнее. Просто необходимо указать место размещения скрипта, частоту запуска и новый sourcetype .

$socket | Select OwningProcess , LocalAddress , LocalPort , RemoteAddress , RemotePort , State , @>

script = . "$SplunkHome\etc\apps\SplunkUniversalForwarder\bin\NStats.ps1"

| table OwningProcess, LocalAddress, LocalPort, RemoteAddress, RemotePort, ProcName


Собственно, таким образом можно подключать к Forwarder различные источники событий. Всем удачного использования J

2 комментария:

Здравствуйте! У меня возникла проблема со splunk universal forwarder, я поднял виртуальную машину на debian со splunk enterprise,установил на физ. машину windows форвардер. Хост физ машины виден но даты с него не идет. Что делать?

Сергей, приветствую!
При условии, что виртуалка и физическая машина видят друг друга по сети советую проверить:
1) Настройки брандмауера в Windows и правила Iptables на сервера Splunk. Может есть блокирующие правила.
2) Убедиться, что на Splunk сервера открыт порт для приема данных с форвардера (команда в консоли: netstat -napt | grep splunk). Должны увидеть открытый tcp-порт 9997.
3) Посмотреть трафик с помощью WireShark на Windows хосте и убедиться, что события в сторону Splunk-сервера уходят.
4) Проверить, что служба форвардера (SplunkForwarder) запущена на Windows хосте (Диспетчер задач - Службы).


Мануал

Он позволяет собирать, хранить, индексировать, искать, сопоставлять, визуализировать, анализировать и сообщать о любых данных журнала или машинных данных быстро и воспроизводимым образом для выявления и устранения проблем, связанных с операциями и безопасностью.

Кроме того, splunk поддерживает широкий диапазон использования журналов, таких как консолидация и сохранение журналов, безопасность, устранение неполадок в работе ИТ, устранение неполадок приложений, а также отчетность о соответствии и многое другое.

Особенности Splunk:

  • Он легко масштабируется и полностью интегрируется.
  • Поддерживает как локальные, так и удаленные источники данных.
  • Позволяет индексировать машинные данные.
  • Поддерживает поиск и корреляцию любых данных.
  • Поддерживает мониторинг и оповещение.
  • Также поддерживает отчеты и панель мониторинга для визуализации.
  • Обеспечивает гибкий доступ к реляционным базам данных, данным с разделителями полей в файлах с разделителями-запятыми (.CSV) или в других корпоративных хранилищах данных, таких как Hadoop или NoSQL.
  • Поддерживает широкий спектр вариантов использования журналов и многое другое.

В этой статье мы покажем, как установить последнюю версию Splunk Log Analyzer и как добавить файл журнала (источник данных) и выполнить поиск через него в событиях CentOS 7 (также работает с распределением RHEL).

Рекомендованные системные требования:

1. Перейдите на сайт splunk, создайте учетную запись и скачайте последнюю доступную версию для своей системы со страницы загрузки Splunk Enterprise.

Пакеты RPM доступны для Red Hat, CentOS и аналогичных версий Linux.

Кроме того, вы можете загрузить его напрямую через веб-браузер или получить ссылку для загрузки и использовать команду wget commandv для захвата пакета через командную строку, как показано ниже:

2. После того как вы загрузили пакет, установите RPM Splunk Enterprise в каталог /opt/splunk по умолчанию, используя диспетчер пакетов RPM, как показано ниже:

3. Затем для запуска службы используйте интерфейс командной строки Splunk Enterprise (CLI).

Прочтите ЛИЦЕНЗИОННОЕ СОГЛАШЕНИЕ НА ПРОГРАММНОЕ ОБЕСПЕЧЕНИЕ SPLUNK, нажав Enter.

Как только вы закончите читать, вас спросят, согласны ли вы с этим лицензионным соглашением? Введите Y для продолжения.

Затем создайте учетные данные для учетной записи администратора, ваш пароль должен содержать не менее 8 общих печатных символов ASCII

4. Если все установленные файлы не повреждены и все предварительные проверки пройдены, будет запущен демон сервера splunkd (splunkd), будет создан секретный ключ RSA 2048 бит, и вы сможете получить доступ к веб-интерфейсу splunk.

5. Затем откройте порт 8000, который прослушивает сервер Splunk, в вашем брандмауэре, используя firewall-cmd.

6. Откройте веб-браузер и введите следующий URL-адрес для доступа к веб-интерфейсу splunk.

Чтобы войти в систему, используйте Username: admin и пароль, который вы создали во время процесса установки.


7. После успешного входа в систему вы попадете в консоль управления splunk, показанной на следующем снимке экрана.

Чтобы контролировать файл журнала, например /var/log/secure, нажмите «Add data».


8. Затем нажмите «Monitor», чтобы добавить данные из файла.


9. В следующем интерфейсе выберите Files & Directories.


10. Затем настройте ваш образец для мониторинга файлов и каталогов.

Чтобы контролировать все объекты в каталоге, выберите каталог.

Чтобы контролировать один файл, выберите его.

Нажмите Browse, чтобы выбрать источник данных.


11. Вам будет показан список каталогов в вашем root/ каталоге (/), перейдите к файлу журнала, который вы хотите контролировать (/var/log/secure), и нажмите «Select».


12. После выбора источника данных выберите «Continuously Monitor», чтобы посмотреть этот файл журнала и нажмите «Next», чтобы установить тип источника.


13. Затем установите тип для источника данных.

Затем нажмите «Next», чтобы продолжить.

14. Вы можете дополнительно установить дополнительные входные параметры для этих данных.

Под App contex выберите «Search & Reporting». Затем нажмите «Browse. После просмотра нажмите «Submit».

15. Теперь ваш файл был успешно создан. Нажмите «Start Searching» для поиска ваших данных.


16. Чтобы просмотреть все ваши вводы данных, откройте Settings→Data→Data Inputs.

Затем нажмите на тип, который вы хотите просмотреть, например, «Files & Directories».

17. Ниже приведены дополнительные команды для управления (перезапуска или остановки) демона splunk.

С этого момента вы можете добавить дополнительные источники данных (локальные или удаленные с помощью Splunk Forwarder), изучить ваши данные и / или установить приложения Splunk для повышения функциональности по умолчанию.

Вы можете сделать больше, прочитав документацию, представленную на официальном сайте.


В этом разделе о том, как установить Splunk, мы рассмотрим все необходимые детали и шаги, необходимые для установки Splunk на нашу машину. Мы будем обсуждать этапы установки как для Linux, так и для операционных систем Windows.
Сначала мы расскажем вам о компонентах Splunk.

Основными компонентами Splunk Architecture являются:

  1. индексаторы
  2. Поиск головы
  3. Транспортеры (Universal / Heavy)
  1. Сервер развертывания
  2. Мастер лицензий
  3. Мастер Кластер


Источник:


Кроме Форвардеров, все остальные 5 компонентов могут быть установлены из одного пакета Splunk. Только после установки мы должны вручную настроить, следует ли сделать компонент индексатором / головкой поиска / сервером развертывания / мастер-лицензией / мастер-кластером.

Источник: From My Paint.

Существует два способа настройки установки для Splunk Enterprise:

  1. Автономная среда - здесь все компоненты Splunk находятся на одном и том же сервере (за исключением серверов пересылки, поскольку единственной целью серверов пересылки является пересылка данных с устройства ввода в Splunk (Indexer), поэтому нет смысла размещать сервер пересылки на та же машина)
  2. Распределенная среда - здесь все компоненты Splunk распределены на разных серверах, таких как индексатор на сервере 1, поисковая головка на сервере 2, мастер лицензий и сервер развертывания на сервере 3, а также!
  1. Splunk Enterprise - Локальная установка, больше административных затрат. Здесь вы несете ответственность за все обновления, внесение изменений в конфигурационные файлы и поддержание работы Splunk.
  2. Splunk Cloud - установка в облаке, меньше административных затрат. Splunk Incorporation несет ответственность за поддержание вашей работоспособности.
  3. Splunk Light - это облегченная версия Splunk Enterprise с ограниченными функциями и возможностями.

Установить Splunk Enterprise в Windows

2. Нажмите Free Splunk в правом верхнем углу.


Источник: из моего браузера

3. Если вы не вошли в систему или у вас нет учетной записи, связанной с Splunk, она попросит вас создать учетную запись. Пожалуйста, сделайте необходимое, а затем войдите в систему.

4. Следующий экран, который вы увидите.


Источник: из моего браузера

5. На вкладке Windows нажмите кнопку загрузки в соответствии с конфигурацией вашего компьютера. Как только пакет загружен, запустите его.

6. Установите флажок, чтобы принять лицензию и пользовательское соглашение. После того, как флажок установлен, кнопки «Настроить параметры» и «Далее» станут активными, кнопка «Настроить» позволит вам выбрать папку, в которую вы хотите установить Splunk, в то время как если вы нажмете «Далее», она будет установлена ​​по пути по умолчанию.


Источник: с моего сервера

7. Здесь мы выберем Local System, так как мы находимся на нашей локальной машине.


Источник: с моего сервера

8. Пожалуйста, введите ваш пароль. Вы должны иметь возможность войти в свой экземпляр Splunk, используя этот пароль.


Источник: с моего сервера

9. Далее нажмите на готово.


Источник: с моего сервера

10. Теперь вы можете либо открыть свой экземпляр Splunk из своих программ для Windows, либо посетить localhost: 8000 через веб-браузер.


Источник: с моего сервера

Имя пользователя для администратора всегда - admin, а пароль будет тем, который вы указали в процессе установки.

Установить Splunk Enterprise в Linux

2. Нажмите Free Splunk в правом верхнем углу.


Источник: с моего сервера

3. Если вы не вошли в систему или у вас нет учетной записи, связанной с Splunk, она попросит вас создать учетную запись. Пожалуйста, сделайте необходимое, а затем войдите в систему.

4. Следующий экран, который вы увидите


Источник: с моего сервера

5. На вкладке Linux нажмите кнопку «Загрузить сейчас» в соответствии с вашими версиями / дистрибутивами Linux, которые вы используете.


Источник: с моего сервера

Остальные шаги такие же, как мы делали при установке Windows, так как шаги через GUI практически одинаковы независимо от ОС.

ИЛИ

У вас есть возможность загрузить это прямо из командной строки / оболочки Linux. После того, как вы нажмете кнопку «Загрузить сейчас», загрузка начнется автоматически, но вы можете вместо этого отменить загрузку и найти опцию «Загрузка через командную строку». Скопируйте команду и запустите ее в командной строке (wget позволяет вам скачать пакет)


Источник: с моего сервера


Источник: Нажмите здесь

wget -O Splunk-7.2.4-8a94541dcfac-Linux-2.6-x86_64.rpm

1. Теперь скачан rpm-пакет Splunk, пришло время его установить

Команда :

rpm –ivh splunk-7.2.4-8a94541dcfac-linux-2.6-x86_64.rpm

2. Splunk теперь установлен, и теперь пришло время запустить его впервые. Перейдите в каталог bin Splunk и запустите следующее

Команда :
/opt/splunk/bin/splunk start

3. Прочитайте лицензию и нажмите кнопку «y», чтобы согласиться с лицензионным соглашением.

4. Существует также другой способ прямого запуска Splunk, когда вы делаете это в первый раз, принимая лицензию за один раз:

Команда:

/opt/splunk/bin/splunk start –accept-license
ИЛИ
./splunk start –accept-license (при условии, что вы находитесь в каталоге bin Splunk)


Источник:

Установить Splunk Cloud

Мы видели установку Splunk Enterprise на платформах Windows и Linux, но помимо Splunk Enterprise Splunk также предлагает облачную версию Splunk, известную как Splunk Cloud.

В то время как Splunk Enterprise является локальной установкой, облако Splunk полностью развернуто в облаке.
Шаги для облачной установки:

2. Нажмите «Бесплатная пробная версия».


Источник: из моего браузера

3. Если вы не вошли в систему или у вас нет учетной записи, связанной с Splunk, она попросит вас создать учетную запись. Пожалуйста, сделайте необходимое, а затем войдите в систему.

4. После того, как вы нажмете на бесплатную пробную версию, установка начнется на облачном сервере Splunk. По завершении нажмите в правом верхнем углу, выберите свою учетную запись и в раскрывающемся списке нажмите «Экземпляры».


Источник: из моего браузера

5. Затем вы будете перенаправлены на экран, который будет выглядеть примерно так:


Источник: из моего браузера

6. Нажмите здесь, Доступ к экземпляру.

Рекомендуемые статьи

Это было руководство о том, как установить Splunk. Здесь мы обсудили основной компонент и различные этапы установки Splunk. Вы также можете посмотреть следующую статью, чтобы узнать больше -

Читайте также: