Konfiguration der Logstash-Pipelines

Logstash wird mit einer angepassten Konfiguration ausgeliefert, die den Anforderungen des service.monitor Analytics entspricht. Dazu gehören mehrere Daten-Pipelines, Schema-Vorlagen für Elasticsearch (Templates) und die zentrale Konfigurationsdatei pipelines.yml. Im Auslieferungszustand von Logstash ist diese Datei vollständig deaktiviert, durch die Nutzung der mitgelieferten pipelines.yml wird der Betrieb von Logstash mit multiplen Pipelines aktiv.

Die Datei pipelines.yml und der Ordner pipelines werden in den config-Ordner von Logstash kopiert. Die Dateiinhalte müssen angepasst werden (siehe folgende Erläuterungen)

pipelines.yml (Die Pfadangaben müssen auf die lokalen Gegebenheiten angepasst werden.)

- pipeline.id: ct-analytics
path.config: "/etc/logstash/pipelines/ct-analytics/*.conf"
#- pipeline.id: ct-log
#  path.config: "/etc/logstash/pipelines/ct-log/*.conf"
#- pipeline.id: ct-monitoring
#  path.config: "/etc/logstash/pipelines/ct-monitoring/*.conf"
#- pipeline.id: ct-arcgis-logfile
#  path.config: "/etc/logstash/pipelines/ct-arcgis-logfile/*.conf"

Wenn die Pipelines ct-log, ct-argis oder ct-monitoring betrieben werden sollen, so empfiehlt sich, jeweils beide Zeilen mit # einzukommentieren.

Im Ordner pipelines befinden sich die konkreten Logstash-Pipeline-Definitionen. Hier müssen Anpassungen in den Dateien gemacht werden:

\pipelines\ct-analytics\logstash-analytics-900-output.conf
\pipelines\ct-log\ct-log-900-output.conf
\pipelines\ct-monitoring\ct-monitoring-900-output.conf
\pipelines\ct-arcgis-logfile\ct-arcgis-logfile-900-output.conf

Verpflichtende Anpassungen:

Pfade zu den template-Dateien
Host-Name des Elasticsearch-Cluster, falls nicht über localhost und Port 9200 erreichbar
Nutzername und Password für den Zugriff auf Elasticsearch

Optionale Anpassungen:

Datums-Pattern für Index-Rollierung
alternative Port-Konfiguration für Inputs (jeweils Datei ct-*-100-input.conf)

Logstash verwendet im Rahmen der Nutzung des service.monitor pro Daten-Pipeline einen TCP/UDP-Port (z.B. 12201, 12202, 12203). Bitte überprüfen Sie, ob der Zugriff auf diesen Port von außen (je nach Anwendungszweck) durch Ihre Firewall gestattet ist!