Konfiguration der Logstash-Pipelines

Logstash wird mit einer angepassten Konfiguration ausgeliefert, die den Anforderungen des service.monitor Analytics entspricht. Dazu gehören mehrere Daten-Pipelines und die zentrale Konfigurationsdatei pipelines.yml. Im Auslieferungszustand von Logstash ist diese Datei vollständig deaktiviert, durch die Nutzung der mitgelieferten pipelines.yml wird der Betrieb von Logstash mit multiplen Pipelines aktiv.

Typische Ablageorte der Dateien

Datei oder Ordner	Linux	Windows
pipelines.yml	/etc/logstash/pipelines.yml	[Installationsverzeichnis]/config
ct-arcgis	/etc/logstash/conf.d/ct-arcgis	[Installationsverzeichnis]/config/ct-arcgis
ct-[n]	/etc/logstash/conf.d/ct-[n]	[Installationsverzeichnis]/config/ct-[n]

Datei oder Ordner

Linux

Windows

pipelines.yml

/etc/logstash/pipelines.yml

[Installationsverzeichnis]/config

ct-arcgis

/etc/logstash/conf.d/ct-arcgis

[Installationsverzeichnis]/config/ct-arcgis

ct-[n]

/etc/logstash/conf.d/ct-[n]

[Installationsverzeichnis]/config/ct-[n]

Die Dateien der Auslieferung werden je nach Betriebssystem und Installationsart in die oben genannten Verzeichnisse kopiert. Je nach Bedarf können einzelne Ordner übersprungen werden, wenn die Datenquelle nicht eingebunden werden soll. Danach muss die Datei pipelines.yml editiert werden.

pipelines.yml (Die Variable PIPELINES_PATH muss in einer Systemvariablen gesetzt sein, siehe unten.)

- pipeline.id: ct-analytics
path.config: "${PIPELINES_PATH:/etc/logstash/conf.d}/ct-analytics/*.conf"
- pipeline.id: ct-fme
path.config: "${PIPELINES_PATH:/etc/logstash/conf.d}/ct-fme-jobs/*.conf"
- pipeline.id: ct-fme-log
path.config: "${PIPELINES_PATH:/etc/logstash/conf.d}/ct-fme-log/*.conf"
- pipeline.id: ct-fme-jobroutes
path.config: "${PIPELINES_PATH:/etc/logstash/conf.d}/ct-fme-jobroutes/*.conf"
- pipeline.id: ct-log
path.config: "${PIPELINES_PATH:/etc/logstash/conf.d}/ct-log/*.conf"
- pipeline.id: ct-monitoring
path.config: "${PIPELINES_PATH:/etc/logstash/conf.d}/ct-monitoring/*.conf"
- pipeline.id: ct-arcgis-logfile
path.config: "${PIPELINES_PATH:/etc/logstash/conf.d}/ct-arcgis-logfile/*.conf"

Wenn z.B. die Pipelines ct-log, ct-argis oder ct-monitoring betrieben werden sollen, so müssen alle anderen Pipelines aus der Datei entfernt oder per # auskommentiert werden.

In den Dateien der Logstash-Pipelines müssen keine inhaltlichen Änderungen vorgenommen werden, da diese dynamisch zu Systemvariablen auflösen.

Alle system-spezifischen Werte (z.B. Nutzername und Passwort von Elasticsearch oder FME Zugriffstoken) müssen vor dem Starten des Logstash-Prozesses in Systemvariablen übergeben werden. Ein Beispiel für das vorherige Setzen dieser Werte kann in den Dateien bin/logstash_env.bat und bin/logstash_env.sh eingesehen werden.

Logstash verwendet im Rahmen der Nutzung des service.monitor pro Daten-Pipeline einen TCP/UDP-Port (z.B. 12201, 12202, 12203). Bitte überprüfen Sie, ob der Zugriff auf diesen Port von außen (je nach Anwendungszweck) durch Ihre Firewall gestattet ist!