Templates, Pipelines, Indizes

Wesentliche Teile der Elasticsearch-Konfiguration können über Kibana erfolgen. Die Distribution enthält Dateien, die die Integration von Elasticsearch und Kibana mit service.monitor sicherstellen. Dazu gehört die Konfiguration der Indizes und Index-Policies sowie der Import der Kibana-Dashboards. Ein weiterer Punkt sind die Elastic Ingest Pipelines.

Dev Console: Index Templates, Lifecycle Templates, Bootstrap Index

Das Auslieferungsverzeichnis enthält den Ordner analytics/elasticsearch/dev-console mit Dateien, die zur Ausführung mit den Kibana Dev Tools vorbereitet sind. Die Dev Tools befinden sich im Menüpunkt Management von Kibana. Für jede der von service.monitor unterstützten Datenquellen befindet sich eine Datei in dem Ordner dev-console:

  • ct-analytics

  • ct-arcgis-logfile

  • ct-fme-*

  • ct-log

  • ct-monitoring

Je nachdem, welche Datenquellen aktiviert werden sollen, kopieren Sie den Inhalt der Datei in die Dev Tools. In der Regel befinden sich in jeder Datei drei Kommandos:

  • Erzeugen der ILM Policy

  • Erzeugen des Index Templates

  • Anlegen des Bootstrap Indexes

Führen Sie die Abschnitte durch einen Klick auf das Pfeil-Symbol von oben nach unten aus. Üblicherweise wird der Erfolg einer Aktion in den Dev Tools im rechten Fenster mit acknowledged beantwortet.

Das Kommando zum Anlegen des Bootraps Indexs muss bei einer Aktualisierung von service.monitor für die jeweilige Datenquelle nicht ausgeführt werden, wenn bereits Daten auf Basis von rollierenden Indizes gesammelt werden.

Dieses Vorgehen müssen Sie für alle zu nutzenden Datenquellen wiederholen. Bitte beachten Sie dazu die Konfigurationshinweise unter Integration von Datenquellen.

Ansicht der (drei) Requests in den Dev Tools für die Datenquelle ct-arcgis-logfile
Ein tieferes Verständnis über die Zusammenhänge der hier beschriebenen Aktionen bietet diese Übersicht.

Dev Console: Ingest Pipelines

Ingest Pipelines können Events kurz vor der Speicherung oder bei einer Aktualisierung nach definierten Regeln ändern. Das Auslieferungsverzeichnis enthält den Ordner analytics/elasticsearch/ingest mit Dateien, die zur Ausführung mit den Kibana Dev Tools vorbereitet sind und die Ingest-Pipelines beinhalten. Das Veröffentlichen der Ingest-Pipelines ist für einen Betrieb von service.monitor verpflichtend.

Ingest Pipeline veröffentlichen

Die Konfigurationsseiten für die einzelnen Datenquellen enthalten Hinweise, welche Ingest Pipelines jeweils relevant sind.

Konfiguration für den aktuellen Index (nur bei Update)

Dieser Schritt ist nur notwendig, wenn es sich um eine Nachkonfiguration bestehender Indizes handelt.

Ob ein Index bereits eine Ingest Pipeline für service.monitor konfiguriert hat, kann in den Index Settings nachverfolgt werden. ( Stack Management > Index Management > <Index> > Edit Settings)

Beispiel-Ansicht eines Index mit konfigurierter Pipeline

Um die Pipeline in Elasticsearch für alle Indizes zu konfigurieren, muss die Pipeline auf die betroffenen Indizes gesetzt werden.

Beispiel für Nachkonfiguration für ArcGIS Log-Daten
PUT /ct-arcgis-logfile-*/_settings
{
"index.final_pipeline" : "ct-monitor-arcgis"
}
Beispiel für Nachkonfiguration für Monitoring Daten
PUT /ct-monitoring-*/_settings
{
"index.final_pipeline" : "ct-monitor-monitoring"
}
Die Pipeline kann auch direkt über den Edit-Dialog gesetzt werden (siehe oben).