Elastic Lifecycle Management

Das Lifecylemanagement unterstützt den dauerhaften, stabilen Betrieb des Elastic Clusters, indem klare Regeln zur Beschränkung von Index-Größen und zum Verwerfen von einmal gesammelten Ereignissen definiert werden. Für jede unterschiedliche Datenkategorie von service.monitor werden Festlegungen zu folgenden Eigenschaften gemacht:

  • Index Template: Das Index Template definiert - falls nötig - Vorgaben zum zu verwendenden "Datenmodell" (Mappings) und Vorgaben zur internen Datenhaltung und Replikation (Shards und Replicas). In einem Template kann auch die auszuführende Ingest-Pipeline benannt werden.

  • Index Pattern: Über das Pattern kann entschieden werden, welche Index Templates für welche neu zu erzeugenden Indizes angewandt werden.

  • ILM Policy Name: Die Policy definiert die Regeln des Lebenszyklus einer Menge von Indizes.

  • Alias: Mit Hilfe eines Alias können viele physische Indizes angesprochen werden, ohne das konkrete Kenntnis über den genauen Index-Namen für einen Client vorliegen muss

  • Bootrap Index Name: Der Name des ersten Index, der unter Nutzung einer Index Lifecycle Policy und einem Index Template erzeugt wird.

Thema Name des Index-Template ILM Policy-Name Index Pattern Alias Boostrap Index-Name

ct-log

ct-log

ct-log-policy

ct-log-*

ct-log

ct-log-000001

ct-analytics-app

ct-analytics-app

ct-analytics-app-policy

ct-analytics-app*

ct-analytics-app

ct-analytics-app-000001

ct-analytics-map

ct-analytics-map

ct-analytics-map-policy

ct-analytics-map*

ct-analytics-map

ct-analytics-map-000001

ct-analytics-log

ct-analytics-log

ct-analytics-log-policy

ct-analytics-log*

ct-analytics-log

ct-analytics-log-000001

ct-analytics-tool

ct-analytics-tool-server-map-other

ct-analytics-tool-server-map-other-policy

ct-analytics-tool*

ct-analytics-tool

ct-analytics-tool-000001

ct-analytics-server

ct-analytics-tool-server-map-other

ct-analytics-tool-server-map-other-policy

ct-analytics-server*

ct-analytics-server

ct-analytics-server-000001

ct-arcgis-logfile

ct-arcgis-logfile

ct-arcgis-logfile-policy

ct-arcgis-logfile-*

ct-arcgis-logfile

ct-arcgis-logfile-000001

ct-monitoring

ct-monitoring

ct-monitoring-policy

ct-monitoring-*

ct-monitoring

ct-monitoring-000001

ct-fme-jobs

ct-fme-jobs

ct-fme-jobs-policy

ct-fme-jobs-*

ct-fme-jobs

ct-fme-jobs-000001

ct-fme-log

ct-fme-log

ct-fme-log-policy

ct-fme-log-*

ct-fme-log

ct-fme-log-000001

ct-fme-jobroutes

ct-fme-jobroutes

ct-fme-jobroutes-policy

ct-fme-jobroutes-*

ct-fme-jobroutes

ct-fme-jobroutes-000001

Die service.monitor Datenquellen werden mit unterschiedlichen Angaben betrieben, die an lokale Bedürfnisse angepasst werden können. Folgende Ideen waren u.a. für die Default-Angaben leitend:

  • eine physische Größe von 10GB pro Index ist für Elastic angemessen

  • Applikationslog-Daten sollen spätestens nach zwei Jahren gelöscht werden, da keine langfristig werthaltigen Informationen enthalten sind

  • map.apps Analytics-Daten werden (abgesehen von den Javascript-Konsole-Daten) ewig aufbewahrt

ILM Policy-Name Rollover Size Rollover Age Delete after rollover

ct-log-policy

10gb

365d

365d

ct-analytics-app-policy

10gb

ct-analytics-map-policy

10gb

ct-analytics-log-policy

10gb

60d

30d

ct-analytics-tool-server-map-other-policy

10gb

ct-arcgis-logfile-policy

10gb

365

365d

ct-monitoring-policy

10gb

365d

ct-fme-jobs-policy

10gb

365d

365d

ct-fme-log-policy

10gb

365d

365d

ct-fme-jobroutes-policy

24h

1m