Analytics/Elastic

Die in dieser Dokumentation beschriebenen Installationsschritte müssen Sie nur für die service.monitor Datenquellen anwenden, die im konkreten Nutzungsszenario liegt. Folgende Datenquellen bzw. Analyse-Themen werden aktuell von service.monitor unterstützt.

Nutzerinteraktionsdaten aus map.apps oder security.manager

Wenn Sie service.monitor in map.apps und/oder security.manager aktiv schalten, so werden konkrete Nutzerinteraktionen der Anwender erfasst und über die monitor-analytics-Webapp und eine Logstash-Pipeline nach Elasticsearch geschickt. Sie können die erfassten Daten mittels der Dashboards in Kibana analysieren.

ArcGIS Enterprise Logfiles

service.monitor erlaubt auch die Darstellung von ArcGIS Server und Portal for ArcGIS Logfiles. Er bietet darüber hinaus einfache Analyse- und Visualisierungsmöglichkeiten an.

ArcGIS Enterprise ArcGIS SOC Prozess-Ingesting

Mit Hilfe von Elasticsearch Metricbeat kann ein detaillierteres Verständnis der Auslastung Ihrer ArcGIS Enterprise ArcSOC-Prozesse erreicht werden. service.monitor liefert Diagramme, die die Anzahl der aktiven SOC-Prozesse und deren Auslastung (CPU, RAM) auf Ihrem ArGIS-Host-System(en) zeigen.

FME Flow Job-Informationen und Log-Ausgaben

service.monitor erlaubt auch die Darstellung von FME Job-Informationen und Log-Ausgaben, die beim Ausführen von Jobs entstanden sind. Über die regelmäßige Abfrage des FME Job-Repositories liegen detaillierte Daten über die Nutzung und Auslastung der FME Infrastruktur vor, die statistisch und visuell auf den Dashboards dargestellt werden können. Über Filebeat werden weitere Logdaten von FME Flow zu service.monitor transportiert.

con terra Anwendungslogfiles

Zentrale Logdaten-Aggregatoren haben in den letzten Jahren eine große Bedeutung für den erfolgreichen Betrieb von IT-Systemen bekommen. Dies ist eine der Kernkompetenzen des Elasticsearch Stack. Die in der con terra entwickelten Produkte und Software-Artefakte unterstützen die Speicherung von Anwendungslogfiles in solchen zentralen Systemen, statt diese Informationen ins lokale Dateisystem zu schreiben. service.monitor enthält eine Logstash-Pipeline, die die Log-Ereignisse aufnehmen, verändern und zur Speicherung an Elasticsearch schicken kann.

Periodische Monitoring-Tasks

service.monitor Monitoring und Analytics können über einen einfachen Datentransfer miteinander gekoppelt werden. Ist der Transfer aktiv, werden alle Informationen über einzelne Monitoring-Events (Dienst, Job, URL, Erfolg, Fehler, usw.) vom Monitoring an eine Logstash-Pipeline gesendet, dort modifiziert und zur Speicherung an Elasticsearch gesendet. Sie können diese Daten dann mittels der komfortablen Interaktionsmöglichkeiten der Dashboards sinnvoll analysieren.

Übersicht der Installation und Installationsschritte

Diese Übersicht soll helfen, die Zusammenhänge von Datenquellen und notwendigen Installationsschritten besser zu verstehen und Hinweise geben, wie der erfolgreiche Datenfluss überprüft werden kann.

Idealtypische Reihenfolge

  1. Installation des Elasticsearch Stack

  2. Konfiguration von service.monitor auf Elastic/Kibana mit der Python API

    1. Konfiguration von Elastic Index(-template), Lifecycle Policy und Alias

    2. Import von Kibana Dashboards, Queries und Index Patterns

  3. Konfiguration der Logstash-Pipelines

  4. Nutzung / Einrichtung von Elastic Ingest-Pipelines

  5. weitere Aktivitäten außerhalb von Elasticsearch

Zuordnung von Dateien

Entnehmen Sie der folgenden Tabelle eine Zuordnung von Dateien der Auslieferung zu den Datenquellen.

Datenquelle Index alias dev-console kibana logstash ingest weiteres

ct-analytics

  • analytics-usagelog-app

  • analytics-usagelog-map

  • analytics-usagelog-tool

  • analytics-usagelog-server

  • analytics-usagelog-log

ct-analytics.txt

ct-analytics/export.ndjson

ct-analytics

ct-monitor-analytics

map.apps Bundle-Upload, Installation monitor-analytics-webapp

ct-arcgis

  • ct-arcgis-logfile

ct-arcgis-logfile.txt

ct-arcgis/export.ndjson

ct-arcgis-logfile

ct-monitor-arcgis

Filebeat-Einrichtung auf ArcGIS Hosts

ct-arcgis-soc

  • <wie Metricbeat>

ct-arcgis-soc.txt

ct-arcgis-soc/export.ndjson

ct-monitor-metricbeat-arcsoc

Metricbeat-Einrichtung auf ArcGIS Hosts

ct-fme

  • ct-fme-jobs

  • ct-fme-log

  • ct-fme-jobroutes

ct-fme-*.txt

ct-fme/export.ndjson

ct-fme-* (optional)

ct-monitor-fme

FME-Umgebungsparameter für Logstash setzen (optional)

ct-log

  • ct-log

ct-log.txt

ct-log/export.ndjson

ct-log

ct-monitor-logging

Log4J Logging über GELF in den Anwendungen aktivieren

ct-monitoring

  • ct-monitoring

ct-monitoring.txt

ct-monitoring/export.ndjson

ct-monitoring (optional)

ct-monitor-monitoring

Transfer der Monitoring-Ereignisse in monitor-webapp aktivieren