Analytics/Elastic

Die in dieser Dokumentation beschriebenen Installationsschritte müssen Sie nur für die service.monitor Datenquellen anwenden, die im konkreten Nutzungsszenario liegt. Folgende Datenquellen bzw. Analyse-Themen werden aktuell von service.monitor unterstützt.

Nutzerinteraktionsdaten aus map.apps oder security.manager

Wenn Sie service.monitor in map.apps und/oder security.manager aktivieren, werden konkrete Nutzerinteraktionen erfasst und über die monitor-analytics-Webapp an Elasticsearch übertragen, wo sie in einer Ingest-Pipeline verarbeitet werden. Die erfassten Daten können anschließend über Kibana-Dashboards analysiert werden.

ArcGIS Enterprise Logfiles

service.monitor erlaubt auch die Darstellung von ArcGIS Server und Portal for ArcGIS Logfiles. Er bietet darüber hinaus einfache Analyse- und Visualisierungsmöglichkeiten an.

ArcGIS Enterprise ArcGIS SOC Prozess-Ingesting

Mit Hilfe von Elasticsearch Metricbeat kann ein detaillierteres Verständnis der Auslastung Ihrer ArcGIS Enterprise ArcSOC-Prozesse erreicht werden. service.monitor liefert Diagramme, die die Anzahl der aktiven SOC-Prozesse und deren Auslastung (CPU, RAM) auf Ihrem ArGIS-Host-System(en) zeigen.

FME Flow Job-Informationen und Log-Ausgaben

service.monitor erlaubt auch die Darstellung von FME Job-Informationen und Log-Ausgaben, die beim Ausführen von Jobs entstanden sind. Über die regelmäßige Abfrage des FME Job-Repositories liegen detaillierte Daten über die Nutzung und Auslastung der FME Infrastruktur vor, die statistisch und visuell auf den Dashboards dargestellt werden können. Über Filebeat werden weitere Logdaten von FME Flow zu service.monitor transportiert.

con terra Anwendungslogfiles

Zentrale Logdaten-Aggregatoren haben in den letzten Jahren eine große Bedeutung für den erfolgreichen Betrieb von IT-Systemen bekommen. Dies ist eine der Kernkompetenzen des Elasticsearch Stack. Die in der con terra entwickelten Produkte und Software-Artefakte unterstützen die Speicherung von Anwendungslogfiles in solchen zentralen Systemen, statt diese Informationen ins lokale Dateisystem zu schreiben.

Periodische Monitoring-Tasks

service.monitor Monitoring und Analytics können über einen einfachen Datentransfer miteinander gekoppelt werden. Ist der Transfer aktiv, werden alle Informationen über einzelne Monitoring-Events (Dienst, Job, URL, Erfolg, Fehler, usw.) vom Monitoring an Elasticsearch Ingest Pipelines gesendet, dort transformiert und zur Speicherung in Elasticsearch verarbeitet. Sie können diese Daten dann mittels der komfortablen Interaktionsmöglichkeiten der Dashboards sinnvoll analysieren.

Übersicht der Installation und Installationsschritte

Diese Übersicht soll helfen, die Zusammenhänge von Datenquellen und notwendigen Installationsschritten besser zu verstehen und Hinweise geben, wie der erfolgreiche Datenfluss überprüft werden kann.

Idealtypische Reihenfolge

  1. Installation des Elasticsearch Stack

  2. Konfiguration von service.monitor auf Elastic/Kibana mit der Python API

    1. Konfiguration von Elastic Index(-template), Lifecycle Policy und Alias

    2. Import von Elastic Ingest-Pipelines

    3. Import von Kibana Dashboards, Queries und Index Patterns

  3. weitere Aktivitäten außerhalb von Elasticsearch

Zuordnung von Dateien

Entnehmen Sie der folgenden Tabelle eine Zuordnung von Dateien der Auslieferung zu den Datenquellen.

Datenquelle Index alias dev-console kibana ingest weiteres ct-analytics

* analytics-usagelog-app * analytics-usagelog-map * analytics-usagelog-tool * analytics-usagelog-server * analytics-usagelog-log

ct-analytics.txt

ct-analytics/export.ndjson

ct-monitor-analytics

map.apps Bundle-Upload, Installation monitor-analytics-webapp

ct-arcgis

* ct-arcgis-logfile

ct-arcgis-logfile.txt

ct-arcgis/export.ndjson

ct-monitor-arcgis

Filebeat-Einrichtung auf ArcGIS Hosts

ct-arcgis-soc

* <wie Metricbeat>

ct-arcgis-soc.txt

ct-arcgis-soc/export.ndjson

ct-monitor-metricbeat-arcsoc

Metricbeat-Einrichtung auf ArcGIS Hosts

ct-fme

* ct-fme-jobs * ct-fme-log * ct-fme-jobroutes

ct-fme-*.txt

ct-fme/export.ndjson

ct-monitor-fme

ct-log

* ct-log

ct-log.txt

ct-log/export.ndjson

ct-monitor-logging

ct-monitoring

* ct-monitoring

ct-monitoring.txt

ct-monitoring/export.ndjson

ct-monitor-monitoring

Transfer der Monitoring-Ereignisse in monitor-webapp aktivieren