Pflege der Elasticsearch-Indizes
Allgemeine Überlegungen
Die von Analytics gesammelten Ereignisse erhöhen den von Elasticsearch verwalteten Dateiindex. Abhängig von der Nutzungsintensität der Systeme, die über service.monitor analysiert werden, kann dieser Dateiindex erheblich wachsen. Es ist nicht ungewöhnlich, dass die Anforderungen an das Dateisystem um 1 GByte pro Tag wachsen, was besondere Herausforderungen an die service.monitor Betriebsinfrastruktur stellt.
Früher oder später müssen Maßnahmen getroffen werden, die die langfristigen Auswirkungen der gesammelten Daten gegen die Betriebsfähigkeit des Systems abwägen. Für diese Entscheidung lohnt sich ein Blick auf die Arten von Ereignissen, die derzeit von service.monitor gesammelt werden.
Die folgenden Ereignistypen sind in map.apps verfügbar:
-
Start der map.apps-Anwendung
-
Interaktionen mit der Karte (Zoom, Pan)
-
Interaktionen mit Werkzeugen
-
Javascript-Konsolenereignisse
Im Rahmen der Aufzeichnung von Ereignissen auf der Serverseite gibt es die folgenden Ereignistypen:
-
Anfragen an geschützte Dienste (security.manager)
-
allgemeine Serveranfragen (security.manager, map.apps, service.monitor)
Die Ereignistypen dienen unterschiedlichen Analysezwecken, treten unterschiedlich häufig auf und beanspruchen unterschiedlich viel Platz im Dateiindex. Die folgende Tabelle enthält Vorschläge, wie sie für einen bestimmten Zeitraum gespeichert werden können.
| Ereignistyp | Durchschnittliche Ereignisgröße in kb | Empfohlene Speicherdauer im Index | Verwendung in Dashboards oder Widgets (Auswahl) |
|---|---|---|---|
Konsolenprotokoll-Ereignisse |
0,81 |
1 Tag - 1 Monat |
Tabelle der Fehler und Warnungen, Fehler und Warnungen pro App und pro Browser |
map.apps apps start events |
0,7 |
für immer |
Viele Analysen basieren auf dieser Art von Ereignissen: Geo-IP-Lokalisierung, App-Nutzungshäufigkeit, Benutzer-Betriebsumgebung, … |
map.apps map interactions |
0,69 |
6 Monate - für immer |
Verwendete Dienste, Abfragen gegen ArcGIS Online, Heatmap und Anzeige der Detailstufe |
map.apps tool usage |
0,52 |
6 Monate - für immer |
Verwendete Aktionen in den Apps, Benutzer suchen, Benutzer wählen aus |
Server-Ereignis von security.manager & map.apps |
0,35 |
6 Monate - für immer |
Nutzung von geschützten Diensten, alle Serveranfragen |
Log-Ereignisse leisten den geringsten Beitrag zur langfristigen Nutzungsanalyse, treten aber häufig auf und benötigen den meisten Speicherplatz. Wir empfehlen, solche Ereignisse aus betrieblicher Sicht regelmäßig zu löschen oder ILM für Ihre Indizes aktivieren. Dies gilt in abgeschwächter Form auch für die Ereignisse der Map-Interaktionen und der Tool-Nutzung. Dies muss immer mit Ihren individuellen Nutzungspräferenzen abgeglichen werden.
Nachträgliche Anonymisierung von Benutzerinformationen
Die im Artikel Checking and Ensuring DSGVO Conformity beschriebene Logstash Pipeline ist unter dem Pfad examples/anonymize-user-dsgvo abgelegt.