Release Notes 5.0

What’s New

Unterstützung für Elasticsearch 9.1 und Kibana 9.1

Ab dieser Version wird die Unterstützung für Elasticsearch 9.1 und Kibana 9.1 eingeführt. Bitte beachten Sie, dass ältere Versionen von Elasticsearch und Kibana nicht mehr unterstützt werden. Stellen Sie sicher, dass Ihre Umgebung auf die neueste Version aktualisiert wird, um von den neuesten Funktionen und Sicherheitsupdates zu profitieren.

Unterstützung für den Betrieb in Docker-Containern

Ab dieser Version von service.monitor bietet die con terra Docker-Container und Docker-Compose-Anweisungen für den virtualisierten Betrieb von service.monitor an. Dies ermöglicht eine einfachere Bereitstellung und Skalierung der Anwendung in verschiedenen Umgebungen.

Bitte beachten Sie, dass die Nutzung der Docker-Container mit zusätzlichen Lizenzkosten verbunden ist. Bitte kontaktieren Sie dazu unseren Vertrieb oder support@conterra.de.

Unterstützung für Safe FME Flow REST API v4

Es können nun Safe FME Flow Daten über die REST API v4 abgefragt werden. Für das Monitoring wurde ebenfalls die Unterstützung für die REST API v4 hinzugefügt.

Python Setup API

Die Python Setup API wurde so erweitert, dass feingranularere Steuerungsmöglichkeiten für das Update-Verhalten von Elasticsearch- und Kibana-Objekten zur Verfügung stehen. Weitere Informationen finden Sie in Elasticsearch Stack per Python vorbereiten.

Updatehinweise

Falls Sie bei dem Update mehrere Versionen überspringen, befolgen Sie bitte auch alle Update-Hinweise der dazwischenliegenden Versionen.
Generelle Hinweise zum Update von service.monitor.

Nicht mehr unterstützte Funktionen

Elasticsearch Logstash

Die Unterstützung für die Nutzung von Logstash zur Übertragung von Daten an Elasticsearch wurde entfernt. Bitte verwenden Sie stattdessen die direkte Kommunikation mit Elasticsearch über den HTTP-Endpunkt.

Alert Notifications via X/Twitter

Der Kanal zum Senden von Alarmmeldungen via Twitter/X wurde entfernt. Bitte verwenden Sie stattdessen die Funktionalität zum Senden von Alarmmeldungen via Microsoft Teams Workflows oder den Json Webhook.

Alert Notifications via Microsoft Teams Incoming Webhook

Der Kanal zum Senden von Alarmmeldungen via Microsoft Teams Incoming Webhook wird seitens Microsoft nicht mehr unterstützt und wurde entfernt. Bitte verwenden Sie stattdessen die Funktionalität zum Senden von Alarmmeldungen via Microsoft Teams Workflows in Kombination mit Adaptive Cards.

Monitoring von Safe FME Flow Rest API v2

Das Monitoring von Safe FME Flow Instanzen über die Rest API v2 wird nicht mehr unterstützt. Bitte verwenden Sie die Rest API v4.

Konfigurationsänderungen

Update von Elasticsearch- und Kibana-Objekten via Python-Skript

Um das Update-Verhalten besser steuern zu können, wurde der Konfigurationsparameter overwrite_policy in der Konfigurationsdatei eingeführt. Die Policy für Elasticsearch und Kibana separat gesetzt werden und ermöglicht es, zentrale Objekte (z.B. ILM und Templates) unabhängig voneinander zu aktualisieren. Details sind in Konfiguration der Parameter beschrieben.

Der Parameter common.overwrite_objects wurde entfernt, und wird durch die neuen Parameter elasticsearch.overwrite_policy und kibana.overwrite_policy ersetzt.

Abfrage von Safe FME Flow Daten über Rest API v4

Die Abfrage von Safe FME Flow Daten erfolgt nun über die Rest API v4. Die bisherige API v3 wird nicht mehr in der Python API von service.monitor unterstützt. Bitte ändern Sie Ihre Konfiguration so, dass auf den http Endpunkt der API v4 verwiesen wird.

Änderungen bei der Indexierung von FME Jobs

Mit dem Wechsel zur FME Flow REST API v4 entfallen einige Felder, die bisher in den Elasticsearch-Index übernommen wurden. Betroffen sind:

  • timeDelivered

  • timeSubmitted

  • request.workspacePath

  • request.TMDirectives

  • request.NMDirectives

  • result.timeRequested

  • result.numFeaturesOutput

Diese Felder stehen in der neuen API-Version nicht mehr zur Verfügung und können daher nicht mehr indexiert werden.

Senden von Benachrichtigungen via Microsoft Teams Workflows

Die Konfiguration für das Senden von Benachrichtigungen via Microsoft Teams Workflows wurde angepasst. Anstelle der direkten URL zum Webhook wird nun die URL zu einem Microsoft Teams Workflow verwendet. Die Templates zum Senden von Nachrichten innerhalb des Produktes wurden ebenfalls angepasst, um die neuen Möglichkeiten von Adaptive Cards zu nutzen.

Unterstützung Java 25 und Apache Tomcat 11

Mit dieser Version des service.monitor werden zusätzlich Java 25 und Apache Tomcat 11 unterstützt. Die Unterstützung für Java 17 entfällt.

Unterstützung für sensible Daten in separater Datei (secrets.properties)

Mit diesem Release wurde die Möglichkeit eingeführt, sensible Daten aus der Datei application.properties in eine separate Datei namens secrets.properties auszulagern. Wenn mit mehreren Personen auf die Datei geschaut wird (zum Beispiel in einem Screen-Sharing) oder Sie die Konfigurations-Datei application.properties an unseren Support oder andere senden, sind die sensiblen Daten so nicht mehr sichtbar.

Wir empfehlen Ihnen, ihre Konfiguration zu überprüfen und sensible Daten, wie zum Beispiel Passwörter, in eine Datei secrets.properties zu verschieben, um die Sicherheit zu erhöhen.

Beispielkonfiguration

In der Datei application.properties wird auf die Datei secrets.properties verwiesen, die sensible Daten enthält:

# Load secrets from separate file
include=./secrets.properties

# Admin user definition
security.user.admin.pw=${secret.admin.pw}

Die tatsächlichen sensiblen Daten, wie Passwörter, werden dann in der Datei secrets.properties definiert:

secret.admin.pw=fill-with-password

Neuer Default Wert für security.user.pwenc

Das Property security.user.pwenc legt fest, welches Encoding für das Nutzer-Passwort im Modus INTEGRATED verwendet werden soll. Der neue Default-Wert ist nun plain.

security.user.pwenc=plain

Änderungen an Ingest Pipelines

Die Bearbeitung von ArcGIS Logdaten wurden so geändert, dass bei der nächsten Indizierung von ArcGIS-Daten zwingend in einen neuen Index geschrieben werden muss. Dies ist notwendig, da sich die Struktur der Daten geändert hat und eine Indizierung in den alten Index zu Fehlern führen würde.

Ausgelaufene Unterstützung

Logstash

Logstash wird ab dieser Version nicht mehr offiziell unterstützt. Alle Daten-Pipelines sind als Elastic Ingest Pipelines verfügbar.

Benachrichtigungen via X/Twitter

Der Kanal zum Senden von Benachrichtigungen via Twitter/X wurde entfernt.

Unterstützung für Safe FME Flow Rest API v2/v3

Die Unterstützung für das Monitoring von Safe FME Flow Instanzen über die Rest API v2 wurde entfernt.

Das Sammeln von Daten aus Safe FME Flow Instanzen über die Rest API v3 wurde entfernt.

Microsoft Teams Incoming Webhook

Die Möglichkeit zum Senden von Benachrichtigungen via Microsoft Teams Incoming Webhook wird seitens Microsoft nicht mehr unterstützt und wurde entfernt.

Abkündigungen

  • ONLY_AUTHN-Modus in /monitor-Webapplikation (Integration mit security.manager EE)

Bekannte Einschränkungen

SRVMON-182

[Monitoring] Some UI elements are not updated after job/service deletion

SRVMON-202

[Monitoring] monitoring templates on week day basis cannot be deleted once they have been created

SRVMON-260

[Monitoring] Creation date of job is updated when job is edited

SRVMON-965

[analytics/user interactions] Support IPv6 address obfuscation

SRVMON-1027

[FME Python API] API reads only 1000 most recent jobs from FME Flow

Changelog

5.0.0

New Features

SRVMON-972

[Elasticsearch] Support Elastic 9.1 as default service.monitor runtime platform

SRVMON-970

[FME Python API] Change FME Job ID detection mode to a more reliable mechanism

SRVMON-1028

[Monitoring] Re-Order Service Type appearance in services drop down

SRVMON-973

Elastic Ingest Pipeline Support (Elasticsearch 9.1)

SRVMON-967

[Elastic] Support for FME Flow REST API v4 - "Jobs Harvesting"

SRVMON-1009

[Elastic] Support for FME Flow REST API v4 - "Queue Harvesting"

SRVMON-977

Support Filebeat 9.1 as log shipper

SRVMON-984

[Monitoring] Support secrets.properties

SRVMON-985

[Analytics Webapp] Support secrets.properties

SRVMON-1013

[Monitoring] Add basic support for FME Flow Rest API v4

SRVMON-1015

[docker] Provisioning of an official /monitor docker image

SRVMON-1016

[docker] Provisioning of an official /monitor-analytics docker image

SRVMON-1017

[docker] provide official docker compose files for full service.monitor setup

SRVMON-1007

[Notification] Update Velocity Templates for Microsoft Teams to support Teams Workflow / Adaptive Cards rather than deprecated "incoming Teams Webhook"

Fixed Issues

SRVMON-946

[ArcGIS Dashboard] Query filter does not include all desired ArcGIS message levels for "errors & warnings"

SRVMON-958

[Analytics] [Installation] Dashboards not initialized correctly after first run of Python script (on Linux)

SRVMON-1021

[FME Python API] Log level is not correctly derived from string value

SRVMON-1024

[Ingest] ArcGIS pipeline does not follow ecs scheme for 'log.syslog.severity.code'

SRVMON-1037

[Monitoring] SampleRequest values are not being transfered to HTML Form correctly