Effektive Datenverwaltung durch Datenpflege an nur einer Stelle
Das Umwandeln von Daten ist in den meisten Fällen keine einfache Aufgabe. Bei der Integration gilt es darauf zu achten, dass bei der Übertragung von einem System in ein anderes, Daten gefiltert, sortiert, zerteilt und/oder zusammengesetzt werden müssen.
Die Herausforderung besteht darin, Daten aus zentralen und dezentralen Systemen einfach und effizient zu integrieren bzw. auch für Drittsysteme bereitzustellen.
Datenintegration mit EcholoN
Das EcholoN Data Workflow System (DWS) ist ein universelles System zur Datenintegration (DI) und Systemkopplung. Informationen und Daten können von einem System in ein anderes migriert und ausgetauscht sowie importiert und exportiert werden.
Aus nahezu jeder Datenquelle lassen sich Daten auslesen und über das DWS bereitstellen. Ob einmalig, periodisch, täglich oder wöchentlich – Sie definieren zu welcher Zeit oder zu welchem Event Informationen und Daten ausgetauscht werden sollen.
Zu den meist verwendeten Datenquellen gehören
- Dateien wie Excel, XML, Textdateien im CSV / SDF- Format, etc.
- SQL als generische Verbindung zu MS SQL, Oracle, MySQL etc. oder via ODBC
- Verzeichnisdienste wie LDAP, Active Directory Service (ADS), Novell eDirectory (NDS)
- SNMP zum Scannen der Netzwerk-Infrastruktur
- Toolspezifische wie: NAGIOS, PRTG, ZABBIX, HP SIM, WhatsUP, etc.
- Standard Web Services mit SOAP und WSDL
- Systemspezifische wie: SAP via BAPI und XML Web Service
- M2M via MQTT
Data Workflow System im praktischen Einsatz
Die grafische Bedienoberfläche gestaltet das Verbinden der einzelnen Felder intuitiv: links erscheinen untereinander die Elemente der Datenquelle, rechts die des Ziels. Nun klicken Sie auf einen Namen und ziehen ihn nach rechts – schon spannt sich eine Verbindung, die die beiden Elemente miteinander verknüpft.
Im ersten Mapping wird die Suche festgelegt, welche Datensätze anhand welcher Kriterien berücksichtigt werden sollen. Im zweiten Mapping, welche Elemente bei Import und Synchronisation wie übergeben werden. Optional wird im dritten Mapping bestimmt, was geschehen soll, wenn ein bereits synchronisiertes Objekt in der Quelle nicht mehr vorhanden ist (deaktiviert / gelöscht).
Das EcholoN DWS wird als Dienst ausgeführt und arbeitet die definierten Aufgaben direkt oder zur festgelegten Zeit ab. Zusätzlich können einzelne Aufgabenteile oder ganze Workflows auch manuell über die Konsole aufgerufen werden. Diese bietet neben der Ausgabe der aktuellen Aktivitäten auch die Erzeugung eines Logfiles an.
Anbindung eines Monitoringsystems beispielsweise Nagios
Das Ziel einer Anbindung ist, dass Alarme und Meldungen automatisch einen Vorgang erzeugen, um diese bspw. automatisiert in EcholoN zu bearbeiten. In der nachfolgenden Beschreibung sind zwei gängige Wege aufgezeigt: per E-Mail und auf Datenbankebene.
Die Anbindung per E-Mail erfolgt in drei Schritten. Zuerst wird Nagios für den Versand von „Meldungen“ an eine bestimmte Queue konfiguriert. Im zweiten Schritt erfolgt die Kopplung der Queue via DWS an EcholoN. Dabei verarbeitet das DWS die Daten aus der Queue (zyklisches Abfragen der Queue, Parsen der Meldung, etc.). Im letzten Schritt erfolgt die Rückmeldung an Nagios.
Die Anbindung auf Datenbankebene ist ein Stück komfortabler. Voraussetzung ist, dass Nagios die Meldungen mit einem entsprechenden Modul (z.B. PRTG, NagiosEventDB) in eine zentrale Datenbank (z.B. Oracle, MS SQL - Server, MySQL) schreibt. Das DWS wird direkt mit der Datenbank verbunden. Hier erfolgen sowohl die Übergabe an einen EcholoN Vorgang als auch das Senden von „Acknowledges“.