Automatisieren Sie die Datenverarbeitung mit dem FlowForce Server
Altova hat den FlowForce Server entwickelt, um umfassende Automatisierungs-, Verwaltungs- und Kontrollfunktionen für Datentransformationen bereitzustellen, die von speziellen, leistungsstarken Servern durchgeführt werden. Die Beta-Version 3 von FlowForce Server steht derzeit Nutzern der MapForce Enterprise- und Professional-Editionen kostenlos während des Beta-Testzeitraums zur Verfügung. Der FlowForce Server ermöglicht die automatisierte Verarbeitung von Daten in bestimmten Ordnern und führt ein detailliertes Aktivitätsprotokoll, das Benutzer aus der Ferne über ein Webbrowser-Fenster überwachen können. Der Screenshot unten zeigt das Protokoll des FlowForce Servers, der die Datenzuordnung MapForce namens CameraLogToGPX ausführt, über die wir in dem Blogbeitrag mit dem Titel Mehrere Eingabedateien in einer einzigen Datenzuordnung verarbeiten geschrieben haben. Diese Zuordnung verwendete Platzhalter, um mehrere Eingabedateien für die Verarbeitung anzugeben.
Es dauert nur wenige Minuten, um solche Aufgaben auf dem FlowForce Server einzurichten, auszuführen und die Ergebnisse zu überprüfen.
Platzhalter oder "Heiße" Ordner? Platzhalter und "heiße" Ordner erhöhen die Komplexität eines Datenverarbeitungsprozesses, und ihre erfolgreiche Nutzung erfordert eine sorgfältige Planung. Nehmen wir uns einen Moment Zeit, um das Szenario, das wir umsetzen möchten, etwas genauer zu betrachten. Stellen Sie sich vor, wir sind die IT-Abteilung eines Unternehmens, das Natur- und Wanderführer veröffentlicht. Wir beschäftigen Fotografen, die Wanderungen unternehmen und ihre Routen mithilfe der GPS-Funktion ihrer Digitalkameras aufzeichnen. Wir möchten die GPS-Protokolldateien der Kameras in das XML-basierte .gpx-Format für die Kartierung und andere Verarbeitungsschritte konvertieren. Wir werden einen Ordner in unserem Netzwerk bereitstellen, in den die Fotografen ihre GPS-Protokolldateien ablegen können. Dies wird der "heiße" Ordner sein, den der FlowForce Server überwacht, um neue Dateien zu finden, die als Eingabe für die Konvertierung von Kameradaten in das GPX-Format dienen sollen. Wir müssen jede Eingabedatei nur einmal verarbeiten. Nachdem die Datenkonvertierung abgeschlossen ist, können wir die Eingabedatei aus dem "heißen" Ordner entfernen. Wir möchten die Ausgabedatei auch in einem separaten Ordner ablegen. Dies deutet auf die folgenden Schritte für den FlowForce Server Job hin:
- Überprüfen Sie den Ordner für neue Dateien, um festzustellen, ob neue Eingabedateien eingetroffen sind
- Führen Sie die Datenzuordnung für die Eingabedatei durch und speichern Sie die Ausgabedatei in einem separaten Ordner
- Verschieben Sie die Eingabedatei an einen dauerhaften Speicherort
Das folgende Diagramm zeigt eine Ordnerstruktur, die wir für den Workflow verwenden können. Sie enthält Dateien, die bereit zum Einfügen in den "Hot-Ordner" zur Verarbeitung sind:
Der "heiße" Ordner ist C:CameraGPShotFolder, und die generierten .gpx-Dateien werden in C:CameraGPSoutputFiles gespeichert. Sobald die Datenzuordnung abgeschlossen ist, werden die Eingabedateien in C:CameraGPScompletedInput verschoben.
Die Zuordnung auf einem Server bereitstellen MapForce Beta ist eine Komponente von FlowForce Server, die wie MapForce funktioniert und eine Funktion zum Bereitstellen von Zuordnungsdateien auf einem FlowForce Server hinzufügt. Bestehende Datenzuordnungen benötigen nur geringe oder keine spezielle Vorbereitung für die Bereitstellung. Wir müssen lediglich die Dateinamen der Eingabe- und Ausgabedateien berücksichtigen. Wir werden FlowForce Server anweisen, den Eingabedateinamen als Job-Parameter bereitzustellen, sobald neue Dateien im "heißen" Ordner zum Verarbeiten ankommen. Die ursprüngliche Zuordnung verwendete einen Platzhalter für den Dateinamen des Eingabekomponenten, was nicht mehr erforderlich ist. Wir möchten auch, dass FlowForce den Speicherort der Ausgabedatei angibt. Wir können die Zuordnung in MapForce Beta öffnen, den Dateinamen aus der Eingabekomponente entfernen und eine Funktion zur Angabe des Speicherpfads für den Ausgabedatei hinzufügen, damit FlowForce Server das Ziel festlegen kann. Der Screenshot unten zeigt die neuen Dateinamen-Definitionen in der Zuordnung.
Im Beta-Dialog von MapForce, um die Transformation zu implementieren, können wir wählen, die Transformation sofort in einem Fenster zur Jobdefinition in einem FlowForce Server Webbrowser zu öffnen, um die Job-Operationen zu vervollständigen.
Definition eines Jobs in FlowForce Server Der folgende Screenshot zeigt die vollständigen Schritte, die in einem Job in den Eigenschaften eines FlowForce Server-Jobs definiert sind:
Der Auslöser für den Job wird am unteren Rand des Fensters definiert. Alle 30 Sekunden überprüft der FlowForce Server den Überwachungsordner. Wenn sich der Inhalt geändert hat, führt der FlowForce Server die Jobschritte aus. Jeder Ausführungsschritt kann eine bereitgestellte MapForce-Zuordnung, ein Systemschritt oder sogar ein anderer FlowForce Server-Job sein. Der Name jeder neuen Datei, die in den Überwachungsordner gelangt, wird zum Parameter , den wir im Zuordnungsschritt als Eingabedateiname und im Verschiebungsschritt als Name der zu verschiebenden Datei verwenden. Der Parameter "Arbeitsverzeichnis" im Zuordnungsschritt definiert, wo die Ausgabedateien gespeichert werden. FlowForce Server bietet außerdem Funktionen zum Festlegen automatischer Start- und Stoppzeiten für Jobs, Benutzerberechtigungen und -rollen sowie Warteschlangen-Einstellungen, um die minimale Zeit zwischen Jobausführungen und die maximale Anzahl paralleler Instanzen eines Jobs zu definieren. In unserem Szenario erhalten wir wahrscheinlich mehrere Eingabedateien in Gruppen, da sie von den Speicherkarten von Fotografen kopiert werden. Mehrere parallele Ausführungen können den Durchsatz erheblich verbessern. Als Faustregel können Sie die Anzahl der Kerne oder CPUs des Computers, auf dem FlowForce Server ausgeführt wird, anpassen.
Die Job-Protokolle einsehen
Jedes Mal, wenn der FlowForce Server unsere Aufgabe ausführt, werden sechs Zeilen zur Protokollansicht hinzugefügt, wie sie in der Abbildung oben dargestellt ist. Die erste und letzte Zeile protokollieren den Start und das Ende der Aufgabe, und jeder Ausführungsschritt generiert seine eigenen Start- und Endmeldungen. Der Ausdruck "abgeschlossen mit Status: 0" bedeutet, dass der Schritt erfolgreich abgeschlossen wurde, ohne Fehler.
Wir können auf die Links "Mehr Details" klicken, um einen detaillierten Bericht für jeden Ausführungsschritt anzuzeigen. Der Screenshot unten zeigt die Meldung für den Ausführungsschritt "Mapping" in MapForce:
Jede Datei, die in den "Hot-Ordner" gelegt wird, erzeugt eine einzelne FlowForce Server-Aufgabeninstanz, selbst wenn mehrere Dateien gleichzeitig hinzugefügt werden. Dies erleichtert die Verfolgung einzelner Eingabedateien, die Fehler verursachen. Als wir vier Dateien in den Hot-Ordner legten, führte FlowForce Server vier Aufgaben aus, und der Inhalt des Ausgabefolgers sah wie folgt aus:
