Maîtriser les données d'entrée erronées grâce au serveur FlowForce

Chaque fois que vous acceptez des données provenant d'une source externe, vous risquez de rencontrer des erreurs. Nous avons déjà abordé ce phénomène dans le passé dans l'article Anticipez l'imprévisible : Altova MissionKit résout une énigme de format de nombres et dans la série d'articles consacrée à l'utilisation de l'API Groupon.

Des données incorrectes dans un fichier d'entrée peuvent entraîner l'échec de l'étape de transformation des données d'une tâche FlowForce Server. Lorsqu'une tâche FlowForce Server échoue, les étapes d'exécution suivantes ne seront pas exécutées. FlowForce Server est conçu de cette manière pour éviter qu'une erreur dans une étape d'une tâche ne se propage et ne génère une série de résultats incorrects supplémentaires. Heureusement, FlowForce Server intègre également des fonctionnalités pour vous aider à vous remettre des erreurs et à maintenir la continuité de la production.

Dans cet article, nous allons approfondir les fonctionnalités de mappage des données et de génération de rapports décrites dans Personnalisation d'une tâche FlowForce Server, afin de gérer de manière efficace les données incorrectes contenues dans un fichier d'entrée.

Nous avons commencé par créer une version modifiée de l'un des fichiers contenant des données incorrectes, et nous avons ajouté un dossier au flux de travail pour qu'il serve de destination pour les fichiers d'entrée contenant des données erronées.

Nous avons créé ce fichier d'entrée incorrect en copiant un fichier d'entrée existant et en le modifiant à l'aide du logiciel DiffDog.

La première colonne numérique du fichier .csv d'entrée représente un horodatage indiquant les heures, les minutes, les secondes et les millièmes. Nous avons simplement modifié les valeurs des lignes 14 et 15 pour qu'elles dépassent la limite maximale de 24 heures.

Nous avons lancé MapForce et avons défini le fichier contenant des données incorrectes comme source pour la transformation CameraLogToGPX. Lorsque nous avons cliqué sur le bouton "Sortie" pour exécuter la transformation, l'erreur suivante est survenue :

Étapes d'exécution des tâches FlowForce Server avec gestion des erreurs

Ensuite, nous avons défini une nouvelle version de la tâche FlowForce Server pour traiter les données en interne, dans une étape de gestion des erreurs et des succès. Si la conversion des données échoue, nous déplaçons le fichier d'entrée problématique, ainsi que tout fichier de sortie .gpx partiellement écrit, vers le dossier "badData". Si la conversion des données réussit, nous passons à l'étape de transformation pour générer le rapport .html, puis nous déplaçons les fichiers d'entrée et .gpx vers le dossier des tâches terminées.

Notez la dernière étape de la section "En cas d'erreur". Une erreur de mappage des données interrompra l'exécution de la boucle "Pour chaque fichier", nous devons donc relancer l'ensemble du processus de manière récursive pour traiter tous les fichiers d'entrée qui n'auraient pas été traités.

Si une erreur de mappage de données est critique pour l'entreprise et nécessite une action immédiate, nous pouvons même ajouter une étape de traitement dans la section "En cas d'erreur" pour envoyer un message par e-mail :

Bien sûr, les champs "Destinataire", "Objet", "Corps du message" et "Pièce jointe" sont entièrement configurables.

Si l'étape de mappage des données réussit, le serveur FlowForce exécute la section "En cas de succès" et passe à l'étape suivante, qui consiste à générer la page .html.

Exécution de la tâche

Les tâches sont déclenchées par un minuteur, et le serveur FlowForce enregistre chaque étape d'exécution. Dans la partie du journal ci-dessous, on peut voir comment le fichier d'entrée contenant des données incorrectes est traité. La troisième ligne de la séquence indique l'erreur, puis le fichier d'entrée et le fichier .gpx partiellement généré sont envoyés vers le dossier "badData".

La dernière ligne ci-dessus indique que le serveur commence à traiter le prochain fichier du dossier.

Une fois que le traitement est terminé, nous constatons les résultats attendus dans le contenu des dossiers de travail :

Le serveur FlowForce est disponible pour les plateformes Windows, Linux, et bientôt pour Mac OS Cliquez ici pour télécharger une version d'essai gratuite** !**