Passage des projets de cartographie des données, de la phase de développement à la phase de test, puis à la phase de production

Les projets de modélisation des données reflètent souvent les efforts de développement logiciel, avec des phases distinctes pour la conception, les tests et le déploiement. C'est particulièrement vrai pour les projets ETL (Extraction, Transformation, Chargement), où l'exécution répétée de la modélisation des données est nécessaire lorsque de nouvelles données sont disponibles, et où les enjeux augmentent avec les grands ensembles de données. Les produits Altova MissionKit et Server Software offrent des ressources globales pour définir les configurations de chaque phase du projet et faciliter la transition entre elles.

Examinons un exemple concret, basé sur une transformation de données MapForce qui permet de transférer des données d'un fichier source vers une base de données.

Le projet de cartographie des données Le processus décrit ci-dessous prend en entrée un fichier CSV contenant une ou plusieurs commandes de vente simples. Chaque commande contient un numéro de produit et une quantité, et le processus calcule le montant total de la vente en fonction du prix actuel du produit, génère un numéro de commande unique et insère la commande dans une base de données existante.

Le processus de développement d'une cartographie de données de ce type et son intégration dans un flux de travail d'entreprise nécessite trois étapes distinctes : un développeur ou un spécialiste des données conçoit la cartographie, un testeur de contrôle qualité valide la cartographie, et enfin, la cartographie est déployée dans l'environnement de production. Global Resources permet aux différents acteurs du projet de modifier le fichier de données source et la base de données cible du projet de cartographie de données pour chaque phase, sans modifier la cartographie elle-même.

Les ressources globales sont des références portables vers des fichiers, des dossiers ou des bases de données qui fonctionnent comme des alias. Lorsqu'elles sont stockées en tant que ressources globales, les chemins d'accès et les informations de connexion aux bases de données deviennent réutilisables et accessibles dans plusieurs applications Altova. L'image ci-dessous montre des ressources globales qui font référence à un fichier de données d'entrée et à une base de données.

Les références globales peuvent également être organisées en configurations. Par exemple, certains projets de mappage de données nécessitent des configurations distinctes pour la conception, les tests et la production. Le passage d'une configuration à une autre modifie à la fois le fichier de données source et la base de données cible.

L'image ci-dessous montre une partie de la barre d'outils MapForce, avec le menu déroulant de configuration des ressources globales. C'est ici que l'utilisateur sélectionne la configuration active.

Dans la configuration du mappage des données, à la fois le fichier source et la base de données cible sont définis pour pointer vers des ressources globales. L'illustration ci-dessous montre la fenêtre de configuration du composant pour le fichier de données source, utilisé comme ressource globale :

La base de données cible est également définie pour chaque configuration de ressource globale :

Le concepteur du projet de mappage de données travaille initialement avec un petit ensemble de données et une copie de la structure de la base de données. Une fois le mappage terminé, le développeur l'exécute directement dans MapForce pour créer et exécuter un script SQL qui permet d'insérer les données. La fenêtre de sortie de MapForce affiche les résultats :

Pour la phase de test, nous souhaitons exécuter directement la correspondance des données dans MapForce Server, dans un environnement de test qui utilise un fichier d'entrée différent et une copie de la base de données différente de celles utilisées initialement par le développeur.

Le développeur compile la transformation en un fichier d'exécution pour le serveur MapForce, via le menu "Fichier" de MapForce

Le fichier d'exécution du serveur MapForce contient la définition de la transformation de données, ainsi que le fichier des ressources globales et les références à la base de données associées à cette transformation. Cependant, il ne contient pas de configuration spécifique pour les ressources globales. Cela permet de sélectionner la configuration des ressources globales au moment de l'exécution. Les définitions des ressources globales sont stockées dans un fichier XML nommé GlobalResources.xml, situé sur la station de travail du concepteur. Le concepteur fournira à la fois le fichier d'exécution du serveur MapForce et le fichier des ressources globales pour la phase de test.

L'équipe de test utilise l'interface en ligne de commande de MapForce Server pour exécuter la transformation de données dans la configuration souhaitée. Voici la forme générale de l'interface en ligne de commande de MapForce Server, avec le nom de la transformation et les paramètres pour le fichier de ressources globales et la configuration des ressources globales :

Voici la commande telle qu'elle pourrait apparaître dans une fenêtre de commande :

Si les résultats des tests sont satisfaisants, la configuration et les ressources globales peuvent être déployées sur le serveur FlowForce et exécutées dans une tâche FlowForce, éventuellement dans le cadre d'un.. Importation planifiée de données pour les entreprises L'opération peut être lancée à partir du menu principal, comme indiqué ci-dessus, en utilisant l'option "Déployer vers le serveur FlowForce" :

Les ressources globales sont configurées à partir de la fenêtre de dialogue "Gérer les ressources globales" :

Chaque configuration est stockée sous forme d'un objet FlowForce Server distinct et est référencée dans la définition d'une tâche FlowForce Server.

Téléchargez une version d'essai gratuite pour faciliter la transition de vos projets de modélisation de données à travers les différentes étapes de votre propre flux de travail !