Mappage de base de données avancées

Afin de compléter ses fonctions de mappage de base de données et d'intégration, MapForce contient un onglet de Requête de base de données pour l'exécution directe de requêtes de bases de données. Lorsque vous vous connectez à une base de données à l'aide de l'onglet de Requête de base de données, MapForce affiche ses tables dans une arborescence hiérarchique dans le panneau de navigation.

Requête de base de données MapForce

Vous pouvez ensuite utiliser l'onglet d'éditeur SQL pour afficher, éditer et exécuter les instructions SQL ou SQL/XML, soit en ouvrant des fichiers SQL existants, soit en créant des instructions SQL à partir de zéro en utilisant les fonctions glisser/déposer et de remplissage automatique.

Vous pouvez exécuter votre script SQL et afficher les résultats de manière tabulaire et vous pouvez enregistrer les données extraites et le script SQL individuellement dans des fichiers séparés.

Paramètres clés de base de données

Les paramètres clés de base de données MapForce vous permettent de personnaliser comment ajouter les valeurs clé primary et foreign à une base de données qui est une cible de mappage de données. Vous pouvez soit fournir des valeurs pour les clés depuis MapForce, soit laisser le système de base de données gérer la génération des valeurs automatiques.

Dans des situations où les relations clé primary et/ou foreign ne sont pas définies explicitement dans vos tables de base de données, MapForce vous permet de définir ces relations inline, sans effet sur les données de source.

Définir les actions de table de base de données

Lorsque vous mappez sur une base de données, MapForce vous permet de sélectionner les actions de tables de base de données pour contrôler la manière dont les données sont écrites dans la base de données. Cela vous confère une pleine flexibilité pour automatiser les tâches de gestion de données les plus avancées.

La fenêtre de dialogue conviviale Actions de table de base de données vous permet de définir les colonnes dans lesquelles la table sélectionnée sera utilisée afin de déterminer quelle action (INSERT, UPDATE, DELETE) doit être exécutée dans la base de données.

Cela vous confère une flexibilité inouïe dans la manipulation des lignes de base de données en réponse aux données XML, base de données, EDI, XBRL, fichier plat, Excel, JSON, JSON5, Protocol Buffers, services Web ou autres données de base de données par le biais de MapForce.

Prise en charge des Procédures stockées SQL

MapForce offre une prise en charge robuste pour les procédures stockées en tant que composants d'entrée (des procédures qui fournissent des résultats) ou en tant que composants de sortie (des procédures qui insèrent ou mettent à jour des données). Ou bien encore, les procédures stockées peuvent être insérées en tant qu'un appel semblable à une fonction permettant aux utilisateurs de fournir des données d'entrée, d'exécuter la procédure stockée et de lire/mapper les données de sortie en d'autres composants.

Cette capture d'écran montre le mappage d'une procédure stockée dans un serveur SQL Server pour créer un fichier XML. La procédure retourne une table de données affichant tous les managers contenus dans la chaîne de commande situés au-dessus de l'ID de l'employé spécifié, fournie en tant que paramètre d'entrée. Dans cet exemple, la constante 67.

Le paramètre peut aussi être fourni en tant que valeur calculée ou en tant qu'élément de données extrait d'un autre endroit dans la base de données.

MapForce fournit un menu contextuel qui permet aux utilisateurs d'exécuter la procédure stockée pour révéler la structure de données pour le mappage. L'exécution du mappage illustré génère la sortie XML.

MapForce Stored Procedure

Mapper XML dans les champs de base de données

Outre les fonctions de mappage XML étendues , MapForce permet aussi de vous connecter à et de mapper les données XML stockées dans les champs de base de données relationnelles (actuellement prise en charge du serveur SQL & IBM DB2). Vous pouvez simplement attribuer un schéma XML au champ, et MapForce rend le schéma en tant que sous-arborescence du champ de la base de données à des fins de mappage.

Trier les composants d'entrée de base de données

Les requêtes SQL qui fonctionnent dans la base de données ne sont pas toujours suffisantes pour les tâches de mappage de données complexes. MapForce fournit des fonctions de tri de base de données supplémentaires par le biais du composant SQL-WHERE/ORDER pour l'entrée de base de données qui nécessite un traitement supplémentaire.

Prise en charge des valeurs NULL dans les actions de table de base de données

Le dialogue Actions de table de base de données prend en charge la comparaison de valeur NULL. Les comparaisons NULL-aware permettent de mieux gérer des BD qui contiennent des valeurs null. Les utilisateurs de MapForce peuvent configurer un mappage de BD pour faire une comparaison de données de manière NULL-aware.

Le mappage de données à droite a pour but de mettre à jour la table cible sans insérer des entrées doubles. Les deux tables sont définies, permettant au champ d'e-mail d'être NULL, donc les entrées de nom correspondantes avec des champs d'e-mail NULL peuvent exister dans chaque table.

Cliquer sur l'icône Actions à côté de la table de base de données CIBLE. La case à cocher NULL égal située à côté du champ E-mail permet à MapForce de traiter les valeurs NULL dans la source et la cible de manière égale, même si elles ne sont pas considérées comme égales de par les règles de base de données.

Null-aware data mapping in MapForce

ETL d'entreprise

Les outils ETL (Extract-Transform-Load) proposent un mécanisme pour extraire les données depuis les sources externes, les transformant en un format de données standardisé, et en le chargeant dans une cible finale ou un référentiel.

Grâce à la prise en charge des formats de données les plus courants en entreprise (XML, bases de données, fichiers plats, EDI, etc.), MapForce est un outil extrêmement efficace, léger et ajustable pour le mappage ETL. MapForce offre une interface utilisateur visuelle directe qui vous permet aisément de charger toute structure de mappage prise en charge puis, grâce à la fonction glisser/déposer, de connecter les nœuds et d'ajouter les fonctions et filtres de traitement des données, ou d'utiliser le générateur de fonction visuelle pour des projets ETL plus complexes.

MapForce ETL

Outre son interface visuelle, MapForce est également accessible par le biais d'un API Java ou à base COM flexible, fournissant un calque d'automatisation intégré à vos implémentations ETL.

Traitement des données ETL

MapForce vous permet d'associer les structures de données ETL en toute simplicité en utilisant les fonctions glisser-déposer.

Des filtres et fonctions de traitement de données avancées peuvent être ajoutées par le biais d'une bibliothèque de fonctions intégrée, et vous pouvez utiliser le générateur de fonction visuelle pour combiner plusieurs opérations inline et/ou opérations récursives dans des projets ETL plus complexes ou d'intégration de données. Vous pouvez même enregistrer des fonctions à utiliser dans d'autres projets de mappage.

MapForce prend aussi en charge des scénarios ETL avancés impliquant des schémas d'entrée et de sortie variés, des fichiers de source et/ou de cible variés ou des transformations de données multi-pass avancées.

Entrée et sortie de fichier directes (data streaming)

La prise en charge du streaming de données permet de donner un coup de fouet à la performance de vos projets ETL, avec la possibilité de streamer les entrées depuis des fichiers XML, CSV et FLF de toute taille et des bases de données relationnelles, puis de streamer la sortie avec des fichiers XML, CSV et FLF de la même taille ou de les insérer dans une base de données.

Ces fonctions intégrées signifient que MapForce peut facilement traiter des ensembles de données volumineuses et des projets ETL, la seule limite est l'espace disponible sur le disque dur de votre appareil local ou sur réseau.

Afin d'activer cette fonction, il suffit de sélectionner l'icône BUILTIN depuis la barre d'outils dans le panneau de design de MapForce.

Grâce à la prise en charge de l'insertion de base de données bulk et au streaming de données direct, MapForce Server convient parfaitement à une exécution des mappages de données ETL.

Services web de mappage de données

MapForce prend en charge l'appel des services web SOAP et REST directement depuis un mappage. Vous pouvez insérer un appel de service web dans un mappage et apporter des paramètres d'entrée et un nom d'utilisateur/mot de passe ou toute autre authentification. Connecter les composants de sortie au service web pour passer le résultat à un autre composant ou l'écrire dans un fichier.

MapForce prend aussi en charge les services web HTTP génériques qui contiennent généralement des structures de requête ou de réponse dans le corps du message. MapForce prend en charge aussi bien les données JSON ou XML dans le corps de requête ou de réponse, pour appeler virtuellement tout service web HTTP qui requiert ou retourne des structures XML ou JSON.

Service Web MapForce

La définition manuelle des paramètres dans le dialogue de définition de l'Appel de Service Web de définir des paramètres sur la base d'une URL échantillon. Les développeurs testent et affinent les appels de service web dans une fenêtre de navigateur Web et peuvent copier l'URL depuis le navigateur.

Prise en charge de Web Services Security

MapForce prend en charge l'authentification sur la base de la norme WS-Security (Web Services Security) par le biais de certificats client et appelle les services Web via HTTPS. Les paramètres nécessaires pour établir une communication sûre sont définis comme faisant partie du mappage des données, l'exécution est donc automatisée.

Construction visuelle de services web

Altova MapForce permet de créer des services web basés sur les fichiers existants WSDL 1.1/2.0 et des sources de données XML, de base de données, EDI, XBRL, fichier plat, Excel et/ou JSON.

Web Services Description Language (WSDL) est une langue basée sur XML utilisée pour décrire et localiser des services Web qui utilisent des messages basés sur XML afin d'échanger des données entre les applications. MapForce prend en charge un mappage WSDL visuel, par glisser/déposer sur la base de WSDL 1.1 ou 2.0. WSDL travaille de concert avec SOAP, où WSDL définit un service Web et les fonctions qu'elles fournissent et SOAP est le protocole de transport utilisé par l'application client pour effectivement appeler les fonctions recensées dans la description WSDL . Un fichier WSDL est constitué de plusieurs transactions, chacune d'entre elle comprend un schéma de requête SOAP et un schéma de réponse SOAP.

Normalement, la mise en place d'un service Web sur la base d'un WSDL nécessite la rédaction du code pour accéder aux données exigées pour chaque transaction. MapForce automatise ce processus en vous permettant de connecter visuellement des sources de données et des opérations. Une fois que votre mappage visuel est terminé, MapForce génère automatiquement le code de programme Java ou C# requis pour mettre en place le service sur un serveur.

Mappage de données XBRL

L'Extensible Business Reporting Language (XBRL) est un langage à balise sur base XML visant la transmission électronique de données commerciales et financières.

MapForce prend en charge l'utilisation des taxonomies XBRL en tant que la source ou la cible de tout mappage, vous permettant de transformer graphiquement des données de comptabilité backend dans un format conforme sans courir le risque d'enfreindre à son intégrité sémantique ou structurelle et/ou d'intégrer des données de reporting pour une analyse financière.

Mappage MapForce XBRL

La prise en charge du mappage des fichiers d'exécution et de la génération de code en Java, C#, ou C++ signifie que vous pouvez aussi automatiser la conversion des données financières sur la base du design de mappage graphique. Le processus de soumission des données financières publiques devient ainsi très gérable et renouvelable, vous permettant de produire des rapports XBRL valides selon vos besoins sur la base des données variables stockées dans les champs du système de comptabilité.

Développer des mappages XBRL

Pour développer un mappage XBRL basé sur une taxonomie existante, il vous suffit d'insérer votre structure de taxonomie dans le panneau de design MapForce. MapForce affichera une représentation graphique de la structure de fichier, illustrant les concepts de taxonomie, les hypercubes, les éléments abstraits, les périodes, les identifiants, etc. avec des icônes intuitives.

Le composant XBRL prélève les informations structurelles et sémantiques depuis les linkbases associées et se présente dans une hiérarchique qui peut être facilement interprétée, augmentée ou réduite, selon vos besoins.

Filtrer et traiter les données XBRL

MapForce propose une prise en charge flexible pour le filtrage et le traitement des données par le biais de fonctions de traitement avancées sur la base de conditions booléenne ou la manipulation des données telles que converties depuis le format source au format cible.

Par exemple, étant donné que les données XBRL sont essentiellement plates, il est souvent nécessaire d'appliquer des fonctions de groupage qui combinent les données de source dans des groupes puis traitent ces groupes pour transformer les données en une structure hiérarchique. Cela est facilité par les fonctions de groupage dans la bibliothèque de fonctions de MapForce.

Mappage de données any-to-many et enchaînées

MapForce est un outil de mappage des données extrêmement flexible pour l'intégration de données complexes et la conversion de projets. L'entrée et la destination d'un mappage de données peuvent être des formats mixtes, y compris toute combinaison de XML, bases de données, fichiers plats, EDI, Excel, XBRL et services Web. Un mappage de données peut présenter une entrée mappée dans une sortie, une entrée vers plusieurs sorties, de nombreuses sources vers une destination, ou plusieurs sources vers plusieurs destinations, le tout dans des formats de données différents.

Mappage enchaînés MapForce

MapForce vous permet d'intégrer des données provenant de plusieurs fichiers et sources de données ou de partager les données depuis une source vers plusieurs sorties. Des fichiers multiples peuvent être spécifiés par le biais d'une prise en charge des caractères génériques (par ex. ? ou *) dans les noms de fichier, une table de base de données, des séquences d'auto-numérisation, ou d'autres méthodes. Cette fonction est très utile pour de nombreux scénarios d'intégration des données ; par exemple, il peut être nécessaire d'intégrer les données depuis une collection de fichiers ou de générer des fichiers XML individuels pour chaque enregistrement de table principale dans une base de données volumineuse.

MapForce vous permet également d'utiliser des noms de fichier en tant que paramètres dans vos projets d'intégration de données. Cela vous permet de créer des mappages dynamiques dans lesquels des noms de fichier spécifiques sont définis lors de l'exécution.

Mappage de données enchaînées

Les transformations enchaînées vous permettent de créer des mappages puissants dans lesquels la sortie d'un mappage devient l'entrée d'un autre. Cette fonction puissante renforce la capacité de MapForce d'exécuter des transformations entièrement automatisées. Chaque composant enchaîné devient une entité modulaire dans une séquence de transformation interdépendante, permettant de faire rapidement des conversions.

Les transformations enchaînées peuvent être créées en utilisant toute quantité de composants de mappage connectés à un composant cible final. Les fonctions d'aperçu et de génération de code peuvent être affichées/générées pour des composants intermédiaires, ainsi que pour le résultat de mappage final.

Aperçu de sortie

Lorsqu'un mappage de données produits une sortie dynamique de plusieurs fichiers, chaque fichier possède son propre panneau numéroté dans la fenêtre d'aperçu de Sortie. Une option de menu pratique vous permet d'enregistrer tous les fichiers dans une étape.

En ce qui concerne les mappages et les mappages produisant des composants de sortie distincts, une icône du composant vous permet de l'attribuer à la fenêtre d'aperçu de la sortie.

Documentation de mappage de données

MapForce est souvent utilisé dans des environnements d'équipe par les développeurs et les experts non-techniques pour mapper des variétés de données complexes de et vers les XML, les bases de données, les fichiers plats, EDI, Excel, XBRL et les services Web. MapForce vous permet de générer une documentation détaillée de vos mappages de données, permettant aux designers et aux spécialistes d'intégration de données de partager et de confirmer l'exactitude de leurs mappages avec d'autres départements et/ou clients.

MapForce Générer Documentation

La documentation générée confère un aperçu de toutes les entrées et sorties de mappage, y compris des détails des connexions réalisées et des fonctions et filtres qui ont été appliqués.

Il s'agit là d'une fonction très précieuse pour les projets d'intégration et de conversion de données complexes, lorsque les équipes d'assurance de la qualité, les experts spécialisés et les autres acteurs ne connaissent pas la complexité de tous les formats mappés.

Afin d'améliorer la documentation du mappage des données, MapForce vous permet d'ajouter des annotations à toute connexion de mappage dans le dialogue de connexion Propriétés.

Le texte saisi dans le champ Description d'annotation apparaît dans le design de mappage pour vous aider à retracer vos pas et rend les choses plus claires pour les autres membres de l'équipe.

Intégration avec StyleVision

L'intégration avec StyleVision permet de consulter automatiquement la sortie provenant de leurs projets de mappage de données XML et XBRL en HTML, RTF, PDF et Word en les associant avec un design d'échantillon. Cette fonction puissante vous permet d'automatiser la production de rapports en combinant le mappage de données MapForce avec le moteur de rendu StyleVision.

Intégration StyleVision MapForce

Quand la feuille de style est attribuée à votre mappage de données, cliquez sur l'onglet pertinent (par ex., HTML, RTF, PDF ou Word 2007+) dans la fenêtre Sortie pour consulter le rapport. (StyleVision doit être installé sur votre appareil.)

Code source de conversion des données

Si vous souhaitez plus de fonctions de personnalisation dans l'automatisation de vos tâches d'intégration de données, MapForce peut automatiser l'intégration des données et les processus commerciaux renouvelables en générant un code de programme pour les mappages de données complexes récurrents.

MapForce contient un générateur de code intégré capable de générer automatiquement des fichiers de classe Java, C++ ou C# depuis des définitions de Schéma XML, des bases de données, des fichiers plats, des fichiers de configuration EDI, des livres de travail Excel et des taxonomies XBRL.

Génération de code MapForce

Le résultat de la génération de code est une application comportant toutes les fonctions afin d'exécuter les opérations de mappage. Vous pouvez exécuter l'application directement telle que générée, insérer le code généré dans votre propre application ou y ajouter vos propres fonctions.

Vous pouvez éditer votre code générer directement pour terminer des opérations comme la définition de vos propres fichiers source ou cible, utilisant un stream d'entrée XML en tant que source de données XML ou en ajoutant un code de gestion des erreurs supplémentaire.

Fonctions de génération de code source MapForce :

  • Code source sans royalties Java, C++ et C# depuis les mappages de données
  • Le code source implémente les fonctions de traitement de données incluses dans le mappage
  • Le moteur intégré MapForce permet d'apercevoir le résultat d'exécution de code source
  • Mise à jour du code en modifiant le mappage de données sous-jacent

La capacité de générer un code sans royalties dans plusieurs langages de programmation peut augmenter considérablement les avantages dans vos mappages et conversions de données sensibles en vous permettant d'implémenter des opérations d'intégration hyper-rapides dans le code source qui peut être compilé dans vos propres applications.

Personnalisation de la génération de code

Le code de sortie généré est entièrement personnalisable par le biais d'un langage de modèle simple mais puissant.

Vous pouvez facilement remplacer le moteur de parsage et de validation sous-jacent, personnaliser le code conformément à vos propres conventions d'écriture ou utiliser des bibliothèques de base différentes base comme Microsoft Foundation Classes (MFC) et Standard Template Library (STL). Vous pouvez même configurer votre code avec les streams de données pour les entrées et les sorties.