Asignación avanzada de datos de base de datos

Para complementar sus funciones de asignación e integración de datos de BD, MapForce incluye una función de consulta de base de datos. Al conectarse a una base de datos desde la pestaña "Consulta de la BD", MapForce muestra las tablas de la BD en forma de árbol en el panel del explorador.

Consulta de BD en MapForce

Después puede usar la pestaña del editor SQL para visualizar, editar y ejecutar instrucciones SQL o SQL/XML, ya sea abriendo archivos SQL ya existentes o creando instrucciones SQL desde cero gracias a la función de arrastrar y colocar y de la función de autocompletar.

Puede ejecutar el script SQL y ver los resultados en formato tabular y guardar tanto los datos recuperados como el script SQL por separado en archivos diferentes.

Configuración de claves de base de datos

En MapForce puede configurar de qué forma se añaden valores de clave principal y foránea en la base de datos que es el destino de la asignación de datos. Puede ofrecer valores para las claves desde MapForce o dejar que el sistema de la base de datos genere valores automáticamente.

En casos en los que las relaciones de clave principal o de clave foránea no están definidas explícitamente en las tablas de la BD, MapForce permite definir estas relaciones de modo inline, es decir, sin que surta efecto en los datos de origen.

Definir acciones de tabla de la base de datos

Cuando asigne datos a una base de datos, MapForce le permite seleccionar acciones de tabla de la base de datos para controlar cómo se escriben los datos en la base de datos. Esto ofrece una total flexibilidad a la hora de automatizar las tareas de gestión de datos más avanzadas.

En el sencillo cuadro de diálogo "Acciones de tabla de la base de datos" podrá definir las columnas de la tabla seleccionada para determinar qué acción se debe ejecutar en la base de datos (INSERT, UPDATE, DELETE).

Esto le ofrece una flexibilidad incomparable a la hora de manipular filas de bases de datos como respuesta a datos XML, XML, PDF, EDI, XBRL, archivos planos, Excel, JSON, JSON5, Protocol Buffers, servicios web y otros datos de base de datos con MapForce.

Procedimientos almacenados SQL

En MapForce puede usar procedimientos almacenados como componentes de entrada (si ofrecen resultados) o de salida (si insertan o actualizan datos). Incluso puede insertarlos como llamadas de tipo función. Así podrá introducir datos de entrada, ejecutar el procedimiento y leer/asignar los datos de salida a otros componentes.

La captura de pantalla muestra una asignación de un procedimiento almacenado en SQL Server para crear un archivo XML. El procedimiento devuelve como parámetro de entrada una tabla con todos los gerentes de la cadena de mando que están por encima del ID de empleado (la constante 67).

El parámetro se puede suministrar como valor calculado o como elemento de datos recuperado de otra parte de la BD.

MapForce ofrece un menú contextual con una opción para ejecutar el procedimiento y mostrar la estructura de datos. Al ejecutarse la asignación de la imagen se genera el documento XML de salida.

MapForce Stored Procedure

Asignación de datos XML de BD

Además de ofrecer numerosas funciones para el desarrollo de asignaciones de datos XML, MapForce también permite conectar y asignar datos XML almacenados en campos de BD relacionales (característica compatible únicamente con SQL Server & IBM DB2). Para ello basta con asociar un esquema XML, ya sea un esquema registrado en la base de datos o un esquema ubicado en su sistema de archivos, y MapForce representa el esquema en forma de árbol en el campo de la base de datos.

Ordenar componentes de BD de entrada

Las consultas SQL que operan dentro de las bases de datos no son siempre suficientes a la hora de realizar tareas complejas de asignación de datos. MapForce ofrece más funciones de ordenación mediante el componente WHERE/ORDER de SQL.

Compatibilidad con valores NULL en acciones de tabla de base de datos

El cuadro de diálogo "Acciones de tabla de base de datos" permite comparar valores NULL. Este tipo de comparación permite trabajar más fácilmente con bases de datos que contienen valores nulos. Las asignaciones de datos de MapForce se pueden configurar de modo que la comparación de datos tenga en cuenta los valores NULL y en función de las reglas correspondientes al tipo de base de datos usado en la asignación.

La asignación de datos que puede verse a la derecha sirve para actualizar la tabla de destino sin introducir entradas duplicadas. Ambas tablas están definidas para permitir que el campo email sea NULL. Es decir, en cada tabla podrá haber entradas name equivalentes con campos email de valor NULL.

Al hacer clic en el icono Acciones situado junto a la tabla de la base de datos de destino, se abre el cuadro de diálogo "Acciones de tabla de base de datos". La casilla "NULL equal" situada junto al campo email hace que MapForce trate los valores NULL del origen y del destino como iguales, aunque las reglas de la base de datos no los considere iguales.

Null-aware data mapping in MapForce

ETL para empresas

Las herramientas ETL (extracción, transformación y carga) permiten extraer datos de fuentes externas, transformarlos a un formato de datos normalizado y cargarlos después en el objeto o repositorio de destino.

MapForce es compatible con los principales formatos de datos (XML, bases de datos, PDF, archivos planos, EDI, etc.), por lo que es una herramienta ETL increíblemente efectiva, ligera y ampliable. MapForce ofrece una sencilla interfaz gráfica en la que puede cargar estructuras de asignaciones de datos con facilidad y conectar nodos o agregar filtros y funciones de procesamiento mediante operaciones de arrastrar y colocar. También incluye un generador visual de funciones para proyectos ETL más complejos.

ETL en MapForce

Asimismo, MapForce puede utilizarse con una flexible API de Java y COM, ofreciendo a sus implementaciones ETL una capa de automatización integrada.

Procesamiento de datos ETL

MapForce permite asociar sus estructuras de datos ETL con gran facilidad, mediante operaciones de arrastrar y colocar.

Con su biblioteca integrada de funciones puede agregar avanzados filtros y funciones de procesamiento de datos. Con el generador visual de funciones puede combinar varias operaciones recursivas y operaciones inline en proyectos ETL o de integración de datos más complejos e incluso guardar funciones para poder usarlas más tarde en otros proyectos de asignación de datos.

MapForce también admite el uso de múltiples esquemas de entrada y salida, múltiples archivos de origen y destino y avanzadas transformaciones de datos en varias pasadas.

Entrada y salida directa de archivos (transmisión de secuencias de datos)

Al ser compatible con transmisiones de secuencias de datos, MapForce contribuirá a potenciar el rendimiento de sus proyectos ETL porque permite transmitir datos de entrada desde archivos XML, CSV y FLF y bases de datos relacionales de gran tamaño y transmitir datos de salida a archivos XML, CSV y FLF igual de grandes o insertarlos en una base de datos.

Esta característica integrada hace que MapForce pueda procesar enormes conjuntos de datos y proyectos ETL con facilidad y que la única limitación sea la cantidad de espacio libre en el disco de su equipo o en la red.

Para activar esta característica, basta con seleccionar el icono BUILTIN situado en la barra de herramientas del panel de diseño de MapForce.

Con sus funciones de inserción masiva y transmisión de secuencias de datos, MapForce Server es perfecto para ejecutar asignaciones de datos ETL.

Asignación de datos de servicios web

MapForce permite llamar a servicios web REST y SOAP desde la asignación de datos directamente. Es decir, puede insertar una llamada a un servicio web en la asignación y obtener parámetros de entrada y el nombre de usuario y la contraseña u otros datos de autenticación diferentes. Para pasar el resultado a otro componente o escribirlo en un archivo basta con conectar los componentes de salida con el servicio web dentro de la asignación.

MapForce también es compatible con servicios web HTTP genéricos que suelen llevar estructuras de respuesta o solicitudes especiales en el cuerpo del mensaje. Admite datos XML y JSON en la solicitud y en la respuesta. Esto permite llamar a casi cualquier servicio web HTTP que requiera o devuelva estructuras XML o JSON.

Servicio web en MapForce

Además se puede definir una configuración personal a partir de una URL desde un cuadro de diálogo especial. Se trata de una función muy práctica a la hora de probar y corregir llamadas a servicios web en una ventana del navegador porque basta con copiar la URL para usarla como plantilla.

¿Busca ejemplos reales? En este tutorial se explica en detalle la Integración de datos de los servicios web.

Compatibilidad con Seguridad en Servicios Web

MapForce es compatible con la autenticación basada en el estándar del Servicios en Seguridad Web (Web Services Security) a través de certificados cliente y llamando a servicios Web mediante HTTPS. Los parámetros para establecer una comunicación segura se definen como parte de la asignación de datos de tal forma que la ejecución se automatiza.

Creación visual de servicios web

Altova MapForce ofrece potentes funciones para crear servicios web basados en archivos WSDL 1.1/2.0 y fuentes de datos XML, PDF, BD, EDI, XBRL, archivos planos, Excel y JSON.

El lenguaje de descripción de servicios web (WSDL) es un lenguaje XML utilizado para describir y localizar servicios web que utilizan mensajes basados en XML para intercambiar datos entre aplicaciones. MapForce permite realizar asignaciones visuales de datos WSDL basadas en archivos WSDL 1.1 o 2.0 mediante operaciones de arrastrar y colocar. WSDL funciona en colaboración con SOAP. Mientras que WSDL se encarga de definir un servicio web y la funcionalidad que ofrece, SOAP es el protocolo de transporte usado por la aplicación cliente para llamar a las funciones de la descripción WSDL. Cada archivo WSDL está formado por varias transacciones, cada una de las cuales incluye un esquema de solicitud SOAP y un esquema de respuesta SOAP.

Para poder implementar un servicio web a partir de un archivo WSDL suele ser necesario escribir código para acceder a los datos necesarios para cada transacción. MapForce automatiza este proceso porque le permite conectarse a orígenes de datos y operaciones de forma visual. Cuando termine de diseñar la asignación, MapForce genera automáticamente el código de programa Java o C# necesario para implementar el servicio en un servidor.

Asignación de datos XBRL

El lenguaje ampliado para informes comerciales (XBRL) es un lenguaje de marcado basado en XML para la transmisión electrónica de datos comerciales y financieros.

En MapForce puede usar taxonomías XBRL como componentes de origen o destino de la asignación. Gracias a ello puede transformar de forma gráfica datos contables de servidor en un formato compatible, sin riesgos para la integridad semántica o estructural de los mismos, e integrar datos de informes para realizar análisis financieros.

Asignación de datos XBRL en MapForce

La función de MapForce de generación de archivos de ejecución de asignación, generación de código Java, C# o C++ y automatización con MapForce Server permite realizar conversiones de datos financieros automáticas basadas en el diseño de asignación del usuario. Gracias a ello el envío de datos financieros públicos se convierte en un proceso sumamente manejable que se puede repetir una y otra vez. Por tanto, podrá crear informes XBRL válidos basados en los datos variables almacenados en los campos de su sistema de contabilidad.

Desarrollo de asignaciones de datos XBRL

Para desarrollar una asignación de datos XBRL basada en una taxonomía ya existente, basta con insertar la estructura de taxonomía en el panel de diseño de MapForce. A continuación MapForce ofrece una representación gráfica de la estructura del archivo, con sus conceptos, hipercubos, elementos abstractos, períodos, identificadores, etc. acompañados por intuitivos iconos.

El componente XBRL toma la información estructural y semántica de las bases de enlaces asociadas y se presenta en una jerarquía que se puede interpretar, expandir o contraer con total facilidad.

Filtrar y procesar datos XBRL

MapForce ofrece flexibles opciones para filtrar y procesar datos mediante avanzadas funciones de procesamiento basadas en condiciones booleanas o mediante la manipulación de datos antes de que se conviertan al formato de destino.

Por ejemplo, puesto que los datos XBRL son básicamente datos planos, a menudo es necesario aplicar funciones de agrupación para combinar los datos de origen en varios grupos, continuar procesando esos grupos y transformar los datos en una estructura jerárquica. Para ello se utilizan las funciones de agrupación de la biblioteca de funciones de MapForce.

Asignaciones multiformato y en cadena

MapForce es una herramienta de asignación de datos extremadamente flexible con la que puede desarrollar proyectos de integración y conversión avanzada de datos. Tanto el origen como el destino de la asignación puede incluir varios formatos diferentes, ya sean datos XML, BD, PDF, archivos planos, EDI, Excel, XBRL o servicios web. Las asignaciones de datos pueden incluir un componente de entrada y uno de salida, un componente de entrada y varios de salida, varios componentes de entrada y uno de salida o varios componentes de entrada y varios de salida, todos ellos en formatos de datos diferentes.

Asignación de datos en cadena de MapForce

Puede integrar los datos de varios archivos o dividir un origen de datos en varios archivos de salida más pequeños. El uso de múltiples archivos es posible gracias al uso de caracteres comodín (como ? o *) en el nombre de archivo, tablas de BD, secuencias autonuméricas, etc. Por ejemplo, puede ser necesario integrar datos de una colección de archivos o generar varios archivos XML por cada registros principal de una tabla en una BD grande.

Y puede utilizar nombres de archivo como parámetros en proyectos de integración de datos: podrá crear asignaciones dinámicas en las que se definen nombres de archivo en el momento de ejecución.

Asignaciones de datos en cadena

Las transformaciones en cadena permiten crear asignaciones complejas en las que el resultado de una asignación se convierte en la entrada de otra asignación. Esta potente característica se suma a la posibilidad de ejecutar transformaciones totalmente automatizadas en MapForce. Cada componente de la cadena pasa a ser una entidad modular en una secuencia de transformación interdependiente, lo cual permite realizar conversiones de forma instantánea.

Las transformaciones de datos en cadena se pueden crear con un número cualquiera de componentes de asignación que estén conectados a un componente de destino final. Las funciones de vista previa y generación de código también se pueden utilizar con estos componentes intermedios, así como con el resultado final de la asignación.

Vista previa de resultados

Si la asignación tiene como resultado varios archivos, cada archivo tiene su propio panel en la ventana de vista previa. También hay una opción de menú para guardar todos los archivos de resultados de una vez.

En las asignaciones en cadena los componentes incluyen un icono con el que puede asignar el componente a la ventana de vista previa de resultados.

Documentación de asignaciones de datos

A menudo los usuarios de MapForce son equipos de desarrolladores y expertos sin conocimientos técnicos en proyectos complejos de asignación de datos XML, bases de datos, archivos planos, EDI, Excel, XBRL y servicios web. MapForce permite generar documentación detallada de sus asignaciones de datos para que los diseñadores y especialistas en integración de datos puedan compartir las asignaciones con otros departamentos o clientes y confirmar su precisión.

Generar documentación en MapForce

La documentación generada ofrece una visión de conjunto de todas las entradas y salidas de la asignación, así como detalles sobre las conexiones realizadas y las funciones y los filtros aplicados.

Esta función es de un valor inestimable en proyectos complicados de integración y conversión de datos, en los que el equipo de control de calidad, los expertos y otros participantes no conocen bien los diferentes formatos que forman parte de la asignación.

A fin de mejorar aún más la documentación de sus asignaciones de datos, MapForce permite agregar anotaciones a todas las conexiones de la asignación.

El texto que escriba en la anotación aparece en el diseño de la asignación a modo de recordatorio o aclaración.

Integración con StyleVision

La integración de MapForce con StyleVision permite visualizar los resultados de proyectos de asignación de datos XML y XBRL automáticamente en formato HTML, RTF, PDF y Word al asociar los resultados a una plantilla de diseño. Gracias a esta potente característica, puede automatizar la generación de informes combinando la función de asignación de datos de MapForce con el motor de representación de StyleVision.

Integración con StyleVision

Si su asignación tiene asociada una hoja de estilos, haga clic en la pestaña correspondiente de la ventana de resultados para ver su informe en HTML, RTF, PDF o Word 2007+. (Para ello es necesario tener StyleVision instalado en el equipo.)

Conversión de código fuente

Tras diseñar y probar su proyecto de MapForce, puede ejecutarlo con MapForce Server para automatizar procesos de negocio que requieran transformaciones de datos periódicas.

Una alternativa es usar MapForce para automatizar la integración de datos y los procesos de negocio que se repiten generando código de programa para asignaciones complejas recurrentes.

MapForce incluye un generador de código integrado que puede generar automáticamente archivos de clases Java, C++ y C# a partir de definiciones de esquema XML, BD, archivos planos, archivos de configuración EDI, libros de Excel y taxonomías XBRL.

Generación de código de MapForce

El resultado de la generación de código es una aplicación totalmente funcional que realiza las operaciones de asignación. El usuario puede ejecutar esta aplicación tal y como se generó, insertar el código generado en su propia aplicación o incluso ampliarlo con funciones nuevas.

Puede editar su código y definir sus archivos de origen o destino, usar datos de secuencia de entrada XML como origen de datos XML o añadir código de control de errores.

Características de la generación de código de MapForce:

  • Código fuente Java, C++ y C# libre de derechos de autor a partir de asignaciones de datos
  • El código fuente implementa las funciones de procesamiento de datos incluidas en la asignación
  • Motor de ejecución integrado para generar vistas previas del resultado de la ejecución del código fuente
  • Fácil actualización del código con solo cambiar la asignación de datos subyacente

La posibilidad de generar código libre de derechos de autor en varios lenguajes de programación tiene grandes ventajas porque el usuario puede implementar operaciones de integración de datos rapidísimas en código fuente que se puede compilar en las aplicaciones del usuario.

Personalizar la generación de código

El código de salida generado se puede personalizar por completo mediante un potente pero sencillo lenguaje de plantilla.

Puede reemplazar con facilidad el motor de análisis y validación subyacente, personalizar el código según las normas internas de su compañía o utilizar bibliotecas base distintas como Microsoft Foundation Classes (MFC) y la biblioteca de plantillas estándar STL (Standard Template Library). Incluso puede configurar el código con transmisiones de secuencias de datos para entrada y salida.