Herramienta ETL para empresas

Las herramientas ETL (extracción, transformación y carga) permiten extraer datos de fuentes externas, transformarlos a un formato de datos normalizado y cargarlos después en el objeto o repositorio de destino.

MapForce es compatible con los principales formatos de datos (XML, JSON, BD, archivos planos, EDI, Protocol Buffers, etc.), por lo que es una herramienta increíblemente efectiva, ligera y ampliable. MapForce ofrece una sencilla interfaz gráfica en la que puede cargar estructuras de asignaciones de datos con facilidad y conectar nodos o agregar filtros y funciones de procesamiento mediante operaciones de arrastrar y colocar. También incluye un generador visual de funciones para proyectos ETL más complejos.

Herramienta ETL en MapForce

Asimismo, MapForce puede utilizarse con una flexible API de Java y COM, ofreciendo a sus implementaciones ETL una capa de automatización integrada.

Procesamiento de datos ETL

MapForce permite asociar sus estructuras de datos ETL con gran facilidad, mediante operaciones de arrastrar y colocar.

Con su biblioteca integrada de funciones puede agregar avanzados filtros y funciones de procesamiento de datos. Con el generador visual de funciones puede combinar varias operaciones recursivas y operaciones inline en proyectos ETL o de integración de datos más complejos e incluso guardar funciones para poder usarlas más tarde en otros proyectos de asignación de datos.

MapForce también admite el uso de múltiples esquemas de entrada y salida, múltiples archivos de origen y destino y avanzadas transformaciones de datos en varias pasadas.

Entrada y salida directa de archivos (transmisión de secuencias de datos)

Al ser compatible con transmisiones de secuencias de datos, MapForce contribuirá a potenciar el rendimiento de sus proyectos ETL porque permite transmitir datos de entrada desde archivos XML, CSV y FLF y bases de datos relacionales de gran tamaño y transmitir datos de salida a archivos XML, CSV y FLF igual de grandes o insertarlos en una base de datos.

Esta característica integrada hace que MapForce pueda procesar enormes conjuntos de datos y proyectos ETL con facilidad y que la única limitación sea la cantidad de espacio libre en el disco de su equipo o en la red.

Para activar esta característica, basta con seleccionar el icono BUILTIN situado en la barra de herramientas del panel de diseño de MapForce.

Con sus funciones de inserción masiva y transmisión de secuencias de datos, MapForce Server es perfecto para ejecutar asignaciones de datos ETL.

Asignación gráfica ETL

La interfaz de MapForce está diseñada para facilitar la integración gráfica de datos que suelen requerir los proyectos ETL e incluye muchas opciones diferentes para gestionar, visualizar, manipular y ejecutar asignaciones por separado o como parte de proyectos de asignación. En el panel de diseño se pueden definir de forma gráfica todos los componentes de la asignación, agregar funciones y filtros para manipular los datos y arrastrar conectores para transformar los formatos de origen y destino.

Asignaciones gráficas de datos con MapForce

El panel de diseño incluye funciones para identificar y redefinir incluso las asignaciones más complejas. Por ejemplo, nada más hacer clic en el nombre de un elemento, este está preparado para ser conectado a otro elemento. Prácticos mensajes emergentes aparecen al poner el cursor sobre las conexiones de la asignación y muestran información adicional, como elementos o tipos de datos.

Las conexiones se pueden mover fácilmente arrastrándolas a la posición de destino deseada y puede crear copias de los conectores (desde el mismo nodo de origen hasta un nodo de destino diferente) con solo arrastrar la línea de conexión mientras pulsa la tecla CTRL. Al activar el icono de conexión automática de secundarios equivalentes se conectarán automáticamente todos los elementos secundarios del primario que tengan el mismo nombre.

Las asignaciones de datos ETL pueden tener varias entradas y salidas y combinar tipos de datos totalmente diferentes.

MapForce viene con una amplia biblioteca de funciones de procesamiento de datos que permiten realizar prácticamente cualquier tipo de conversión de datos para el proyecto de integración e incluye una práctica ventana donde podrá ver el proyecto de asignación entero, hacer zoom hasta zonas determinadas del diseño y ver la posición exacta dentro del panel de diseño. En definitiva, esta ventana facilita la navegación incluso en proyectos de asignación de gran tamaño.

Conversión de formatos de datos

En aplicaciones ETL, a menudo el formato de los datos que se quieren importar es incompatible con el del repositorio de destino. MapForce ofrece una potencia y flexibilidad incomparables gracias a sus avanzadas funciones de conversión y transformación de datos. Por ello es una eficiente herramienta para todo tipo de proyectos de integración de datos. Podrá integrar datos de diferentes archivos en diferentes formatos con facilidad.

Gracias a sus funciones adicionales para la automatización de integraciones de datos, MapForce es un producto intermedio ideal para conectar aplicaciones distribuidas en cualquier arquitectura empresarial, ya sea web o en la nube.

La asignación ETL de la imagen siguiente incluye tres formatos de datos. El archivo principal de origen es una hoja de cálculo de Excel y el repositorio de salida final es una base de datos. Sin embargo, los registros de la columna SharesAndLeaves de la base de datos están almacenados como un objeto JSON. La herramienta ETL MapForce construye el objeto JSON de forma instantánea y lo incluye al generar la instrucción insert de la base de datos como se resalta en la vista previa de la salida en la parte inferior derecha de la captura de pantalla.

Asignaciones ETL de MapForce con conversión de datos

Asignaciones de datos reciclables

Independientemente del contenido subyacente, MapForce integra datos basados en estructuras de datos, ya sea un esquema XML o de base de datos, un archivo de configuración EDI o una taxonomía XBRL, por ejemplo. Esto significa que podrá reutilizar las asignaciones de datos a medida que cambian sus datos comerciales.

Integración de datos automatizada

MapForce puede generar archivos de ejecución para MapForce Server o código de integración de datos libre de derechos de autor en Java, C# o C++ para procesar asignaciones de datos de forma automatizada. Gracias a ello puede implementar operaciones de integración o migración de datos programadas o desencadenadas por eventos e incluirlas en aplicaciones de elaboración de informes, comercio electrónico o basadas en SOA. Las operaciones de integración de datos de MapForce también se pueden automatizar a través de una API de integración de datos o con un control ActiveX.

Manipulación de datos

En los proyectos de integración de datos suele ser necesario manipular datos para convertir los datos de entrada antes de que el sistema de destino los consuma. MapForce ofrece un intuitivo generador visual de funciones, bibliotecas integradas de funciones de procesamiento de datos, filtros y condiciones, y muchas otras características que le ayudarán a manipular datos e integrar formatos diferentes.

Alta rentabilidad

Con MapForce no se necesitan adaptadores ni otros complementos. El usuario tiene total control sobre el proceso de diseño e implementación de la integración de datos de transformación de todo tipo de datos, ya sean datos XML, de BD, archivos planos, Excel, EDI, XBRL o servicios web.

Funciones de procesamiento de datos

En cualquier proyecto ETL la información entrante se debe unificar con los estándares establecidos para el repositorio. Dependiendo de las características de los datos relevantes, será necesario convertir elementos como estilos, formato de fecha y hora, precisión de decimales, moneda, temperatura, escalas de medición y otros factores. MapForce incluye una biblioteca ampliable de funciones de procesamiento y conversión de datos para filtrar y manipular datos de acuerdo con los requisitos de su proyecto de asignación ETL. Para ahorrar tiempo y reutilizar el trabajo ya realizado y probado, puede importar código de conversión de datos ya existente o un archivo XSLT 1.0 o 2.0 y utilizarlo como biblioteca de funciones. MapForce también ofrece un original generador visual de funciones para definir y reutilizar funciones personalizadas que compaginen varias operaciones diferentes.

Funciones de procesamiento de datos en MapForce

MapForce puede utilizarse hasta en el proyecto de conversión de datos más avanzado. Esta biblioteca permite definir reglas basadas en condiciones, lógica booleana, operaciones de cadena, cálculos matemáticos, instrucciones SQL y SQL/XML y otras funciones definidas por el usuario. Incluso puede utilizar un servicio web ya existente para buscar datos o procesarlos en cualquier asignación.

Conversión de datos en MapForce:

  • Funciones de procesamiento de datos para convertir datos instantáneamente
  • Cálculos matemáticos
  • Conversión de datos numéricos, booleanos, fechas, horas y cadenas de texto
  • Análisis de cadenas de texto y dateTime
  • Funciones especializadas para BD, nodos, secuencias y EDIFACT
  • Posibilidad de usar filtros, condiciones, parámetros y variables
  • Funciones de base de datos en SQL o SQL/XML

Biblioteca de funciones

Muchas de las funciones integradas, como las de concatenación, suma y multiplicación, admiten un número ilimitado de parámetros. Esto hace posible realizar manipulaciones matemáticas y combinar varios parámetros. Las funciones de agregado sirven para realizar cálculos en grupos de datos. Algunas de estas funciones son, por ejemplo, count, sum, min, average y join-string. Con las funciones de conversión puede analizar tipos de datos complejos.

Las funciones de la biblioteca principal son generales y no se aplican específicamente a ningún tipo de resultado. Con estas funciones principales puede crear código de conversión de datos XSLT 1.0/2.0, XQuery, Java, C++ o C#, dependiendo del lenguaje que necesite.

Variables intermediarias

Las variables intermediarias son un tipo especial de componente que almacena un resultado intermedio de la asignación para su procesamiento posterior. Estas variables se pueden utilizar para resolver problemas complejos. Las variables intermediarias equivalen a una función definida por el usuario normal (no inline) y es un componente estructural sin un archivo de instancia.

Filtros y condiciones

Puede insertar filtros y condiciones en la asignación para seleccionar datos del origen según ciertas condiciones booleanas.

La condición if-else de MapForce equivale a la instrucción switch de muchos lenguajes de programación y permite controlar el flujo de datos en los proyectos de asignación mediante la asociación de un valor a un criterio determinado.

Parámetros de transformación

En MapForce puede usar parámetros de entrada en transformaciones, lo cual permite influir en la transformación de asignaciones mediante el uso de parámetros externos. Los parámetros de entrada de la transformación se pueden pasar a la función de la asignación principal gracias al generador de código en Java, C# o C++ de MapForce.

Herramienta ETL para bases de datos

MapForce ofrece potentes funciones para realizar asignaciones ETL entre datos de BD, incluidas asignaciones entre datos de cualquier BD y datos XML, archivos planos, EDI, Excel (OOXML), XBRL, servicios web e incluso otros formatos de BD.

Cuando cargue una estructura de BD en la ventana de diseño, MapForce interpreta automáticamente el esquema de la BD, le permite seleccionar tablas y vistas de la BD y reconoce las relaciones entre las tablas.

Asignación de datos de BD de MapForce

Cuando termine de cargar todos los modelos de contenido necesarios para su asignación ETL de datos de BD, conecte las estructuras de origen y destino mediante líneas de conexión.

MapForce es compatible con las principales bases de datos, para que pueda crear diseños gráficos de asignación de datos de BD entre datos de origen de BD, filtros y funciones de procesamiento de datos y otras estructuras de datos.

Bases de datos compatibles:

  • Firebird 2.5, 3
  • IBM DB2 for iSeries® v6.1, 7.1, 7.2, 7.3
  • IBM DB2® 8, 9.1, 9.5, 9.7, 10.1, 10.5
  • Informix® 11.70, 12.10
  • MariaDB 10, 10.3
  • Microsoft Access™ 2003, 2007, 2010, 2013
  • Microsoft® Azure SQL
  • Microsoft® SQL Server® 2005, 2008, 2012, 2014, 2016, 2017
  • MySQL® 5, 5.1, 5.5, 5.6, 5.7, 8
  • Oracle® 9i, 10g, 11g, 12c
  • PostgreSQL 8, 9.0.10, 9.1.6, 9.2.1, 9.4, 9.6, 10, 11
  • Progress OpenEdge 11.6
  • SQLite 3.x
  • Sybase® ASE 15, 16
  • Teradata 16

Características:

  • Consultas de BD en las principales bases de datos
  • Asignación de datos de cualquier tipo de BD
  • Configuración de claves de BD
  • Posibilidad de definir acciones de tabla de la BD
  • Consulta directa en la base de datos
  • Asignación de datos XML en campos de BD
  • Ordenar componentes de BD de entrada

Filtrar y procesar datos de bases de datos

En muchas asignaciones ETL de datos de BD es necesario manipular los datos en base a condiciones booleanas o instrucciones SQL y SQL/XML. Quizás necesite realizar comparaciones lógicas, cálculos matemáticos y operaciones de cadena, buscar datos de la BD con un valor determinado y realizar muchas otras modificaciones en los datos. En la imagen anterior, puede ver que las funciones de procesamiento de datos aparecen en forma de recuadros entre las líneas de conexión que unen los modelos de contenido de origen y destino.

Las funciones de procesamiento permiten realizar avanzadas asignaciones de datos de BD para satisfacer los diferentes requisitos del proyecto. Por ejemplo, puede construir asignaciones de datos de BD que utilicen datos XML o mensajes EDI para extraer filas de la BD utilizando criterios de filtro basados en los elementos XML o EDI.

Conversión instantánea de datos de base de datos

Una vez termine de definir la asignación, puede obtener una vista previa de los resultados con un solo clic y guardarlos en un archivo gracias al motor integrado de MapForce.

Las asignaciones cuyo componente de destino es una BD dan lugar a scripts SQL (p. ej. instrucciones SELECT, INSERT, UPDATE y DELETE) que se ejecutan en la BD de destino directamente desde MapForce.

Herramienta ETL para EDI

Los estándares EDI son uno de los principales formatos para el intercambio de datos de comercio electrónico y ofrecen un método rápido y preciso para intercambiar datos de transacciones. EDI antecede a tecnologías de comercio integradas muy populares como sistemas ERP y CRM y otras tecnologías relacionadas con cadenas de suministro. Por ello, la asignación y transformación de datos supone un componente importante si una aplicación ETL toma como fuente de datos mensajes EDI.

MapForce es una herramienta gráfica de asignación de datos EDI con soporte nativo para los principales formatos de datos de negocios que se utilizan hoy en día, como XML, bases de datos, archivos planos, Excel y servicios web, así como conjuntos de transacciones EDI de EDIFACT, X12, HL7, NCPDP SCRIPT, IDoc y PADIS.

Asignación de datos EDI a bases de datos con MapForce

MapForce simplifica la integración de datos EDI porque permite definir de forma visual las asignaciones entre datos UN/EDIFACT, ANSI X12, HIPAA X12, Health Level 7 (HL7), NCPDP SCRIPT, SAP IDoc, IATA PADIS o TRADACOMS y XML, BD, archivos planos, Excel y otros sistemas EDI además de operaciones de servicios web. Su organización puede aprovecharse de las ventajas de los intercambios electrónicos de información, sin que ello complique su infraestructura de aplicaciones ni aumente sus gastos.

Procesamiento de varios tipos de mensajes EDI

En MapForce una asignación que incluya archivos EDI puede configurarse para que contenga varios tipos de mensajes diferentes. Esta función es compatible tanto con los componentes de entrada como los de salida y permite una gran flexibilidad a la hora de completar proyectos de asignación de datos EDI.

Confirmación de mensajes

En el estándar EDI X12, el mensaje de confirmación 997 comunica el estado de un intercambio entrante, acusando el recibo de una transacción, informando de errores de transacción, etc.

MapForce puede configurarse para que cree automáticamente asignaciones de datos entre los mensaje X12 de entrada y las confirmaciones 997.

Validar el resultado de asignaciones EDI

Con MapForce puede confirmar la precisión del resultado de su asignación de datos EDI validando todos los componentes EDI de entrada y salida de la asignación. Así puede estar seguro de que solo se procesan los mensajes EDI que sean válidos.

Herramienta ETL para asignación de texto y archivos planos

Las fuentes de datos heredadas se pueden extraer de archivos de texto y actualizar para que sean coherentes con repositorios ETL ya existentes. MapForce incluye la herramienta FlexText. Esta utilidad única sirve para analizar y convertir archivos de texto, como informes de texto, archivos de registro y otros archivos de texto heredados, en diseños de asignación de datos. Gracias a su sencilla interfaz visual, puede insertar un archivo de texto y extraer las partes del archivo que desee convertir utilizando MapForce.

FlexText produce una plantilla que luego se carga en MapForce y en la que los nodos individuales de texto se pueden convertir en cualquier combinación de datos XML, BD, EDI, XBRL, archivos planos, Excel, JSON, Protocol Buffers y servicios web. Si guarda la configuración creada en FlexText, podrá volver a usar la misma plantilla para convertir varios archivos de texto en varias asignaciones.

Procesamiento de texto en MapForce

FlexText permite crear reglas para plantillas de conversión de archivos de texto para asignaciones ETL. En FlexText los archivos se representan en dos bloques. El bloque raíz representa el archivo original, mientras que el bloque de operación (situado a la derecha) muestra los datos del archivo en tiempo real mientras extrae los datos que necesita.

El resultado de cada operación realizada puede verse en tiempo real, para que pueda ver inmediatamente si obtuvo el resultado deseado o no.

A menudo los archivos de texto heredados contienen datos útiles en formato CSV (valores separados por comas) o formato FLF (campo de longitud fija) incrustados en un archivo plano más complejo. Con FlexText puede extraer dichos datos utilizando las operaciones CSV y FLF. Tras aplicar la operación "División" o cualquier otra operación, puede almacenar los campos CSV o FLF restantes, configurando su nombre, longitud, etc.

Extracción de datos relevantes

FlexText permite aislar los datos a los que necesita tener acceso mediante la eliminación de texto no relevante, caracteres y espacios en blanco. Para ello puede usar diferentes comandos de división. Cada división representa los datos en dos nuevos bloques: uno que contiene los datos que separó y otro la vista modificada del archivo convertido. De este modo puede ver inmediatamente el resultado de cada operación que realice.

Operaciones Nodo/Omitir/Conmutador y expresiones regulares

En FlexText puede usar las operaciones "Nodo" y "Omitir" para manipular los datos con mayor flexibilidad. La operación "Omitir" marca un bloque de texto como irrelevante a efectos de la conversión y envía a MapForce la instrucción de omitirlo. La operación "Nodo" crea un nodo nuevo en el árbol de información en MapForce para que pueda representar la naturaleza jerárquica de sus datos de texto cuando lo necesite.

La operación "Conmutador" permite definir varias condiciones para un solo bloque de texto. Los datos del archivo de texto se pasan al contenedor asociado para poder usarlos en la conversión de MapForce solo si se cumple la condición definida.

En FlexText también puede trabajar con expresiones regulares. Por ejemplo, imagine que el archivo de entrada es un informe con códigos alfanuméricos que indican los tipos de registro y donde una secuencia de cinco dígitos seguida de la letra "O" indica el comienzo de una nueva sección para una oficina de la compañía.

Automatización de la ejecución de la herramienta ETL con MapForce Server

Altova MapForce Server incluye un motor de transformación de datos integrado desarrollado para MapForce y mejorado para entornos servidor. MapForce Server realiza transformaciones de datos XML, JSON, BD, EDI, XBRL, archivos planos, Excel y servicios web a partir de asignaciones de datos optimizadas y procesadas previamente y almacenadas en archivos de ejecución basados en asignaciones de datos diseñadas en MapForce. Las transformaciones de datos de MapForce Server alcanzan un nivel superior gracias a funciones de procesamiento en paralelo y subprocesos, operaciones SQL Merge masivas, compatibilidad con múltiples plataformas y mucho más.

Al estar procesadas de antemano, las asignaciones tienen mayor rendimiento y menor consumo de memoria. MapForce Server puede usarse bajo el control de FlowForce Server, con una configuración independiente que se ejecuta desde la línea de comandos o mediante programación con una API.

Tras diseñar y probar su asignación ETL de MapForce, puede ejecutarla con MapForce Server para automatizar procesos de negocio que requieran transformaciones de datos periódicas.

Crear archivos de ejecución de MapForce Server

MapForce procesa y optimiza asignaciones de datos ETL, las almacena en archivos de ejecución para ejecutarlos en la línea de comandos de MapForce Server y las carga en trabajos de FlowForce Server.

Cuando se opera MapForce Server bajo la dirección de FlowForce Server, las asignaciones de datos se ejecutan como pasos de un trabajo de FlowForce Server, en función de los desencadenadores que se definieran en el trabajo. Por ejemplo, en un directorio aparece un documento de instancia XML nuevo que desencadena un trabajo de FlowForce Server de varios pasos que primero valida el archivo con RaptorXML+XBRL Server, después ejecuta MapForce Server para extraer ciertos datos del XML y después los inserta en un repositorio ETL en base de datos.