Transición de proyectos de mapeo de datos desde la fase de desarrollo, pasando por las pruebas, hasta la puesta en producción

Los proyectos de mapeo de datos a menudo reflejan los procesos de desarrollo de software, con fases distintas para el diseño, las pruebas y la implementación. Esto es especialmente cierto para los proyectos de ETL (Extracción, Transformación y Carga), donde se requiere la ejecución repetida del mapeo de datos a medida que se dispone de nuevos datos, y la importancia aumenta considerablemente con grandes conjuntos de datos. Los productos Altova MissionKit y Server Software ofrecen recursos globales para definir las configuraciones de cada fase del proyecto y facilitar la transición entre ellas.

Veamos un ejemplo basado en una transformación de datos en MapForce, que convierte información de un archivo fuente a una base de datos.

El proyecto de mapeo de datos El proceso que se describe a continuación toma como entrada un archivo CSV que contiene una o varias órdenes de venta sencillas. Cada orden contiene un número de producto y una cantidad, y el proceso calcula el importe total de la venta basándose en el precio actual del producto, genera un número de orden único e inserta la orden en una base de datos existente.

El proceso para desarrollar un esquema de mapeo de datos como este e integrarlo en un flujo de trabajo empresarial requiere tres etapas distintas: un desarrollador o un especialista en datos diseña el esquema, un especialista en control de calidad valida el esquema, y finalmente, el esquema se implementa en el entorno de producción. Global Resources permite a los diferentes interesados en el proyecto cambiar el archivo de origen de datos y la base de datos de destino del proyecto de mapeo de datos para cada fase, sin modificar el esquema en sí.

Los recursos globales son referencias portátiles a archivos, carpetas o bases de datos que funcionan como alias. Cuando se almacenan como recursos globales, las rutas y los detalles de conexión a la base de datos se vuelven reutilizables y están disponibles en múltiples aplicaciones de Altova. La imagen que se muestra a continuación ilustra recursos globales que hacen referencia a un archivo de datos de entrada y a una base de datos.

Las referencias globales también pueden organizarse en configuraciones. Por ejemplo, algunos proyectos de mapeo de datos requieren configuraciones separadas para el diseño, las pruebas y la producción. Cambiar entre configuraciones modifica tanto el archivo de datos de origen como la base de datos de destino.

La imagen que se muestra a continuación ilustra una parte de la barra de herramientas de MapForce, junto con el menú desplegable de configuración de recursos globales. Es en este menú donde el usuario selecciona la configuración activa.

En la propia configuración de la asignación de datos, tanto el archivo de entrada como la base de datos de destino se definen para que hagan referencia a recursos globales. A continuación, se muestra el cuadro de diálogo de configuración del componente para el archivo de datos de origen, configurado como un recurso global:

Para cada configuración de recurso global, también se define la base de datos de destino:

El diseñador del proyecto de mapeo de datos comienza trabajando con un conjunto de datos de muestra y una copia de la estructura de la base de datos. Una vez que el mapeo está completo, el desarrollador lo ejecuta directamente en MapForce para crear y ejecutar un script SQL que inserte los datos. La ventana de resultados de MapForce muestra los resultados:

Para la fase de pruebas, queremos ejecutar el mapeo de datos directamente en MapForce Server, en un entorno de pruebas que utilice un archivo de entrada diferente y una copia de la base de datos distinta a la que utilizó originalmente el desarrollador.

El desarrollador compila la transformación a un archivo de ejecución para el servidor MapForce a través del menú "Archivo" de MapForce

El archivo de ejecución de MapForce Server contiene la configuración de la transformación de datos, así como el archivo de recursos globales y las referencias a la base de datos asociadas a dicha configuración, pero no resuelve ninguna configuración específica de recursos globales. Esto permite seleccionar la configuración de recursos globales en tiempo de ejecución. Las definiciones de recursos globales se almacenan en un archivo XML llamado GlobalResources.xml en la estación de trabajo del diseñador. El diseñador proporcionaría tanto el archivo de ejecución de MapForce Server como el archivo de recursos globales para la fase de pruebas.

El equipo de pruebas utiliza la interfaz de línea de comandos de MapForce Server para ejecutar la transformación de datos en la configuración deseada. A continuación, se muestra la forma genérica de la interfaz de línea de comandos de MapForce Server, que incluye el nombre de la transformación y los parámetros para el archivo de recursos globales y la configuración de recursos globales:

Y aquí está el comando real, tal como podría aparecer en una ventana de comandos:

Si los resultados de la prueba son satisfactorios, el mapeo y los recursos globales se pueden implementar en el servidor FlowForce y ejecutarse como parte de un proceso en el servidor FlowForce, posiblemente como parte de un.. Importación programada de datos para empresas La configuración se implementa desde el menú principal, que se muestra arriba, a través de la opción "Implementar en el servidor FlowForce":

Los recursos globales se configuran desde el diálogo "Administrar recursos globales":

Cada configuración se almacena como un objeto FlowForce Server independiente y se referencia en la definición de un trabajo de FlowForce Server.

Descargue una versión de prueba gratuita para facilitar la transición de los proyectos de mapeo de datos a través de las diferentes etapas de su propio flujo de trabajo empresarial.