使用 FlowForce Server 自动化数据集成和转换工作流程

处理大量数据的组织深知,人工处理很快会成为瓶颈。文件以各种格式到达,业务规则因地区或客户而异,而且容错率很低。我们需要一个可靠的数据处理流程,它可以自动地对数据进行路由、转换和计算,而无需人工干预。

Altova FlowForce Server 和 MapForce Server 正是为了实现这一点而设计的。在我们的最新视频教程中,我们将完整地演示一个真实的、完整的自动化工作流程,从头到尾。

一个实际的 ETL 场景

在视频中,我们展示了一个实际的数据集成案例,许多组织都会从中找到共鸣。一家公司同时收到来自美国和欧盟客户的采购订单,这些订单以Excel文件形式接收。由于美国和欧盟的税收计算方式不同,因此收到的订单需要自动地路由到正确的映射规则,并根据相应的业务逻辑进行处理,最终转换为JSON格式的输出。

以下是工作流程的详细说明:

  1. 一个基于Excel的采购订单文件到达指定的、受监控的接收文件夹中。

  2. FlowForce 服务器通过文件系统触发器检测到新文件,并启动相应的任务。

  3. 条件映射功能会检查文件的国家/地区代码,并判断订单是否来自美国或欧盟。

  4. 根据该结果,FlowForce Server 会执行相应的区域映射,从而应用正确的税收计算,并将数据转换为 JSON 格式。

  5. 如果处理成功,源文件和输出文件将被移动到“已处理”文件夹。如果发生错误,这些文件将被移动到“失败”文件夹以便进行审查,并且任务将继续运行。

这种条件性、多步骤的数据处理流程是ETL工作流程中常见的需求,而FlowForce Server使得配置这种流程变得简单,无需编写自定义代码。

观看演示:

FlowForce Server 和 MapForce 如何协同工作

这段视频重点展示了三个 Altova 产品如何协同工作,实现端到端的流程自动化。MapForce 是一个桌面工具,用于设计数据映射关系,它定义了如何将 Excel 输入文件转换为 JSON 输出,包括任何计算和数据重组。

一旦映射关系配置完成,它们将被直接部署到 FlowForce 服务器上。

在运行时,FlowForce Server 负责协调工作流程:它监控触发器,评估条件,并管理整个任务 当需要实际执行已部署的映射时,FlowForce Server 会调用 MapForce Server,该服务器是负责处理数据转换的后端执行引擎 这种分离意味着您只需在 MapForce 中进行一次设计,然后让 FlowForce Server 和 MapForce Server 负责自动执行,而无需编写 shell 脚本或构建自定义中间件。

如何配置数据处理流程

当然。请提供您需要翻译的英文文本 FlowForce 教程 本指南展示了如何管理 FlowForce Server 的各项功能,这些功能对于构建稳定、可用于生产环境的数据集成工作流程至关重要

  • 文件系统触发器 会在监控目录中出现新文件时自动启动一个任务,这非常适合处理实时到达的数据。

  • 条件执行 允许您在任务中定义分支逻辑。在我们的场景中,国家代码决定运行哪个区域映射,但这种方法适用于任何需要不同处理路径的业务规则。

  • 错误和成功处理 确保您的工作流程能够平稳降级。保护性代码块可以捕获错误,将出现问题的文件移动到指定文件夹,并使用恢复步骤,从而使任务能够继续运行,而不是完全失败。

  • 变量和表达式:FlowForce Server的表达式语言允许您计算文件名、动态构建路径,并在步骤之间传递数据,从而为您提供对自动化工作流程的精细控制。

该视频还展示了更多高级工作流程自动化功能。FlowForce Server 支持“循环”步骤,可以遍历文件集合;支持“延迟”步骤,确保在执行前满足所有前提条件;以及“结果缓存”功能,用于优化耗时的、以 Web 服务形式提供的任务。基于时间的触发器允许您在特定时间间隔安排任务,而 HTTP 触发器则允许外部系统通过 GET 或 POST 请求按需调用任务。队列可以帮助管理单个服务器或集群的负载。

这些特性共同使得 FlowForce Server 成为一个多功能的流程引擎,适用于各种任务,从简单的基于文件的 ETL 任务,到复杂的、多步骤的数据集成流程,这些流程可以与外部系统进行交互。

免费试用 FlowForce

无论您的团队需要自动化重复的数据转换、构建可靠的ETL流程,还是消除手动的数据处理步骤,FlowForce Server都提供所需的工具,帮助您快速实现这些目标。除了可以调用MapForce Server进行数据集成,FlowForce Server还可以管理XML和XBRL数据的验证和处理,以及业务报表的生成流程。

您想自己尝试一下吗? 下载免费试用版 现在就开始使用 FlowForce Server,并开始构建自动化工作流程吧。

所有 Altova 服务器软件 产品都可直接下载,适用于 Windows 和 Linux 系统。此外,您还可以通过免费的 Azure 虚拟机模板Docker 项目 来获取。