FlowForce Serverを使用することで、データ統合およびデータ変換のワークフローを自動化できます

大量のデータを取り扱う組織は、手作業による処理がどれほど早くボトルネックになるかを理解しています。ファイルは様々な形式で到着し、ビジネスルールは地域や顧客によって異なり、また、エラーの余地はほとんどありません。そこで必要とされるのは、人間の介入なしに、データを自動的に振り分け、変換し、計算できる、信頼性の高いデータ処理システムです。

Altova FlowForce ServerとMapForce Serverは、まさにそのような目的のために設計されています。最新のビデオチュートリアルでは、実際の業務で使用されるワークフローの自動化プロセスを、最初から最後まで詳しく解説しています。

現実的なETLのシナリオ

このビデオでは、多くの企業が共感できる、実用的なデータ統合の事例を紹介しています。ある企業では、アメリカとEUの顧客から、Excelファイル形式で注文を受け取ります。この際、税金の計算方法が両地域で異なるため、受信した注文は適切な処理ロジックに基づいて分類され、正しいマッピングに振り分けられ、自動的にJSON形式のデータに変換されます。

以下に、作業の流れを詳しく説明します

Excel形式の購買依頼書が、監視対象の受信フォルダに到着します。
FlowForce Serverは、ファイルシステム上のトリガーによって新しいファイルが検出されると、そのジョブを開始します。
条件付きマッピングは、ファイルの国コードを検査し、注文がアメリカ合衆国からのものか、それとも欧州連合からのものかを判断します。
その結果に基づいて、FlowForce Serverは適切な地域設定を適用し、正しい税金の計算を行い、データをJSON形式に変換します。
処理が成功した場合、ソースファイルと出力ファイルは「処理済み」フォルダに移動されます。エラーが発生した場合は、ファイルが「エラー発生」フォルダに移動され、内容を確認した後、処理は継続されます。

このような条件分岐や複数のステップを含むデータ処理パイプラインは、ETLワークフローにおいて一般的な要件であり、FlowForce Serverを使用すれば、カスタムコードを記述することなく、容易に設定できます。

デモをご覧ください

FlowForce ServerとMapForceが連携して動作する仕組み

このビデオでは、3つのAltova製品が連携し、エンドツーエンドのワークフロー自動化を実現する様子を紹介しています。MapForceは、デスクトップで使用できるツールで、その機能は以下の通りですデータマッピングの設計 Excelの入力ファイルをJSON形式の出力に変換する際の処理方法、具体的には、計算やデータ構造の再構築などに関する定義。

マッピングが準備できたら、それらは直接FlowForceサーバーに展開されます。

実行時に、FlowForce Serverはワークフローを制御します具体的には、トリガーを監視し、条件を評価し、全体のジョブを管理します。マッピングを実行する際には、FlowForce ServerがMapForce Serverを呼び出します。MapForce Serverは、サーバー側で動作する実行エンジンであり、データ変換処理を行いますこの分離により、MapForceで一度設計すれば、その後はFlowForce ServerとMapForce Serverが自動実行を処理します。そのため、シェルスクリプトの記述やカスタムミドルウェアの開発は不要です。

データ処理パイプラインの設定方法

FlowForce チュートリアルでは、堅牢で、本番環境での利用に適したデータ統合ワークフローを構築するために不可欠な、FlowForce Serverの機能をどのように活用するかを解説しています

ファイルシステムトリガーは、監視対象のディレクトリに新しいファイルが作成されると、自動的にジョブを開始します。これは、データが到着した際に、そのデータを処理するのに最適です。
条件付き実行を使用すると、ジョブ内で分岐処理を定義できます。今回の例では、国コードによって実行するリージョン別のマッピングが決定されますが、同様のアプローチは、異なる処理経路が必要なあらゆるビジネスルールに適用できます。
エラーと成功時の処理 により、ワークフローが正常に機能し続けます。保護されたブロックはエラーを検出し、問題のあるファイルを指定されたフォルダに移動させ、また、処理を再開する機能を使用することで、ジョブが完全に失敗するのではなく、継続して実行されるようにします。
変数と式 FlowForce Serverの表現言語を使用することで、ファイル名を計算したり、パスを動的に構築したり、ステップ間でデータをやり取りしたりすることが可能です。これにより、自動化されたワークフローを細かく制御することができます。

このビデオでは、より高度なワークフロー自動化に対応するための、いくつかの追加機能も紹介しています。FlowForce Serverは、ファイル群に対して繰り返し処理を行う「for-each」ステップ、実行前に必要な条件が満たされていることを確認する「遅延」ステップ、そして、Webサービスとして提供される時間のかかる処理のための「結果キャッシュ」機能をサポートしています。時間ベースのトリガーを使用すると、特定の間隔でジョブをスケジュールできます。また、HTTPトリガーを使用すると、外部システムがGETまたはPOSTリクエストを通じて、必要に応じてジョブを実行できます。キュー機能は、単一のサーバーまたはサーバークラスタ全体の負荷を管理するのに役立ちます。

これらの機能を組み合わせることで、FlowForce Serverは、単純なファイルベースのETL処理から、外部システムと連携する複雑な、多段階のデータ統合パイプラインまで、あらゆる種類のワークフローに対応できる、非常に汎用性の高いエンジンとなります。

FlowForceを無料で試してみてください

お客様のチームが、繰り返しのデータ変換を自動化したり、信頼性の高いETLパイプラインを構築したり、手作業によるデータ処理の手順を排除したりする必要がある場合でも、FlowForce Serverは、それらを迅速に実現するためのツールを提供します。FlowForce Serverは、データ統合のためにMapForce Serverを呼び出すことに加えて、XMLおよびXBRLの検証および処理、およびビジネスレポートの生成といったワークフローも管理できます。

ご自身で試してみたいですか？ FlowForce Serverの無料トライアル版をダウンロードして、今日から自動化されたワークフローの構築を始めてください

すべてのAltova Server Software製品は、WindowsおよびLinux向けの直接ダウンロード版として提供されており、また、無料で利用できるAzure仮想マシンテンプレートまたはDockerプロジェクトとしても提供されています。