エンタープライズ ETL ツール

ETL (Extract/Transform/Load) ツールでは外部のソースからデータを抽出し、一般的なデータ形式に変換を行ったあと、ターゲットとなるリポジトリへデータをロードするメカニズムが提供されます。

広く普及しているエンタープライズ データ フォーマット (XML、JSON、データベース、フラット ファイル、EDI 、プロトコルバッファーなど) へのサポートすることで、 MapForce は非常に効果的で軽量、スケーラブルな ETL ツールです。MapForce は、サポートされるマッピング構造を簡単にロードし、ドラッグアンドドロップ機能を使用してノードを接続し、データ処理関数を追加し、複雑な ETL プロジェクトのために視覚的な式ビルダーを使用することのできる、単刀直入で視覚的なユーザーインターフェイスをオファーします。

MapForce ETL Tツール

視覚的なインターフェイスに加え、 MapForce に柔軟的な Java または COM-ベースの API からもアクセスすることができ、 ETL 実装に統合された自動化レイヤーを追加することができます。

ETL データ処理

MapForce によりドラッグアンドドロップ機能を使用して、簡単に ETL データ構造に簡単に関連付けることができます。a

高度なデータ処理フィルターと関数に内蔵の関数ライブラリより追加することができ、視覚的な式ビルダーを使用して、複数のインライン および/または再帰的な操作を更に複雑な ETL またはデータ統合プロジェクトで使用することができ、また、他のマッピングプロジェクトでの使用のために関数を保存することもできます。

MapForce はまた、複数の入力と出力、複数のソースおよび、または、ターゲットファイル、または、高度なマルチパスデータ変換を含む高度な ETL シナリオもポートします。

直接的ンファイルの入力と出力 (データストリーミング)

データストリーミングへのサポートは大きな XML、CSV、および FLF ファイルから任意で入力をストリームし、また、同様に大きな XML、CSV、および FLF ファイルの出力をストリームし、データベースに入力する機能を与えることにより ETL プロジェクトにパフォーマンスを向上します。

内蔵の関数は、MapForce が簡単に大きなデータセットと ローカルマシンで使用することのできるディスクスペースにより制約されている、または、ネットワーク上からアクセスすることのできる、ETL プロジェクトを処理します。

この機能を有効化するには、 MapForce デザインペイン内のツールバーから BUILTIN アイコンを選択するだけです。

バルクデータベース挿入および直接的なデータストリーミングのサポート共に、MapForce Server は ETL データマッピングの実行に理想的です。

グラフィック性に富んだ ETL マッピング

MapForce インターフェイスは、 ETL プロジェクトで通常必要とされる個別のマッピングと複雑な ETL マッピングプロジェクトを管理、視覚化、操作する多種のオプション等を含むデータ統合を促進します。デザイン ペインを使用して、マッピングコンポーネントを視覚的に定義、データ操作のために関数とフィルターを追加、ソースとターゲット間のフォーマットを変換するためにコネクタを追加することができます。

MapForce を使用した視覚的なデータマッピング

デザイン ペインには、ユーザー フレンドリーな機能が搭載されており、非常に複雑なマッピングの処理や再定義を行うために、以下のような機能が提供されます: アイテム名をクリックすることで、他のアイテムへの接続を行えるよう自動的に選択。マウスをマッピング接続へマウスをポイントすることで、ヒントが表示され、マッピングターゲットアイテムやデータ型といった情報を確認することができます。

接続をクリックして目的のターゲットへドラッグすることで、接続を簡単に変更したり、CTRL キーを押下しながら接続をドラッグすることで (同一のソースから異なるターゲットに対して) 接続を複製することができます。子要素の自動接続アイコンをアクティブ化することで、親アイテム以下にある同一名の子アイテムを自動的に接続します。

ETL データマッピングでは、複数の入力と出力を使用することができ、まったく異なるデータの種類を組み合わせることができます。

MapForce は、統合プロジェクトが必要とする、データ変換データ処理関数の豊富なライブラリ、データマッピングプロジェクト全体を確認することができる便利な概要ウィンドウ、および、マップ内での位置を表示し、特定の箇所を拡大することのできるデザインペインを搭載しています。巨大なマッピング プロジェクト内のナビゲーションも簡単に行うことができます。

データ書式の変換

ETL アプリケーション内では、 インポートのための新規の情報は、通常、既存のレポジトリと互換性を持つデータ書式で受信されます。MapForce には他に類を見ない高度なデータ マッピングと変換を行うパワーや柔軟性が備わっており、企業内部からグローバルなスケールまで、データ統合プロジェクトにおける効率的な ETL ツールなツールとなります。書式の異なる複数のファイルから簡単にデータを統合することができます。

データ統合作業を自動化する機能も備えた MapForce は、ローカルのエンタープライズ、Web ベースのワークフロー、またはクラウドアーキテクチャアプリケーションを結びつけるための理想的なミドルウェアソフトウェアとなります。

下に表示される通り3種類のデータ書式が ETL マッピング内に含まれています。メインのソースファイルは Excel スプレッドシートで、最終の出力レポジトリはデータベースです。しかしながら、 SharesAndLeaves データベースの列内のレコードは、 JSON オブジェクトとして保管されます。MapForce ETL ツールは、 JSON オブジェクト をすぐに構築し、スクリーンショットの右下の出力プレビュー内でハイライトされているとおり、生成されたデータベース挿入ステートメントに含みます。

データ変換を使用した MapForce ETL マッピング

再利用可能なデータ マッピング

それが XML 、データベース スキーマ、EDI 構成ファイル、または XBRL タクソノミであれ、MapForce は元となるコンテンツのインスタンスに関わりなく、データ構造に従ったデータの統合を行ないます。これはビジネスデータが変更された際にも一度作成したデータマッピングを何度でも再利用することができるということを意味します。

自動化されたデータ統合

MapForce は、MapForce Serverによるデータマッピングの自動化された処理のために Java、C#、または C++ で書かれた実行可能ファイルを生成することができます。この方法によりレポート作成や電子商取引、または SOA をベースにしたアプリケーションのための定期的なデータ統合/移動オペレーションを実装することが可能です。データ統合 API または ActiveX コントロールにより、MapForce データ統合オペレーションも自動化することができます。

データの修正

データ統合プロジェクトでは、ターゲットシステムへ入力データを与える前に、データの変換を行う場面が数多くあります。MapForce では直感的な関数ビルダーが用意されており、内蔵の関数やフィルター、条件などにより、スケールする データ処理関数 を作成し、データの操作や異なるフォーマットの統合を簡単に行うことが可能になります。

高いコスト効率

MapForce は、アダプターや他の有価のアドオンに頼りません。ユーザーは、デザイン、データ統合の実装、 XML、データベース、フラットファイル、EDI、Excel、XBRL および/または Web サービスを含む組み合わせのデータ型の変換を完全に管理することができます。

データ処理関数

ETL シナリオで、受信されるデータはレポジトリで設定されている標準と統一される必要があります。関連するデータの特質により、名前スタイル、日時書式、小数点、通貨、気温と計算単位、および他の要素などが変換される必要がある場合があります。MapForce のデータ処理と変換関数が収められたライブラリを使うことで、 ETL マッピング プロジェクトに必要なフィルタリングやデータの修正を行うことができます。また、既存のデータ変換コードや XSLT 1.0 または 2.0 ファイルを関数ライブラリとしてインポートして使用することで、作業時間を短縮したり既に完成した過去の成果物を効率的に利用することができます。MapForce にはユニークな関数ビルダーも搭載されており、複数のオペレーションからなるカスタム関数の定義および再利用を行うこともできます。

MapForce データ処理関数

MapForce では非常に高度な変換を行うことができ、Boolean ロジックや、文字列処理、数学的な計算、SQL ならびに SQL/XML ステートメント、そしてユーザー定義関数などを使用することができます。それ以外にも、既存の Web サービスを使用した検索やデータ処理などをマッピング内で行うこともできます。

MapForce データ変換:

  • データ処理関数により素早くデータを変換
  • 数学的な計算
  • ブール値、データ、時間、数値、または文字列の変換
  • 文字列や日時のプログラミング的な解析
  • 特殊なノード、シーケンス、EDIFACT、DB の関数
  • フィルター、条件、パラメーター、変数のサポート
  • SQL や SQL/XML におけるデータベース関数

関数ライブラリ

文字列の連結や、和算、乗算といった、様々な処理を行う内部関数に対して入力されるパラメーターの数に制限は無く、数学的な操作や複数のパラメーターをまとめるといった処理を行うことができます。count、sum、min、average、join-string といった集計関数によりデータグループ計算を行うことができます。複雑なデータ型の解析を簡単に行うために変換関数は提供されます。

コア ライブラリに収められている関数は一般化された関数で、特定の種類の出力を持ってはいません。これらのコア関数を使用して、XSLT 1.0/2.0、XQuery、Java、C++、または C# によるデータ変換コードを簡単に作成することができます。

中間変数

中間変数は特殊な種類のコンポーネントで、マッピングの中間結果を保管して更なる処理に使用したり、高度なマッピング問題を解決するために使用することができます。中間変数は通常の (非インライン) ユーザー定義関数と等価で、インスタンス ファイルを持たない構造コンポーネントです。

フィルターと条件

フィルターや条件をマッピングへ挿入することで、Boolean 条件をベースにしたソースからデータを選択することができます。

MapForce の IF-ELSE 条件は、プログラミング言語における switch 文と同様に使用することができ、値のマッチングを行うことで、マッピング プロジェクトにおけるデータの流れを簡単にコントロールすることができます。

変換パラメーター

MapForce では変換入力パラメーターがサポートされており、外部パラメーターによりマッピングの変換に影響を与えることができます。変換入力パラメーターは、Java、C#、または C++ にて生成された MapForce のコードにより作成されるメインマッピング関数へ渡すことができます。

データベース ETL ツール

MapForce には、あらゆるデータベースのデータ、XML、フラット ファイル、EDI、Excel (OOXML)、XBRL、Web サービス、そしてその他のデータベースフォーマット間のデータベース ETL マッピングに対するパワフルなサポートが含まれます。

デザイン ウィンドウ内でデータベース構造をロードした際、MapForce は自動的にデータベース スキーマを読み取り、利用可能なデータベース テーブルやビューを選択後、テーブル間のリレーションシップを認識することができます。

MapForce データベース マッピング

データベース ETL マッピングのために必要なコンテンツ モデルすべてをロードしたら、ソースとターゲット構造間に接続線をドラッグすることでマッピングを完成させます。

MapForce では、すべてのメジャーなリレーショナル データベースがサポートされており、データベースソース データ、データ処理関数とフィルター、その他の各種データ構造間に対して、グラフィカルなデータベース マッピング デザインを作成することが可能になります。

サポートされるデータベース:

  • Firebird 2.5, 3
  • IBM DB2 for iSeries® v6.1, 7.1
  • IBM DB2® 8, 9.1, 9.5, 9.7, 10.1, 10.5
  • Informix® 11.70, 12.10
  • MariaDB 10, 10.3
  • Microsoft Access™ 2003, 2007, 2010, 2013
  • Microsoft® Azure SQL
  • Microsoft® SQL Server® 2005, 2008, 2012, 2014, 2016, 2017
  • MySQL® 5, 5.1, 5.5, 5.6, 5.7, 8
  • Oracle® 9i, 10g, 11g, 12c
  • PostgreSQL 8, 9.0.10, 9.1.6, 9.2.1, 9.4, 9.6, 10
  • Progress OpenEdge 11.6
  • SQLite 3.x
  • Sybase® ASE 15, 16
  • Teradata 16

データベース マッピング機能:

  • メジャーなすべてのデータベースに対応したデータベース クエリ
  • サポートされているデータベース間における任意のデータ マッピング
  • データベース キーの設定
  • データベース テーブル アクションの設定
  • データベースへ直接問い合わせ
  • データベース フィールドにある XML へ接続し、マッピング
  • データベース入力コンポーネントの並び替え

データベースデータの処理とフィルタリング

多くのデータベース ETL マッピングでは、Boolean 条件や SQL、SQL/XML ステートメントをベースにしたソースとターゲット間のデータ操作が要求されます。更に論理的な比較や数学的な計算、文字列処理、データベース内にある特定の値をチェックしたり、データに対して何らかの処理を加える必要が生じることもあります。上のスクリーンショットでは、データ処理関数がソースとターゲット データモデル間を繋ぐライン上にあるボックスとして表示されています。

データ処理関数を使うことで、現実社会で必要とされる変換処理に対応した高度なデータベース マッピングを簡単に行うことができます。例えば、XML または EDI 要素から与えられた条件に従って、データベースの行を抽出するデータベース マッピングを作成することができます。

素早いデータベース変換

データ マッピングが定義されると、内蔵の MapForce エンジンにより、1 クリックでマッピングの結果の閲覧と保存を行うことができます。

データベースへのマッピングでは、(SELECT、INSERT、UPDATE、DELETE ステートメントなどを使用した) SQL スクリプト形式の出力により、MapForce 内部にてターゲット データベースに対するスクリプトを実行する前に編集を行うこともできます。

EDI のための ETL ツール

EDI 標準は電子取引のデータ交換を行うために長年にわたり広く使用されているフォーマットで、機関がトランザクションデータを送信するための、迅速で正確な手段です。EDI は ERP や CRM、など多くのサプライチェーンのためのテクノロジーといった統合ビジネステクノロジーにを優先し、 EDI メッセージが ETL アプリケーションのデータソースの場合、データ マッピングと変換を EDI 実装の重要なコンポーネントと位置づけました。

MapForce は今日使われているビジネス上のメジャーなデータ形式すべてをネイティブでサポートするグラフィカルな EDI マッパーで、XML、データベース、フラット ファイル、Excel、Web サービスだけではなく、EDIFACT、X12、HL7、NCPDP SCRIPT、IDoc、そして PADIS EDI トランザクションセットがサポートされます。

出たベースマッピングのための MapForce EDI

UN/EDIFACT、ANSI X12、HIPAA X12、Health Level 7 (HL7)、NCPDP SCRIPT、SAP IDoc、 IATA PADIS、TRADACOMS や XML、データベース、フラット ファイル、Excel、そして他の EDI システムや Web サービスオペレーション間のマッピングを視覚的に作成することにより EDI データ統合が簡便化されます。これにより、組織はコストを増加させたりアプリケーションインフラを複雑化することなく、電子的に情報の取りを行うことができるようになります。

複数のメッセージタイプを処理

MapForce では、複数のメッセージタイプを含む EDI ファイルに対応したマッピングの定義を行うことができます。複数のメッセージタイプを含んだ EDI ファイルが、データ マッピング プロジェクトのソースならびにターゲット側にてサポートされ、EDI マッピングに程度な柔軟性をもたらすことができるようになります。

メッセージの送信確認

EDI X12 標準では、997 acknowledgement メッセージにより、入ってくる情報のステータスがリレーされ、トランザクションやトランザクションのエラーの受信が保証されます。

MapForce では、入力 X12 メッセージから 997 acknowledgement へのマッピングを自動的に作成するような設定を簡単に行うことができ、社内またはパートナーネットワークとのシームレスな取引リンクを定義することが可能になります。

EDI 出力の検証

MapForce では EDI のソースならびにターゲットコンポーネントやマッピング出力を検証することにより、マッピングから出力される EDI の正確性を保証することができます。これにより、妥当な EDI メッセージだけが処理されることを保証することが可能になります。

テキストとフラット ファイルの ETL ツール

既存のテキストファイルに含まれているレガシーデータを抽出し、既存の ETL レポジトリと一貫性を持つように更新することができます。MapForce にはメインフレームのテキストレポートやテキスト形式のログファイル、その他のレガシーなテキスト ファイルをマッピング デザインで扱うためのユニークな FlexText ユーティリティが含まれています。視覚的なインターフェイスを備えた FlexText を使用することで、既存のテキスト ファイルを挿入、または MapForce インターフェイスにて変換する箇所のテキストを抽出することができます。

FlexText により作成されたテンプレートを MapForce へロードすることで、個々のテキストノードをデータベース、 EDI、XBRL、フラットファイル、 Excel、JSON、プロトコルバッファー、Web サービス 、そして Web サービスデータや、それらの組み合わせに変換することができます。FlexText にて作成した構成を保存することで、異なるマッピングにおけるテキスト ファイルにて同じテンプレートを再利用することができます。

MapForce テキスト処理

FlexText では ETL マッピングのためのテキスト ファイル変換テンプレートのルールを作成することができます。テキスト ファイルを FlexText インターフェイスで開くと、ファイルが 2 つのブロックにて表示されます。ルートブロックにはオリジナルのファイルが表示され、右側に表示されるオペレーションブロックには、抽出されたファイルのデータがリアルタイムで表示されます。

作成されたオペレーションの結果は、すべてリアルタイムで表示されるため、必要な結果が得られたかどうかを直ちに確認することができます。

レガシーなテキスト ファイルには、複雑なフラット ファイル内部に有用なデータが CSV (Comma-Separated Values) や FLF (固定長フィールド) 形式で収められている場合もあります。FlexText では CSV や FLF オペレーションにより、このようなデータを直接抽出することができます。分割などのオペレーションを行った後に、残された CSV や FLF フィールドに対して名前付けや長さの指定を行います。

関連するデータの抽出

FlexText の分割コマンドを使うことで、必要なデータとそうではないテキスト、文字、そして空白を分離させることができます。分割によりデータは新しい 2 つのブロックに表示されます: 1 つには分割により取り除かれたデータが、そしてもう 1 つには変換後に修正されたファイルのビューが表示されます。各オペレーションの実行結果を直ちに確認することができます。

ノード、無視、切り替え、および正規表現

FlexText ではノードならびに無視オペレーションがサポートされており、情報ツリー構築のさらなる柔軟性を提供しています。無視オペレーションを使うことで、そのテキスト ブロックは意味のないものとしてマークされ、MapForce では表示されないようになります。ノードオペレーションにより MapForce 内の情報ツリーに新しいノードを作成し、必要に応じてテキスト データの階層構造を正しく表示することができます。

スイッチオペレーションを使えば 1 つのテキスト ブロックに対して複数の条件を定義することができます。定義された条件を満たす場合のみ、テキストファイル内のデータは、 MapForce 変換内で使用される関連したコンテナーにパスされます。

FlexText による正規表現のためのサポート例えば、入力ファイルが、システムにより生成された数字と文字コードが左余白内にあるレポートである場合、レコードの型は、 「O」 の後に5つの数字にから構成されるシーケンスは、オフィスのための新しい箇所を示しています。

MapForce Server を使用した、ETL マッピングの実行

MapForce Serverr には、 MapForce のために開発された内蔵のデータ変換エンジンが含まれます。このエンジンはサーバー環境で作動するために大幅に拡張されています。MapForce Server は 以下のすべての組み合わせのデータ変換を MapForce 内で定義されたデータマッピングをベースに実行します 。(XML、JSON、 データベース、EDI、 XBRL、フラットファイル、Excel、およびまたは MapForce Server 実行ファイルに保存された前処理済みかつ最適化された データマッピングを使用した Web サービス)。MapForce Server の並列処理、マルチスレッド、バルク SQL マージ、クロスプラットフォームへのサポートなどの機能によりデータ変換を次のレベルに押し上げます。

早いパフォーマンスと大半のデータベースマッピングのメモリの占有領域の制限を可能にします。MapForce Server は FlowForce Server の管理下、またはコマンドラインまたは、プログラム面で API からの実行によるスタンドアロン構成により作動します。

MapForce XML マッピングのデザインとテストが完了した後、MapForce Server により繰り返し行われるデータ変換処理を自動化することができるようになります。

Creating a MapForce Server Execution File

MapForce は ETL データマッピングを前処理、最適化した後 MapForce Server のコマンドライン実行によりMapForce Server 実行ファイルに保存され FlowForce Server ジョブとしてアップロードされます。

MapForce Server が FlowForce Server の管理下で作動すると、データマッピングは、ジョブの一部として定義されたトリガーとして FlowForce Server のジョブステップとして実行されます。。例えば、新規 ETL インスタンスドキュメントがディレクトリに追加されると、 RaptorXML+XBRL Server を使用して最初に検証し、 XML から特定のデータを抽出し、データベースに挿入するなどの複数のステップの FlowForce Server ジョブがトリガーされます。