MapForce ETLツール。

エンタープライズ向けのETLソフトウェア。

ETL（Extract-Transform-Load）ツールは、外部データソースからデータを抽出する機能、抽出したデータを標準化されたデータ形式に変換する機能、そして変換されたデータを最終的なターゲットやデータリポジトリにロードする機能を提供します。

主要な企業向けデータ形式に対応しています。XMLMapForceは、JSON、PDF、データベース、フラットファイル、EDI、Protobuf、Shopify/GraphQLなど、様々な形式のデータを処理できる、非常に効率的で、軽量かつ拡張性の高いETLツールです。MapForceは、直感的で視覚的なETLマッピングインターフェースを提供しており、サポートされているあらゆるデータ構造を簡単に読み込むことができます。その後、ドラッグ＆ドロップ機能を使ってノードを接続したり、データ変換関数やフィルターを追加したり、または.. 視覚機能改善ツール より複雑なETLプロジェクトの場合。

MapForce ETLツールは、高性能なMapForce Serverを通じて、その視覚的なインターフェースと連携し、シームレスに自動化することができます。

MapForceを使用すると、ドラッグ＆ドロップ機能を利用したETLデータマッピングにより、データ構造を簡単に紐付けることができます。

高度なデータ処理のためのフィルターや関数は、組み込みの関数ライブラリを通じて追加できます。また、ビジュアルな関数作成ツールを使用することで、複数のインライン処理や再帰的な処理を組み合わせ、より複雑なETL（抽出、変換、ロード）やデータ統合プロジェクトを実現できます。さらに、作成した関数を他のマッピングプロジェクトで再利用することも可能です。

MapForceは、複数の入力スキーマ、複数のソースファイルおよび/またはターゲットファイル、または高度な多段階データ変換を含む、高度なETL（抽出、変換、ロード）のシナリオにも対応しています。

データストリーミング機能により、ETLプロジェクトのパフォーマンスが大幅に向上します。これにより、非常に大きなXML、CSV、およびFLFファイルやリレーショナルデータベースからデータをストリーミングで読み込み、同様に大きなXML、CSV、およびFLFファイルにストリーミングで出力したり、データベースに挿入したりすることが可能になります。

この組み込み機能により、MapForceは膨大なデータセットやETLプロジェクトを容易に処理できます。処理能力は、ローカルマシンに利用可能なディスク容量、またはネットワーク上でアクセス可能な容量によってのみ制限されます。

この機能を使用するには、MapForceのデザイン画面にあるツールバーから「BUILTIN」アイコンを選択するだけです。

MapForce Serverは、大量データのデータベースへの一括挿入機能に加え、直接的なデータストリーミングにも対応しており、ETL（抽出、変換、ロード）におけるデータマッピングの実行にも最適です。

データ形式の変換

ETL（Extract, Transform, Load）アプリケーションにおいて、インポートされるべき新しいデータは、既存のデータリポジトリとの互換性がない形式で提供されることがよくあります。MapForceは、高度な変換とデータ加工において、他に類を見ないほどの強力な機能と柔軟性を提供し、グローバルおよび企業内でのデータ統合プロジェクトのための効率的なETLツールとして活用できます。異なる形式の複数のファイルから、容易にデータを統合することができます。

MapForceは、データ統合の自動化をサポートしており、ローカル環境の企業、Webベースのワークフロー、さらにはクラウド環境における分散アプリケーションの接続に最適なミドルウェア製品です。

以下に示されているETLマッピングには、3種類のデータ形式が含まれています。主なデータソースはExcelのスプレッドシートであり、最終的な出力先はデータベースです。ただし、"SharesAndLeaves"データベースのカラムに格納されているデータは、JSONオブジェクトとして保存されています。MapForce ETLツールは、必要に応じてJSONオブジェクトを生成し、生成されたデータベースへの挿入ステートメントに含めます。これは、スクリーンショットの右下にある出力プレビューで強調表示されています。

MapForceは、XML、JSON、データベーススキーマ、Shopify API、EDI設定ファイル、PDFテンプレート、XBRL分類など、様々な形式のデータを、その内容の種類に関わらず、データ構造に基づいて統合します。つまり、ビジネスデータが変更されても、データマッピングを再利用することができます。

MapForceは、MapForce Serverによる実行用のMapForce実行ファイルを作成したり、Java、C#、またはC++で記述された、ロイヤリティフリーのデータ統合コードを生成し、ETLプロジェクトの自動的な再処理を可能にします。これにより、レポート、eコマース、またはSOAベースのアプリケーションに組み込むことができる、スケジュールに基づいたデータ統合/移行処理や、イベントをトリガーとするデータ統合/移行処理を実装できます。MapForceのデータ統合処理は、データ統合APIやActiveXコントロールを通じて自動化することも可能です。

ETLプロジェクトでは、ターゲットシステムがデータを利用する前に、入力データを加工・変換する必要があります。MapForceは、直感的なビジュアルインターフェースを備えた機能構築ツール、拡張性の高いデータ処理機能、組み込みライブラリ、フィルター、条件などを提供し、データの容易な加工と、異なる形式のデータの統合をサポートします。

MapForceは、アダプターやその他の追加機能のコレクションを組み合わせて使用する必要はありません。ユーザーは、XML、JSON、データベース、テキストファイル、EDI、Excel、XBRL、および/またはWebサービスデータなど、あらゆるデータ形式のデータ統合と変換の設計および実装を完全にコントロールできます。

データベースのETLツール。

MapForceのデータベースETLツールは、以下の機能において強力なサポートを提供します。 データベースのマッピング。XML、JSON、PDF、CSV、EDI、Excel、Protobuf、XBRL、Shopify/GraphQL、Webサービス、さらには他のデータベース形式など、あらゆる組み合わせのデータ形式間でデータベースデータをマッピングすることができます。

デザインウィンドウにデータベース構造を読み込むと、MapForceは自動的にデータベースのスキーマを解釈し、利用可能なデータベースのテーブルやビューを選択できるようにし、テーブル間の関係を認識します。

データベースのETLマッピングに必要なコンテンツモデルをすべて読み込んだら、ソースとターゲットの構造を結ぶ線をドラッグして接続するだけで、マッピングを完了できます。

データベースのマッピング機能：

MapForceは、主要なリレーショナルデータベースと、広く利用されているNoSQLデータベースを幅広くサポートしており、データベースのソースデータ、データ処理機能やフィルター、そして様々な種類のデータ構造間の、視覚的なデータベースマッピング設計を可能にします。

サポートされています。 リレーショナルデータベース ETLに関する情報：

サポートされています。 NoSQLデータベース ETLに関する情報：

多くのデータベースのETL（抽出、変換、ロード）処理では、ソースとターゲットのデータ間で、ブール条件やSQL、SQL/XMLのステートメントに基づいてデータの操作が必要になります。論理的な比較、数学的な計算、文字列操作、特定の値をデータベースに持つデータの確認など、さまざまな処理が必要になる場合があります。上記のスクリーンショットでは、データ処理機能が、ソースデータモデルとターゲットデータモデルを結ぶ線の中にあるボックスとして表示されています。

データ処理機能を使用することで、様々な実用的なデータ変換ニーズに対応し、データベースのマッピングをリアルタイムで高度に実行できます。例えば、XMLやEDIメッセージを使用して、XMLまたはEDIの要素に含まれるフィルタ条件に基づいて、データベースのレコードを抽出するようなマッピングを構築することができます。

マッピングが定義されると、内蔵されたMapForceエンジンにより、ワンクリックで結果を確認し、保存することができます。

データベースへのマッピング処理は、SQLスクリプト（例えば、SELECT、INSERT、UPDATE、およびDELETE文）を生成し、これらのスクリプトをMapForce内から直接、またはMapForce Serverを通じて、対象のデータベースに対して実行します。

テキストデータとフラットファイル向けのETLツール。

既存のテキストファイルに含まれるレガシーデータを抽出し、既存のETLリポジトリとの整合性を保つように更新することができます。MapForceには、メインフレームのテキストレポート、テキストベースのログファイル、その他のレガシーテキストファイル形式などのテキストファイルを解析・変換するための、独自のFlexTextユーティリティが搭載されています。FlexTextは、視覚的なインターフェースを備えており、既存のテキストファイルを挿入し、MapForceのマッピングインターフェース内で変換したい部分を抽出することができます。

FlexTextは、テンプレートを作成し、それをMapForceに読み込みます。MapForceでは、個々のテキスト要素を、XML、データベース、PDF、EDI、XBRL、単純テキストファイル、Excel、JSON、Protocol Buffers、およびWebサービスデータなど、様々な形式に変換できます。FlexTextで作成した設定を保存することで、同じテンプレートを再利用し、複数のマッピングで複数のテキストファイルを変換することができます。

FlexTextを使用すると、ETLマッピングのためのテキストファイル変換テンプレートのルールを作成できます。FlexTextのインターフェースでテキストファイルを開くと、ファイルの内容が2つの領域に表示されます。左側の領域は元のファイルを、右側の領域は操作領域で、必要なデータを抽出する際に、ファイルの内容がリアルタイムで表示されます。

実行するすべての操作の結果はリアルタイムで表示されるため、目的の結果が得られたかどうかをすぐに確認できます。

古いテキストファイルには、CSV（カンマ区切り）やFLF（固定長フィールド）形式で有用なデータが、より複雑なフラットファイルの中に含まれている場合があります。FlexTextを使用すると、CSVおよびFLFの機能を使って、そのようなデータを直接抽出できます。分割やその他の処理を行った後、残ったCSV形式またはFLF形式のフィールドを、フィールド名、長さなどを設定することで保存できます。

FlexTextを使用すると、不要なテキスト、文字、および空白を分割コマンドで削除することで、必要なデータのみを抽出できます。分割処理を行うと、データは2つの新しいブロックに表示されます。1つは抽出されたデータが格納されたブロックで、もう1つは変換されたファイルの変更後の内容が表示されるブロックです。実行した操作の結果をすぐに確認できます。

FlexTextは、情報ツリーの構築において、より柔軟な操作を可能にする「ノード」と「無視」の機能を提供します。「無視」機能は、変換の対象外とするテキストブロックを指定し、MapForceにそのブロックを無視するように指示します。「ノード」機能は、MapForce内で新しいノードを作成し、必要に応じてテキストデータの階層構造を適切に表現することができます。

Switch機能を使用すると、テキストの特定の箇所に対して複数の条件を定義できます。テキストファイル内のデータは、定義された条件を満たす場合にのみ、関連するコンテナに渡され、MapForceでの変換処理に使用されます。

FlexTextは、正規表現にも対応しています。例えば、入力ファイルがシステムによって生成されたレポートであり、左側のマージンに数字とアルファベットのコードが記載されているとします。この場合、5桁の数字の後に「O」が続くパターンは、あるオフィスに関する新しいセクションの開始を示している可能性があります。