一括データマッピングプロジェクトの作成方法

データ処理において、バッチデータのマッピングは、特にデータ変換や統合の文脈で頻繁に必要とされます。これは、個々のデータ項目を一つずつ処理するのではなく、データをまとめて処理する手法です。バッチデータのマッピングは、複数のデータソースからの入力を統合したり、変換したりする必要があるデータ統合やETL（Extract, Transform, Load）のシナリオでよく利用されます。一般的なシナリオとしては、「バッチからバッチへ」と「バッチから一つへ」の2つがあります

弊社のバッチデータ処理に関する動画シリーズでは、MapForceの視覚的なツールを使って、これらのプロジェクトを段階的に実装する方法を解説しています。

バッチ間データマッピング

大量データの処理は、データがまとめて更新または変更される場合に役立ちます。このような場合、それらのデータをまとめて同期したり、変換したりする必要があることがあります。例えば、データを別の形式に変換したり、特定の並べ替えや計算を実行したり、これらの組み合わせを行うといったことが考えられます。

このデモでは、特定のディレクトリからファイルを読み込み、ワイルドカードを使用して、複数のファイルをまとめて処理するためのデータマッピングプロジェクトを作成します。次に、マッピングによって提供される動的なファイル名を使用して、バッチ変換を定義する別の方法を紹介します。このデモでは、データマッピングプロジェクトに計算やコメントを追加する方法も示します。

この動画では、JSONファイルをXMLファイルに変換する一例を紹介していますが、MapForceは、XML、JSON、PDF、データベース、テキスト、Protobuf、Excel、XBRL、Shopifyなど、さまざまな形式のデータを組み合わせた変換やデータ統合、およびETLプロセスをサポートしています。

バッチ処理によるデータ変換

一括処理から個別処理へデータ変換また、複数のファイルを1つのまとまったドキュメントに統合したり、その際にデータ変換、形式変換、または計算などの処理を行う必要がある場合にも、この機能がよく利用されます。

この例では、バッチ処理の定義方法について、様々なアプローチを紹介します。これらのアプローチは、異なる状況で活用できます

同じディレクトリにある複数のファイルを、ワイルドカードを使って指定する
別のディレクトリに保存されているファイル名の一覧に基づいて、バッチファイルを特定・選択する

このデモでは、複数のファイルから結合されたデータを、目的のファイルに書き込む前にどのようにソートするかについても説明しています。

これらの短いデモ動画をご覧になった後、MapForceの無料トライアル版をダウンロードして、バッチ処理によるデータマッピング、変換、およびデータ加工を実際に試すことができます。

さらに多くのMapForceのデモをご覧ください

もしこれらの動画がお気に召したのであれば、ぜひ他の動画もご覧になってみてください MapForce デモシリーズ, これは、XMLやJSONのデータ構造をデータベースにマッピングすることから、データ処理機能の設定、そしてPDFドキュメントからのデータ抽出まで、あらゆることを網羅しています。