インポートされたファイルからのデータの重複排除

この例は、データをデータベースに読み込む前に、インポートしたファイルからデータの重複を除外する方法を示します。このプロセスにより、データベースに読み込まれたデータの品質が向上します。

このワークフローは次の要素で構成されます。

  • プロファイルのリストを含むファイルは、ファイルの読み込みアクティビティを使用して読み込まれます。 この例では、インポートされるファイルは .csv 形式で、10 個のプロファイルを含んでいます。

    lastname;firstname;dateofbirth;email
Smith;Hayden;23/05/1989;hayden.smith@example.com
Mars;Daniel;17/11/1987;dannymars@example.com
Smith;Clara;08/02/1989;hayden.smith@example.com
Durance;Allison;15/12/1978;allison.durance@example.com
Lucassen;Jody;28/03/1988;jody.lucassen@example.com
Binder;Tom;19/01/1982;tombinder@example.com
Binder;Tommy;19/01/1915;tombinder@example.com
Connor;Jade;10/10/1979;connor.jade@example.com
Mack;Clarke;02/03/1985;clarke.mack@example.com
Ross;Timothy;04/07/1986;timross@example.com

    このファイルは、列の形式を検出および定義するためのサンプルファイルとしても使用できます。「Column definition」タブで、インポートしたファイルの各列が正しく設定されていることを確認します。

  • 重複排除 - 重複アクティビティ。 ファイルをインポートした後、データベースにデータを挿入する前に重複排除が直接実行されます。したがって、「Load file」アクティビティの「Temporary resource」に基づいている必要があります。

    この例では、ファイルに含まれている一意の E メールアドレスごとに 1 つのエントリを保持します。そのため、重複の識別は一時リソースの email 列に対しておこなわれます。ただし、2 つの E メールアドレスがファイルに 2 回出現します。したがって、2 行が重複と見なされます。

  • Update dataアクティビティを使用すると、重複排除 - 重複プロセスから保持されたデータをデータベースに挿入できます。 インポートされたデータがプロファイルディメンションに属していると識別されるのは、データの更新時のみです。

    ここでは、「Insert only」を指定して、データベースにまだ存在しないプロファイルだけを挿入します。それには、ファイルの email 列と​プロファイル​ディメンションの E メールフィールドを紐付けキーとして使用します。

    データの挿入元となるファイル列と「Fields to update」タブのデータベースフィールドとのマッピングを指定します。

そのあと、ワークフローを開始します。重複排除プロセスで保存されたレコードがデータベース内のプロファイルに追加されます。

このページ