使用較高階函式擷取類似記錄

使用資料Distiller高階函式來解決各種常見的使用案例。 若要從一個或多個資料集中識別及擷取類似或相關的記錄，請使用本指南中詳述的篩選、轉換和還原函式。 若要瞭解如何使用高階函式來處理複雜的資料型別，請參閱有關如何管理陣列和對應資料型別的檔案。

使用本指南來識別來自不同資料集，且其特性或屬性具有重大相似性的產品。 此方法提供的解決方案包括：重複資料刪除、記錄連結、建議系統、資訊擷取和文字分析等。

本檔案說明實作相似度加入的程式，接著會使用Data Distiller高階函式計算資料集之間的相似度，並根據選取的屬性加以篩選。 對於程式的每個步驟，都會提供SQL程式碼片段和說明。 此工作流程會使用Jaccard相似性測量來實施相似性結合，並使用Data Distiller高階函式來實施代碼化。 這些方法接著用於根據相似性量度，從一個或多個資料集中識別及擷取類似或相關的記錄。 處理序的關鍵區段包括： 使用高階函式的tokenization、唯一元素的交叉聯結、Jaccard相似度計算，以及臨界值型篩選。

先決條件

在繼續閱讀本檔案之前，您應該熟悉下列概念：

快速入門

必須使用Data Distiller SKU才能對Adobe Experience Platform資料執行更高階的功能。 如果您沒有Data Distiller SKU，請聯絡您的Adobe客戶服務代表以取得更多資訊。

建立相似性 establish-similarity

此使用案例需要稍後用來建立篩選臨界值的文字字串之間的相似性測量。 在此範例中，集合A和集合B中的產品代表兩個檔案中的文字。

Jaccard相似性量度可套用至廣泛的資料型別，包括文字資料、分類資料和二進位資料。 它也適合用於即時或批次處理，因為它對於大型資料集的計算上很有效率。

產品集A和產品集B包含此工作流程的測試資料。

若要計算產品集A和B之間的Jaccard相似度，請先尋找產品集的​ 交集 （通用元素）。 在這種情況下，{iPhone, iPad}。 接下來，尋找兩個產品集的​ 聯合 （所有唯一元素）。 在此範例中，{iPhone, iPad, iWatch, iPad Mini, Macbook Pro}。

最後，使用Jaccard相似度公式： J(A,B) = A∪B / A∩B來計算相似度。

J =積木距離
A =設定1
B =設定2

產品集A和B之間的Jaccard相似度為0.4。這表示兩個檔案中使用的字詞之間具有中等程度的相似性。 這兩個集之間的這種相似性定義了相似性聯結中的欄。 這些欄代表儲存在表格中且用於執行相似度計算的資訊片段，或與資料相關聯的特性。

使用字串相似度進行配對的Jaccard計算 pairwise-similarity

若要更準確地比較字串之間的相似性，必須計算成對相似性。 「成對相似度」會將高維物件分割成較小維度的物件，以供比較和分析。 為此，文字字串將分成較小的部分或單位（代號）。 它們可以是個別字母、字母群組（如音節）或完整字詞。 系統會計算集合A中每個元素與集合B中每個元素之間每對權杖的相似度。此代碼化作業提供分析和運算比較、關係和深入分析的基礎，以便從資料中提取。

對於成對相似度計算，此範例使用字元雙格（兩個字元權杖）來比較集合A和集合B中產品文字字串之間的相似度比對。雙元格是指定序列或文字中兩個專案或元素的連續序列。 您可以將其泛化為n格。

此範例假設大小寫無關緊要，且不應計入空格。 根據這些條件，「設定A」和「設定B」具有下列雙格線：

產品集A雙格：

產品集B雙格：

接著，計算每組的Jaccard相似度係數：

使用SQL建立測試資料 create-test-data

若要手動建立產品集的測試表格，請使用SQL CREATE TABLE敘述句。

CREATE TABLE featurevector1 AS SELECT *
FROM (
    SELECT 'iPad' AS ProductName
    UNION ALL
    SELECT 'iPhone'
    UNION ALL
    SELECT 'iWatch'
     UNION ALL
    SELECT 'iPad Mini'
);
SELECT * FROM featurevector1;

下列說明提供上述SQL程式碼區塊的劃分：

SQL陳述式會建立表格，如下所示：

若要建立第二個特徵向量，請使用下列SQL敘述句：

CREATE TABLE featurevector2 AS SELECT *
FROM (
    SELECT 'iPad' AS ProductName
    UNION ALL
    SELECT 'iPhone'
    UNION ALL
    SELECT 'Macbook Pro'
);
SELECT * FROM featurevector2;

資料轉換 data-transformation

在此範例中，必須執行數個動作才能準確比較集合。 首先，系統會移除特徵向量中的所有空格，因為系統假設這些空格不會對相似性度量產生任何影響。 然後，會移除特徵向量中的任何重複專案，因為這些專案會浪費運算處理。 接著，從特徵向量中擷取兩個字元（雙格）的權杖。 在此範例中，它們被假定為重疊。

以下章節說明在開始代碼化程式之前的先決條件資料轉換，例如重複資料刪除、移除空白字元和小寫轉換。

去重複化 deduplication

接下來，使用DISTINCT子句移除重複專案。 此範例中沒有重複專案，不過這是改善任何比較正確性的重要步驟。 必要的SQL顯示如下：

SELECT DISTINCT(ProductName) AS featurevector1_distinct FROM featurevector1
SELECT DISTINCT(ProductName) AS featurevector2_distinct FROM featurevector2

移除空格 whitespace-removal

在以下SQL陳述式中，會從特徵向量中移除空格。 查詢的replace(ProductName, ' ', '') AS featurevector1_nospaces部分從featurevector1資料表取得ProductName資料行並使用replace()函式。 REPLACE函式會以空字串(")取代所有出現的空格(' ')。 這會有效地從ProductName值中移除所有空格。 結果別名為featurevector1_nospaces。

SELECT DISTINCT(ProductName) AS featurevector1_distinct, replace(ProductName, ' ', '') AS featurevector1_nospaces FROM featurevector1

結果如下表所示：

SQL陳述式及其在第二個特徵向量上的結果如下所示：

SELECT DISTINCT(ProductName) AS featurevector2_distinct, replace(ProductName, ' ', '') AS featurevector2_nospaces FROM featurevector2

轉換為小寫 lowercase-conversion

接著，SQL經過改良，將產品名稱轉換為小寫並移除任何空格。 下層函式(lower(...))已套用至replace()函式的結果。 下層函式會將修改ProductName值中的所有字元轉換為小寫。 這可確保值為小寫，無論其原始大小寫為何。

SELECT DISTINCT(ProductName) AS featurevector1_distinct, lower(replace(ProductName, ' ', '')) AS featurevector1_transform FROM featurevector1;

此陳述式的結果為：

SQL陳述式及其在第二個特徵向量上的結果如下所示：

SELECT DISTINCT(ProductName) AS featurevector2_distinct, lower(replace(ProductName, ' ', '')) AS featurevector2_transform FROM featurevector2

使用SQL擷取Token tokenization

下一個步驟是代碼化，或文字分割。 代碼化是擷取文字並將其分成個別辭彙的程式。 這通常涉及將句子分割成單字。 在此範例中，字串會透過使用SQL函式（例如regexp_extract_all）擷取權杖而分解為雙格（和更高階n格）。 必須為有效的代碼化產生重疊的雙向圖。

SQL已進一步改善以使用regexp_extract_all。 regexp_extract_all(lower(replace(ProductName, ' ', '')), '.{2}', 0) AS tokens:此部分的查詢會進一步處理上一步驟中建立的已修改ProductName值。 它使用regexp_extract_all()函式從修改的小寫ProductName值中擷取一到兩個字元的所有非重疊子字串。 .{2}規則運算式模式符合長度為兩個字元的子字串。 然後，函式的regexp_extract_all(..., '.{2}', 0)部分會從輸入文字中擷取所有相符的子字串。

SELECT DISTINCT(ProductName) AS featurevector1_distinct, lower(replace(ProductName, ' ', '')) AS featurevector1_transform,
regexp_extract_all(lower(replace(ProductName, ' ', '')) , '.{2}', 0) AS tokens
FROM featurevector1;

結果如下表所示：

若要進一步改善正確性，必須使用SQL來建立重疊的權杖。 例如，上方的「iPad」字串缺少「pa」代號。 若要解決此問題，請將lookahead運運算元（使用substring）移動一個步驟，並產生雙元格。

與上一個步驟類似，regexp_extract_all(lower(replace(substring(ProductName, 2), ' ', '')), '.{2}', 0):會從修改的產品名稱中擷取兩個字元的序列，但會使用substring方法從第二個字元開始建立重疊的權杖。 接著，在第3到7行(array_union(...) AS tokens)中，array_union()函式會結合兩個規則運算式擷取所取得的雙字元序列陣列。 這可確保結果包含來自非重疊和重疊序列的唯一權杖。

SELECT DISTINCT(ProductName) AS featurevector1_distinct,
       lower(replace(ProductName, ' ', '')) AS featurevector1_transform,
       array_union(
           regexp_extract_all(lower(replace(ProductName, ' ', '')), '.{2}', 0),
           regexp_extract_all(lower(replace(substring(ProductName, 2), ' ', '')), '.{2}', 0)
       ) AS tokens
FROM featurevector1;

結果如下表所示：

不過，使用substring作為問題的解決方案有其限制。 如果您要以三字元（三個字元）為基礎從文字製作權杖，需要使用兩個substrings來回顧兩次，以取得所需的班次。 若要產生10克，您需要九個substring運算式。 這會使程式碼膨脹，變得無法維持。 不適宜使用純規則運算式。 我們需要新方法。

調整產品名稱的長度 length-adjustment

可使用序列和長度函式改善SQl。 在下列範例中，sequence(1, length(lower(replace(ProductName, ' ', ''))) - 3)會產生從一到修改的產品名稱長度減三的編號序列。 例如，如果修改後的產品名稱是字元長度為8的「ipadmini」，則會產生一到五(8-3)的數字。

以下陳述式會擷取唯一的產品名稱，然後將每個名稱細分為四個字元長度的字元（代號）序列（不包括空格），並將它們顯示為兩欄。 其中一欄顯示唯一的產品名稱，而另一欄則顯示其產生的Token。

SELECT
   DISTINCT(ProductName) AS featurevector1_distinct,
  transform(
    sequence(1, length(lower(replace(ProductName, ' ', ''))) - 3),
    i -> substring(lower(replace(ProductName, ' ', '')), i, 4)
  ) AS tokens
FROM
  featurevector1;

結果如下表所示：

確保設定權杖長度 ensure-set-token-length

可以向陳述式新增其他條件，以確保產生的序列具有特定長度。 下列SQL陳述式會使transform函式更複雜，以擴充權杖產生邏輯。 陳述式使用transform內的filter函式，以確保產生的序列長度為6個字元。 它透過將NULL值指定給這些職位來處理不可能的情況。

SELECT
  DISTINCT(ProductName) AS featurevector1_distinct,
  transform(
    filter(
      sequence(1, length(lower(replace(ProductName, ' ', ''))) - 5),
      i -> i + 5 <= length(lower(replace(ProductName, ' ', '')))
    ),
    i -> CASE WHEN length(substring(lower(replace(ProductName, ' ', '')), i, 6)) = 6
               THEN substring(lower(replace(ProductName, ' ', '')), i, 6)
               ELSE NULL
          END
  ) AS tokens
FROM
  featurevector1;

結果如下表所示：

使用Data Distiller高階函式探索解決方案 higher-order-function-solutions

高階函式是強大的建構，可讓您實作「程式設計」，例如Data Distiller中的語法。 它們可用來反複運算陣列中多個值的函式。

在Data Distiller中，高階函式非常適合建立n格和反複處理字元順序。

reduce函式（尤其是在transform產生的序列內使用時）提供衍生累積值或聚總的方法，這在各種分析和計畫處理中可能至關重要。

例如，在下面的SQl陳述式中，reduce()函式會使用自訂彙總器來彙總陣列中的元素。 它會模擬for回圈以​ 建立所有整數 ​從1到5的累積和。1, 1+2, 1+2+3, 1+2+3+4, 1+2+3+4。

SELECT transform(
    sequence(1, 5),
    x -> reduce(
        sequence(1, x),
        0,  -- Initial accumulator value
        (acc, y) -> acc + y  -- Higher-order function to add numbers
    )
) AS sum_result;

以下是對SQL敘述句的分析：

總而言之，這個高階函式接受兩個引數（acc和y），並定義要執行的作業，在此情況下，會將y加入累加器acc。 在縮減程式期間，會針對序列中的每個元素執行此高階函式。

此陳述式的輸出是單一資料行(sum_result)，其中包含一到五的數字累積總和。

高階函式的值 value-of-higher-order-functions

本節會分析精簡版的Tri-gram SQL敘述句，以便更清楚瞭解Data Distiller中高階函式的值，進而更有效率地建立n個字元。

以下陳述式在featurevector1資料表中的ProductName資料行上運作。 它會使用從產生的序列中取得的位置，產生一組衍生自表格內已修改產品名稱的三字元子字串。

SELECT
  transform(
    sequence(1, length(lower(replace(ProductName, ' ', ''))) - 2),
    i -> substring(lower(replace(ProductName, ' ', '')), i, 3)
  )
FROM
  featurevector1

以下是對SQL敘述句的分析：

輸出是長度為三個字元的子字串清單，根據序列中指定的位置從修改的產品名稱中擷取。

篩選結果 filter-results

filter函式具有後續的資料轉換，允許從文字資料更精細且更精確地擷取相關資訊。 這可讓您獲得見解、改善資料品質並促進更好的決策過程。

下列SQL陳述式中的filter函式可用來調整及限制字串中的位置順序，後續的轉換函式會從中擷取子字串。

SELECT
  transform(
    filter(
      sequence(1, length(lower(replace(ProductName, ' ', ''))) - 6),
      i -> i + 6 <= length(lower(replace(ProductName, ' ', '')))
    ),
    i -> CASE WHEN length(substring(lower(replace(ProductName, ' ', '')), i, 7)) = 7
               THEN substring(lower(replace(ProductName, ' ', '')), i, 7)
               ELSE NULL
          END
  )
FROM
  featurevector1;

filter函式在修改的ProductName內產生一系列有效的起始位置，並擷取特定長度的子字串。 只允許允許擷取七個字元的子字串的開始位置。

條件i -> i + 6 <= length(lower(replace(ProductName, ' ', '')))可確保起始位置i加上6 （所需7個字元子字串的長度減一）不超過修改的ProductName的長度。

CASE陳述式用於根據子字串的長度有條件地包含或排除子字串。 只包含7個字元的子字串；其他字串則以NULL取代。 然後transform函式會使用這些子字串，從featurevector1表格的ProductName資料行建立子字串序列。

計算兩個特徵向量間不重複元素的交叉聯結 cross-join-unique-elements

根據資料的特定轉換來識別兩個資料集之間的差異或差異，是維持資料準確性、改善資料品質及確保資料集之間一致性的常見程式。

以下這個SQL陳述式會在套用轉換後，擷取featurevector2中存在，但featurevector1中不存在的不重複產品名稱。

SELECT lower(replace(ProductName, ' ', '')) FROM featurevector2
EXCEPT
SELECT lower(replace(ProductName, ' ', '')) FROM featurevector1;

結果如下表所示：

接下來，執行交叉聯結以組合來自兩個特徵向量的元素，以建立元素配對以供比較。 此程式的第一步是建立代碼化向量。

標籤化向量是文字資料的結構化表示法，其中每個字詞、片語或意義單位（標籤）都會轉換為數字格式。 此轉換可讓自然語言處理演演算法瞭解和分析文字資訊。

下方的SQl會建立標籤化向量。

CREATE TABLE featurevector1tokenized AS SELECT
  DISTINCT(ProductName) AS featurevector1_distinct,
  transform(
    filter(
      sequence(1, length(lower(replace(ProductName, ' ', ''))) - 1),
      i -> i + 1 <= length(lower(replace(ProductName, ' ', '')))
    ),
    i -> CASE WHEN length(substring(lower(replace(ProductName, ' ', '')), i, 2)) = 2
               THEN substring(lower(replace(ProductName, ' ', '')), i, 2)
               ELSE NULL
          END
  ) AS tokens
FROM
  (SELECT lower(replace(ProductName, ' ', '')) AS ProductName FROM featurevector1);
SELECT * FROM featurevector1tokenized;

結果如下表所示：

然後對featurevector2重複此程式：

CREATE TABLE featurevector2tokenized AS
SELECT
  DISTINCT(ProductName) AS featurevector2_distinct,
  transform(
    filter(
      sequence(1, length(lower(replace(ProductName, ' ', ''))) - 1),
      i -> i + 1 <= length(lower(replace(ProductName, ' ', '')))
    ),
    i -> CASE WHEN length(substring(lower(replace(ProductName, ' ', '')), i, 2)) = 2
               THEN substring(lower(replace(ProductName, ' ', '')), i, 2)
               ELSE NULL
          END
  ) AS tokens
FROM
(SELECT lower(replace(ProductName, ' ', '')) AS ProductName FROM featurevector2
);
SELECT * FROM featurevector2tokenized;

結果如下表所示：

兩個標籤化向量都完成後，您現在可以建立交叉聯結。 這可在以下SQL中看見：

SELECT
    A.featurevector1_distinct AS SetA_ProductNames,
    B.featurevector2_distinct AS SetB_ProductNames,
    A.tokens AS SetA_tokens1,
    B.tokens AS SetB_tokens2
FROM
    featurevector1tokenized A
CROSS JOIN
    featurevector2tokenized B;

以下是用來建立交叉聯結的SQl摘要：

結果如下表所示：

計算Jaccard相似性測量 compute-the-jaccard-similarity-measure

接下來，使用Jaccard相似度係數進行計算，透過比較兩組產品名稱的代碼化表示來執行相似度分析。 以下SQL指令碼的輸出會提供下列內容：兩個資料集的產品名稱、其標籤化表示、通用和總唯一標籤計數，以及每對資料集的已計算Jaccard相似度係數。

SELECT
    SetA_ProductNames,
    SetB_ProductNames,
    SetA_tokens1,
    SetB_tokens2,
    size(array_intersect(SetA_tokens1, SetB_tokens2)) AS token_intersect_count,
    size(array_union(SetA_tokens1, SetB_tokens2)) AS token_union_count,
    ROUND(
        CAST(size(array_intersect(SetA_tokens1, SetB_tokens2)) AS DOUBLE) /    size(array_union(SetA_tokens1, SetB_tokens2)), 2) AS jaccard_similarity
FROM
    (SELECT
        A.featurevector1_distinct AS SetA_ProductNames,
        B.featurevector2_distinct AS SetB_ProductNames,
        A.tokens AS SetA_tokens1,
        B.tokens AS SetB_tokens2
    FROM
        featurevector1tokenized A
    CROSS JOIN
        featurevector2tokenized B
    );

以下是用來計算Jaccard相似度係數的SQL摘要：

結果如下表所示：

根據Jaccard相似度臨界值篩選結果 similarity-threshold-filter

最後，根據預先定義的臨界值篩選結果，以僅選取符合相似度條件的配對。 下列SQL陳述式會篩選Jaccard相似度係數至少為0.4的產品。這會將結果縮小至顯示相當程度相似性的配對。

SELECT
    SetA_ProductNames,
    SetB_ProductNames
FROM
(SELECT
    SetA_ProductNames,
    SetB_ProductNames,
    SetA_tokens1,
    SetB_tokens2,
    size(array_intersect(SetA_tokens1, SetB_tokens2)) AS token_intersect_count,
    size(array_union(SetA_tokens1, SetB_tokens2)) AS token_union_count,
    ROUND(
        CAST(size(array_intersect(SetA_tokens1, SetB_tokens2)) AS DOUBLE) / size(array_union(SetA_tokens1, SetB_tokens2)),
        2
    ) AS jaccard_similarity
FROM
    (SELECT
        A.featurevector1_distinct AS SetA_ProductNames,
        B.featurevector2_distinct AS SetB_ProductNames,
        A.tokens AS SetA_tokens1,
        B.tokens AS SetB_tokens2
    FROM
        featurevector1tokenized A
    CROSS JOIN
        featurevector2tokenized B
    )
)
WHERE jaccard_similarity>=0.4

此查詢的結果會提供相似性聯結的欄，如下所示：