Target의 추천 알고리즘에 숨겨진 과학

항목 기반 알고리즘: "이 항목을 보거나 구입한 사람도 이 항목을 보거나 구입한 사람"이라는 논리를 따르는 알고리즘을 포함합니다. 이러한 알고리즘은 Items with Similar Attributes 알고리즘과 함께 포괄적 용어 항목-항목 공동 작업 필터링으로 그룹화됩니다.

사용자 기반 알고리즘: Recently Viewed 및 Recommended for You 알고리즘을 포함합니다.

인기도 기반 알고리즘: 웹 사이트에서 가장 많이 본 항목 또는 가장 많이 구매한 항목, 범주 또는 항목 특성별로 가장 많이 본 항목 또는 가장 많이 구매한 항목을 반환하는 알고리즘을 포함합니다.

장바구니 기반 알고리즘: "이러한 항목을 보거나 구입한 사람, 해당 항목을 보거나 구입한 사람"이라는 논리를 사용하여 다중 항목 기반 권장 사항을 포함합니다.

사용자 지정 기준: Target에 업로드된 사용자 지정 파일에 따른 권장 사항을 포함합니다.

입력 데이터: Target 구현 또는 Adobe Analytics에서 수집한 방문자 보기 및 구매 형식의 행동 데이터입니다.

모델 교육:

• 데이터 정리 및 샘플링: N일 전환 확인이 있는 알고리즘의 경우 동작 데이터가 먼저 N일 데이터만 포함하도록 필터링됩니다. 그런 다음 컬렉션 규칙 및 전역 제외가 적용되어 권장되지 않아야 하는 모든 항목을 제거합니다. 마지막으로 1,000개 이상의 항목과 상호 작용한 모든 방문자는 사용 데이터를 1,000개 항목으로만 샘플링했습니다.
• 항목 유사성 계산: 이 유사성 점수로 모든 후보 항목 쌍 간의 로그 가능성 비율 유사성과 항목의 순위 쌍을 계산하는 핵심 계산 단계입니다.
• 오프라인 필터링: 마지막으로 적용 가능한 모든 동적 필터가 적용됩니다(예: 동적 범주 제외). 이 단계 후에는 사전 계산된 권장 사항이 전역적으로 캐시되어 제공할 수 있습니다.

모델 제공: Recommendations 콘텐츠가 Target의 전역 "Edge" 네트워크에서 전달됩니다. Target에 mbox 요청을 하고 권장 사항 콘텐츠를 페이지로 전달해야 한다고 결정되면 권장 사항 알고리즘에 대한 적절한 항목 키에 대한 요청을 요청에서 구문 분석하거나 사용자 프로필에서 조회한 다음 이전 단계에서 계산된 권장 사항을 검색하는 데 사용합니다. 적절한 디자인이 렌더링되기 전에 현재 동적 필터가 추가로 적용됩니다.

입력 데이터: 앞에서 설명한 대로 이 알고리즘은 순전히 카탈로그 데이터(카탈로그 피드, 엔터티 API 또는 페이지 업데이트를 통해 Target에 수집됨을(를) 기반으로 합니다.

모델 교육:

• 특성 추출: 일반 정적 필터, 카탈로그 규칙 및 전역 제외를 적용한 후 이 알고리즘은 엔터티 스키마에서 관련 텍스트 필드를 추출합니다. Target은(는) 엔터티 특성에서 이름, 메시지 및 범주 필드를 자동으로 사용하며 사용자 지정 엔터티 특성에서 문자열 필드를 추출하려고 합니다. 이 프로세스는 해당 필드에 대한 값의 대부분을 숫자, 날짜 또는 부울로 구문 분석할 수 없도록 함으로써 수행됩니다.

• 어간 및 정지어 제거: 텍스트 유사성을 보다 정확하게 일치시키려면 항목의 의미(예: "was", "is", "and" 등)를 크게 변경하지 않는 매우 일반적인 "정지어" 단어를 제거하는 것이 좋습니다. 마찬가지로 형태소 분석이란 동일한 의미(예: "connect", "connecting", "connection"은 모두 동일한 루트 단어를 가지고 있습니다. "connect")를 가진 루트 단어에 접미사가 다른 단어를 축소하는 과정을 말합니다. Target이(가) Snowball Stemer를 사용합니다. Target은(는) 먼저 자동 언어 검색을 수행하고 최대 50개 언어에 대해 단어 제거를 중단하고 18개 언어에 대해 어간을 분석할 수 있습니다.

• n그램 만들기: 이전 단계 후에 각 단어는 토큰으로 처리됩니다. 토큰의 연속적인 시퀀스를 하나의 토큰으로 결합하는 과정을 n-그램 생성이라고 한다. Target의 알고리즘은 최대 2g까지 고려합니다.

• tf-idf 계산: 다음 단계에서는 항목 설명에 있는 토큰의 상대적 중요도를 반영하도록 tf-idf 벡터를 만듭니다. 항목 i의 각 토큰/용어 t에 대해 다음을 포함하는 카탈로그 D의 |D| 항목 빈도 TF(t, i)라는 용어와 문서 빈도 DF(t, D)라는 용어가 먼저 계산됩니다(항목 i에 용어가 나타나는 횟수). 본질적으로, 토큰 t가 존재하는 항목의 수. 그러면 tf-idf 측정값이

  

  Target은(는) Apache Spark의 tf-idf 기능 구현을 사용합니다. 후드에서 각 토큰을 218개 토큰 공간으로 해시합니다. 이 단계에서는 criteria에 지정된 설정을 기반으로 각 벡터의 용어 빈도를 조정하여 고객이 지정한 특성 부스팅 및 매립도 적용합니다.

• 항목 유사성 계산: 최종 항목 유사성 계산은 근사 코사인 유사성을 사용하여 수행됩니다. 벡터 tA와 tB가 있는 두 항목 A 및 B ​의 경우 코사인 유사성은 다음과 같이 정의됩니다.

  

  모든 N x N 항목 간의 유사성을 계산하는 데 상당한 복잡성을 방지하기 위해 tf-idf 벡터를 최대 500개의 항목만 포함하도록 잘린 다음 이 잘린 벡터 표현을 사용하여 항목 간의 코사인 유사성을 계산합니다. 이 접근법은 국소성 민감 해싱과 같은 다른 근사 최근접 이웃(ANN) 기법에 비해 희소 벡터 유사성 계산에 더 강건하다는 것을 입증한다.

• 모델 제공: 이 프로세스는 이전 섹션에서 설명한 항목-항목 공동 작업 필터링 기술과 동일합니다.

입력 데이터: 항목-항목 공동 작업 필터링(CF) 방법과 동일합니다. Both Recommended For You 및 장바구니 기반 알고리즘에서는 Target 구현 또는 Adobe Analytics에서 수집한 사용자의 보기 및 구매 형식의 행동 데이터를 사용합니다.

모델 교육:

• 데이터 정리 및 샘플링: 이는 다시 공동 작업 필터링 방법과 동일합니다. 전환 확인 기간은 동작 데이터를 적절한 날짜 범위로 필터링한 다음 카탈로그 규칙 및 전역 제외를 적용하는 데 적용됩니다. 1,000개 이상의 항목과 상호 작용한 방문자는 가장 최근의 1,000개 사용법만 고려합니다.
• 테스트 분할: 각 사용자에 대한 사용량을 시간별로 분할하고 사용량의 처음 80%는 교육 데이터에 할당하며 나머지 20%는 테스트 데이터에 할당됩니다.
• 항목 유사성 모델 교육: 핵심 항목 유사성 계산은 후보 항목 벡터가 구성되는 방식에서 Recommended For You 및 장바구니 기반 알고리즘에 대해 다릅니다. Recommended For You의 경우 항목 벡터에는 차원 NUsers가 있습니다. 여기서 각 항목은 항목의 해당 사용자에 대한 암시적 등급의 합을 나타냅니다. 항목의 구매 횟수에는 항목 보기의 2배 가중치가 제공됩니다. 장바구니 기반 권장 사항의 경우 항목 벡터에는 이진 항목이 있습니다. 세션 내 비헤이비어만 고려하는 경우 모든 세션에 대해 새 항목이 있습니다. 그렇지 않으면 모든 방문자에 대해 이 항목 벡터에 항목이 있습니다.

트레이닝 단계는 다음과 같이 정의된 LLR 유사성(여기에서 논의됨), 코사인 유사성(이전에 정의됨) 및 정규화된 L2 유사성 등 여러 유형의 벡터 유사성을 계산합니다.

• 항목 유사성 모델 평가: 모델 평가는 이전 단계에서 생성된 권장 사항을 취하고 테스트 데이터 집합에 대한 예측을 수행하여 수행됩니다. 온라인 채점 단계는 테스트 데이터 세트에서 각 사용자의 항목 사용을 시간 순으로 정렬한 다음, 후속 보기 및 구매를 예측하기 위해 정렬된 항목 하위 집합에 대해 100개의 권장 사항을 만드는 방식으로 모방됩니다. 이러한 권장 사항의 품질을 평가하는 데 정보 검색 지표인 평균 정밀도가 사용됩니다. 이 지표는 권장 사항 순서를 고려하며 권장 사항 목록 위에 있는 관련 항목을 선호합니다. 이는 등급 시스템의 중요한 속성입니다.
• 모델 선택: 오프라인 평가 후 평균 평균 정밀도가 가장 높은 모델이 선택되고 모든 개별 항목 권장 사항이 계산됩니다.
• 오프라인 필터링: 모델 교육의 마지막 단계는 적용 가능한 동적 필터를 적용하는 것입니다. 이 단계 후에는 사전 계산된 권장 사항이 전역적으로 캐시되어 제공할 수 있습니다.

모델 제공: 추천 제공에 검색할 단일 키를 지정한 후 비즈니스 규칙을 적용하는 이전 알고리즘과 달리 Recommended for You 및 장바구니 기반 알고리즘에서는 보다 복잡한 런타임 프로세스를 사용합니다.

• 다중 키 검색 및 병합: 장바구니 기반 권장 사항의 경우 장바구니에 전달된 최대 10개의 항목이 검색 키로 간주되며 각 항목의 권장 사항은 동일한 가중치를 갖습니다. Recommended for You의 경우 마지막으로 본 고유 항목 5개와 마지막으로 구매한 고유 항목 5개가 검색을 위한 키로 간주되며, 구매한 항목에서 발생한 권장 사항은 본 항목에서 발생한 권장 사항보다 두 배 가중치가 적용됩니다. 권장 사항을 병합할 때 항목이 권장 사항의 여러 개별 목록에 나타나는 경우 가중치가 적용된 유사성 점수가 추가됩니다. 이 단계의 최종 권장 사항 목록은 내림차순으로 순위가 매겨진 재가중 권장 사항의 병합된 목록입니다.
• 필터링: 다음으로 이전에 본 항목 및/또는 구매한 항목 제거와 같은 필터링 규칙과 기타 동적 비즈니스 규칙이 적용됩니다.