모델 드리프트 감지
모델 드리프트 검색을 사용하면 모델이 드리프트를 시작할 때 자동으로 알림을 받게 됩니다. 경고를 사용하면 다른 팀에 의존하여 수동으로 드리프트 여부를 판단할 필요가 없고 지연 시간을 줄일 수 있습니다.
최적의 성능을 유지하기 위해 모델을 즉시 재교육합니다.
기능, 구성 요소 및 이점
모델이 표류하기 시작하면 모델의 미래 점수의 정확도에 영향을 미치면서 성능 저하로 어려움을 겪습니다.
Mix Modeler의 모델 드리프트 검출은 AI를 사용하여 모델을 모니터링하고, 모델의 드리프트를 감지하고, 드리프트를 경험하는 모델을 다시 교육하라는 메시지를 표시합니다.
이 기능에서는 다음 구성 요소를 사용합니다.
- 드리프트가 발생하는 모델을 열 때마다 알림 대화 상자가 표시됩니다.
- 모델 진단 프로그램의 드리프트에 대한 시각화,
- 드리프트된 모델을 재교육하기 위해 수행할 수 있는 실행 가능한 다음 단계입니다.
모델 드리프트 검출의 주요 이점은 다음과 같습니다.
- 모델을 수동으로 모니터링하지 않아도 잠재적 이탈이 발생합니다.
- 모델 진단의 드리프트 시각화를 통한 투명성과 신뢰.
- 데이터 과학 팀의 도움 없이도 모델의 성능을 빠르게 향상시킬 수 있습니다.
모델 인터페이스
Mix Modeler 내에서 모델 드리프트 탐지가 작동하는 방식을 살펴보겠습니다. 왼쪽 레일에서 모델 을 선택하여 현재 모델의 개요를 확인합니다.
이 자습서에는 작동 중인 기능을 설명하는 데 도움이 되도록 드리프트를 인위적으로 도입한 모델이 포함되어 있습니다. 실제로 어떤 종류의 모형이든 시간이 지남에 따라 표류하기 쉽다. 모델 드리프트는 기본 데이터 또는 조건의 변경으로 인해 모델의 예측이 시간이 지남에 따라 정확도가 감소하여 성능이 저하될 때 발생합니다.
만든 모델에 이러한 일이 발생하면 Mix Modeler에서 자동으로 플래그를 지정하여 조치를 취할 수 있습니다.
모델 인사이트
Mix Modeler에서 모델은 마케팅 및 요소 데이터에 대해 교육됩니다. 새로운 증분 마케팅 또는 요소 데이터를 사용할 수 있게 되면 교육 세트에 새 데이터를 통합하여 모델을 다시 평가할 수 있으므로 모델의 기본 구조를 변경하지 않고도 시간이 지남에 따라 모델이 더 똑똑해질 수 있습니다. 재교육은 마케팅 또는 요소 데이터 세트 추가 또는 제거 (예: 새 채널 또는 요소 도입) 또는 모델 구조 변경과 같이 모델 자체를 업데이트하여 시장 역학 또는 마케팅 전략의 보다 근본적인 변화를 반영함으로써 한 단계 더 나아갑니다. 종종 모델 드리프트는 단순히 새로운 데이터의 축적보다는 시장 역학 또는 마케팅 전략의 보다 근본적인 변화를 반영하므로, 모델의 구조를 현재 현실에 맞게 유지하는 데 필요한 재교육을 만듭니다.
모델을 선택하고 모델 인사이트를 탐색하면 AI 활성화 모델 드리프트 감지가 모델에 적용됩니다. 드리프트가 감지되면 자동으로 알림을 받게 됩니다. 모델 드리프트 감지 대화 상자는 모델이 드리프트를 가지고 있으므로 성능 저하를 겪는다고 알려줍니다. 이 경우 모델의 향후 점수의 정확도에 영향을 미치므로 모델을 다시 정확하고 신뢰할 수 있도록 다시 교육하는 것이 좋습니다.
취소 를 선택하여 모델 드리프트 경고를 지금 무시하도록 선택할 수 있습니다. 다음에 모델을 열면 이 대화 상자가 다시 표시됩니다.
나중에 다시 알림을 받도록 선택할 수도 있습니다. 다음에 새 브라우저 세션을 열면 모델 드리프트 경고가 다시 나타납니다.
또는 다시 교육 을 선택하여 드리프트를 해결하도록 선택할 수 있습니다. [재교육]을 선택하면 Mix Modeler에서 사용할 수 있도록 만든 새 데이터를 사용하여 모델이 즉시 재교육됩니다. 예를 들어 업데이트된 요약, 요소 또는 이벤트 데이터와 함께 Mix Modeler에 추가한 새 데이터 세트입니다. 이 모든 새로운 데이터에 대해 모델을 재교육하여 모델을 다시 정확하고 신뢰할 수 있도록 합니다.
모델 진단
모델 진단은 Mix Modeler의 고유한 기능입니다. 진단 탭의 시각화 및 표를 사용하면 모델이 어떻게 작동하는지 '자세히' 살펴볼 수 있습니다. 예를 들어, 모델의 평균 예측 오차를 정량화하는 데 일반적으로 사용되는 평균 절대 퍼센트 오차를 검사할 수 있다. 또는 표준 지표인 평균 제곱근 오차를 검사하여 모델의 성능을 평가합니다.
모델 드리프트가 감지되면 배너가 나타납니다. 배너에는 모델을 다시 교육하라는 메시지가 표시됩니다. 또한 속성 점수가 업데이트되도록 하므로 모델에 다시 점수를 매기는 것을 고려해야 합니다.
또한 모델 평가 시각화에서는 주황색 음영 배경에 의해 표시되는 모델 드리프트가 발생하는 기간을 볼 수 있습니다. 모델 드리프트는 예측 오차가 증가하고 모델 적합도가 저하되고 있음을 나타내는 특정 조건이 충족될 때 트리거됩니다. 시각화의 데이터 포인트 위에 마우스를 가져다 대면 해당 특정 날짜에 대한 모델 드리프트 세부 정보가 포함된 팝업을 볼 수 있습니다.
기차 모형
모델 드리프트 감지 대화 상자에서 모델을 즉시 재교육하지 않도록 선택한 경우 기본 모델 인터페이스에서 모델을 재교육할 수 있습니다.
특정 모델에 대해 자세히 버튼을 선택합니다. 그런 다음 컨텍스트 메뉴에서 트레인 을 선택하여 모델을 즉시 다시 교육합니다.
결론
Adobe Mix Modeler의 모델 드리프트 감지 기능을 통해 제어력을 유지할 수 있습니다. 자동 경고, 즉각적인 재교육 및 항상 작동하는 모델 성능을 통해
이 튜토리얼을 시청해 주셔서 감사합니다. Mix Modeler의 모델 드리프트 감지 기능을 즐겨 보십시오.