AI 모델 모니터링 ai-model-observability

현재 배포된 모델 - 이 섹션에는 현재 배포된 모델, 배포 시 모델이 사용하는 데이터 날짜 범위, 포함 및 개인화된 의사 결정 항목(오퍼) 수, 하위 모델 간 현재 트래픽 할당이 표시됩니다.

이 예에서 모델은 5개의 의사 결정 항목에 대해 교육되었으며, 모델은 의사 결정 항목 중 3개에 대한 개인화된 예측을 개발하기에 충분한 트래픽을 갖는다. 나머지 2개의 결정 사항은 임의로 송달된다.

또한 모델이 현재 개인화된 신경망에 40%의 트래픽을 할당하고, 상황별 절약에 40%의 트래픽을 할당하고, 무작위 탐색에 20%의 트래픽을 할당한다는 것을 알 수 있습니다.

마지막 교육 작업 - 이 섹션에는 마지막 교육 작업의 상태, 실행 시기 및 모든 오류 메시지가 표시됩니다. 오류 상태에 대해 자세히 알아보기

이 예에서는 배포된 모델이 예상대로 교육 작업과 일치하는지 확인할 수 있습니다.

속성 - 이 섹션에는 사용된 데이터 세트, 최적화 지표 및 개인화된 최적화 모델을 교육하는 데 사용된 대상자와 같은 모델의 속성이 표시됩니다.

이러한 요소를 수정하려면 속성 편집​을 클릭하십시오. AI 모델 만들기 화면으로 리디렉션됩니다. 자세히 알아보기

Model performance - 이 섹션에서는 각 하위 모델에 대한 트래픽 할당 및 전환율과 같이, 시간에 따른 모델의 각 암(arm)의 성능을 보여줍니다. 최근 7일​과 최근 30일 사이를 전환할 수 있습니다. 상승도와 통계적 유의성은 모델이 실제로 마케팅 결과를 개선하고 있는지 여부를 나타내는 주요 지표입니다.

이 예에서는 지난 30일 동안 개인화된 하위 모델이 전환율의 60% 이상 상승을 제공하고 있으며, 이 상승은 통계적으로 유의미한 것으로, 이는 이 AI 모델이 귀하의 비즈니스에 영향을 미치고 있음을 의미합니다.

시간 경과에 따른 모델 트래픽 할당 - 이 섹션에서는 모델이 시간 경과에 따라 어떻게 발전했는지 보여 줍니다. 모델을 처음 배포할 때 아직 오퍼 데이터가 수집되지 않았기 때문에 트래픽의 100%가 무작위입니다. 첫 번째 재교육 후, 트래픽은 일반적으로 개인화된 팔로 이동합니다.

이 예제에서 시간이 지남에 따라 모델이 재학습되면서 트래픽 할당이 100% 무작위 탐색에서 신경망 및 컨텍스트 기반 밴딧 트래픽으로 전환되었음을 알 수 있습니다.