Treinar e avaliar um modelo na interface do usuário do Data Science Workspace

No Adobe Experience Platform Data Science Workspace, um modelo de aprendizado de máquina é criado ao incorporar uma fórmula existente que é apropriada à intenção do modelo. O modelo é então treinado e avaliado para otimizar sua eficiência operacional e eficácia ajustando seus Hiperparâmetros associados. As receitas são reutilizáveis, o que significa que vários Modelos podem ser criados e personalizados para fins específicos com uma única Fórmula.

Este tutorial percorre as etapas para criar, treinar e avaliar um Modelo.

Introdução

Para concluir este tutorial, você deve ter acesso a Experience Platform. Se você não tiver acesso a uma organização no Experience Platform, fale com o administrador do sistema antes de continuar.

Este tutorial requer uma fórmula existente. Se você não tiver uma fórmula, siga o tutorial Importar uma fórmula empacotada na interface do usuário antes de continuar.

Criar um modelo

No Experience Platform, selecione a guia Modelos, localizada na navegação à esquerda, e selecione a guia Procurar para exibir seus Modelos existentes. Selecione Criar modelo próximo à parte superior direita da página para iniciar um processo de criação de modelo.

Navegue pela lista de Receitas existentes, localize e selecione a Receita a ser usada para criar o Modelo e selecione Próximo.

Selecione um conjunto de dados de entrada apropriado e selecione Próximo. Isso definirá o conjunto de dados de treinamento de entrada padrão para o Modelo.

Forneça um nome para o Modelo e revise as configurações padrão do Modelo. As configurações padrão foram aplicadas durante a criação da fórmula, revise e modifique os valores de configuração clicando duas vezes nos valores.

Para fornecer um novo conjunto de configurações, selecione Carregar nova configuração e arraste um arquivo JSON contendo configurações de modelo para a janela do navegador. Selecione Concluir para criar o Modelo.

Criar uma execução de treinamento

No Experience Platform, selecione a guia Modelos, localizada na navegação à esquerda, e selecione a guia Procurar para exibir seus Modelos existentes. Localize e selecione o hiperlink anexado ao nome do Modelo que deseja treinar.

Todas as execuções de treinamento existentes com seus status de treinamento atuais são listadas. Para Modelos criados usando a interface do usuário Data Science Workspace, uma execução de treinamento é gerada e executada automaticamente usando as configurações padrão e o conjunto de dados de treinamento de entrada.

Crie uma nova execução de treinamento selecionando Treinar próximo ao canto superior direito da página Visão geral do modelo.

Selecione o conjunto de dados de entrada de treinamento para a execução de treinamento e selecione Próximo.

As configurações padrão fornecidas durante a criação do Modelo são mostradas, alteradas e modificadas de acordo clicando duas vezes nos valores. Selecione Concluir para criar e executar a execução do treinamento.

Avaliar o modelo

No Experience Platform, selecione a guia Modelos, localizada na navegação à esquerda, e selecione a guia Procurar para exibir seus Modelos existentes. Localize e selecione o hiperlink anexado ao nome do Modelo que deseja avaliar.

Todas as execuções de treinamento existentes com seus status de treinamento atuais são listadas. Com várias execuções de treinamento concluídas, as métricas de avaliação podem ser comparadas entre diferentes execuções de treinamento no gráfico Avaliação de modelo. Selecione uma métrica de avaliação usando a lista suspensa acima do gráfico.

A métrica Erro Percentual Absoluto Médio (MAPE) expressa a precisão como uma porcentagem do erro. Isso é usado para identificar o experimento com melhor desempenho. Quanto mais baixo o MAPE, melhor.

A métrica "Precisão" descreve a porcentagem de Instâncias relevantes em comparação com o total de Instâncias recuperadas. A precisão pode ser vista como a probabilidade de um resultado selecionado aleatoriamente estar correto.

Selecionar uma execução de treinamento específica fornece os detalhes dessa execução abrindo a página de avaliação. Isso pode ser feito antes mesmo da execução ser concluída. Na página de avaliação, é possível ver outras métricas de avaliação, parâmetros de configuração e visualizações específicas para a execução do treinamento.

Você também pode baixar logs de atividades para ver os detalhes da execução. Os logs são particularmente úteis para execuções com falha para ver o que deu errado.

Hiperparâmetros não podem ser treinados e um modelo deve ser otimizado testando combinações diferentes de Hiperparâmetros. Repita este processo de treinamento e avaliação do modelo até chegar a um modelo otimizado.

Próximas etapas

Este tutorial orientou você na criação, treinamento e avaliação de um Modelo no Data Science Workspace. Depois de chegar a um Modelo otimizado, você pode usar o Modelo treinado para gerar insights seguindo o tutorial Pontuar um modelo na interface.

Referência reference

Configurações de Receita de Venda de Varejo

Os hiperparâmetros determinam o comportamento de treinamento do modelo. Modificar os hiperparâmetros afetará a precisão e a precisão do modelo:

Parâmetros adicionais determinam as propriedades técnicas do modelo: