Os Feeds de dados do Adobe Analytics fornecem acesso flexível a dados brutos, permitindo manipulações complexas e integração com outras fontes. Eles complementam ferramentas como o Adobe Analysis Workspace, preenchendo lacunas analíticas. Os Feeds de dados armazenam cada chamada de servidor como uma linha, entregues em lotes e incluem métricas principais. Tabelas agregadas e filtros globais ajudam a simplificar a análise e garantir a consistência. Este guia apresenta seu potencial e define o estágio para uma exploração mais profunda.
Introdução
Os Feeds de dados são uma maneira avançada de aproveitar os dados brutos e granulares coletados com o Adobe. A assimilação disso em um banco de dados cria casos de uso interessantes infinitos, incluindo:
-
Flexibilidade incomparável para manipular os dados exatamente como você precisa (por exemplo, alterar a persistência do eVar, lógica sequencial complexa)
-
Associar dados do Adobe Analytics com outras fontes de dados para permitir a geração de relatórios 360 ou como entradas para modelos e direcionadores de decisão
Embora os Feeds de dados não devam ser o único método para analisar dados do Adobe Analytics, eles podem ser usados para preencher as lacunas que o Adobe Analysis Workspace, o Data Warehouse ou o Report Builder podem deixar. Considere os Feeds de dados como uma das muitas ferramentas do seu kit de ferramentas do Adobe Analytics.
Comparar feeds de dados com outras ferramentas do Adobe Analytics:
Caso de uso
Espaço de trabalho
Data Warehouse
Feeds de dados
Nota: este manual não aborda como assimilar feeds de dados em um banco de dados. Ele presumirá que os feeds de dados já estejam facilmente acessíveis para consulta.
-
Para obter orientação sobre como configurar e assimilar feeds de dados, consulte: https://experienceleague.adobe.com/docs/analytics/export/analytics-data-feed/data-feed-overview.html?lang=pt-br
-
Veja uma visão geral de quais arquivos estão incluídos no Feed de dados: https://experienceleague.adobe.com/pt-br/docs/analytics/export/analytics-data-feed/data-feed-contents/datafeeds-contents
Entender o fluxo de dados
O que são feeds de dados?
Cada chamada de servidor do Adobe Analytics é armazenada como uma única linha em um Feed de dados. Um Feed de dados separado precisa ser configurado para cada conjunto de relatórios. Os dados são fornecidos em lotes por hora, após cada hora, ou em lotes diários, no final de cada dia.
Em cada implementação, o formato do Feed de dados brutos permanecerá o mesmo. Uma lista abrangente de todas as colunas disponíveis está aqui: https://experienceleague.adobe.com/pt-br/docs/analytics/export/analytics-data-feed/data-feed-contents/datafeeds-reference. Esta seção do manual de estratégia destacará algumas colunas importantes.
Ocorrência (hit), visita e identificadores de visitante
Para replicar ocorrências, visitas e visitantes únicos do OOTB, você precisará de uma combinação de quatro colunas: post_visid_high, post_visid_low, visit_num e visit_page_num
-
Visitantes únicos: uma concatenação de post_visid_high e post_visid_low é usada para obter um ID de visitante. Contagens distintas desse ID de visitante replicarão visitantes únicos.
-
Visitas: uma concatenação de post_visid_high, post_visid_low e visit_num é usada para obter um ID de visita. Contagens distintas desse ID de visita replicarão as visitas. Por causa de uma colisão de hash, talvez você precise concatenar com visit_start_time_gmt
-
Ocorrências: uma concatenação de post_visid_high, post_visid_low, visit_num e visit_page_num é usada para obter uma ID de hit. Contagens distintas desse ID de hit replicarão as ocorrências.
Aqui está o código SQL inicial para obter uma contagem de visitantes, visitas e ocorrências:
SELECT
COUNT(DISTINCT CONCAT(POST_VISID_HIGH, POST_VISID_LOW)) AS VISITORS,
COUNT(DISTINCT CONCAT(POST_VISID_HIGH, POST_VISID_LOW, VISIT_NUM)) AS VISITS,
COUNT(DISTINCT CONCAT(POST_VISID_HIGH, POST_VISID_LOW, VISIT_NUM, VISIT_PAGE_NUM)) AS OCCURRENCES
FROM DATA_FEEDS
WHERE HIT_SOURCE = '1' AND EXCLUDE_HIT = '0'
DICA: No Adobe Workspace, a dimensão de “Profundidade da visita” é equivalente à coluna de Feed de dados visit_num. A dimensão “Profundidade de hit” no Workspace é equivalente à coluna de Feed de dados visit_page_num.
Observações na coluna visit_page_num:
-
Não deixe “página” no nome da coluna visit_page_num enganar você! Isso não só aumenta as visualizações da página, mas também aumenta cada chamada de servidor de análise.
-
As visitas nem sempre começam em visit_page_num = 1, mas devem ocorrer na maior parte do tempo. Para obter relatórios precisos, se precisar obter a primeira ocorrência de uma visita, calcule o visit_page_num mínimo para um ID de visita
DICA: se quiser ver as ações exatas que um usuário realizou, selecione um ID de visitante, ordene por visit_num e, em seguida, por visit_page_num para obter uma recontagem de hit por hit de suas ações. Isso é útil ao depurar jornadas do cliente; teste-as em suas próprias ações enquanto navega em sua propriedade digital.
eVars e props
Cada eVar e prop tem uma coluna dedicada no Feed de dados, independentemente de estar ativado ou ter dados preenchidos. Também há colunas separadas para o valor pré-processado e os valores pós-processados. A coluna pós-processada terá a atribuição e a lógica de expiração do eVar aplicadas.
Consulte este fluxograma para entender quando ocorre o processamento: https://experienceleague.adobe.com/docs/analytics/technotes/processing-order.html?lang=pt-br
No total, haverá 500 colunas de eVars (ou seja, 2 conjuntos de 250 eVars possíveis que podem ser criados para uma implementação) e 150 colunas de props (ou seja, 2 conjuntos de 75 props possíveis que podem ser configurados).
DICA: deseja que o eVar que você capturou tenha as propriedades de uma propriedade? As colunas de eVar que não são de publicação se comportam como props. Sem a atribuição ou lógica de persistência do eVar aplicada, use as colunas que não sejam de publicação para filtrar ocorrências de análise em que esse eVar deve estar presente, exatamente como props.
Segmentos e métricas calculadas
Segmentos, métricas calculadas personalizadas e métricas prontas para uso do Adobe precisam ser definidos de forma personalizada. Para métricas e segmentos OOTB, consulte a documentação técnica do Adobe.
A lógica para replicar algumas métricas comuns é encontrada aqui: https://experienceleague.adobe.com/en/docs/analytics/export/analytics-data-feed/data-feed-contents/datafeeds-calculate
Na próxima seção, o código de amostra é fornecido para replicar a métrica de rejeições OOTB do Adobe como exemplo. A próxima publicação da Experience League fornecerá exemplos adicionais de como segmentos e métricas podem ser recriados com Feeds de dados.
Consultar feeds de dados
Noções básicas
Nossa primeira consulta contará as visitas de um dia específico, excluindo ocorrências desnecessárias.
SELECT
COUNT(DISTINCT CONCAT (POST_VISID_HIGH, POST_VISID_LOW, VISIT_NUM)) AS VISITS
FROM DATA_FEEDS
WHERE HIT_SOURCE = '1' AND EXCLUDE_HIT = '0'
Em seguida, contaremos as visitas em suas páginas de entrada.
WITH MIN_VISIT_PAGE_NUM_TABLE AS (
SELECT
POST_VISID_HIGH,
POST_VISID_LOW,
VISIT_NUM,
MIN(VISIT_PAGE_NUM) AS MIN_VISIT_PAGE_NUM
FROM DATA_FEEDS
WHERE HIT_SOURCE = '1' AND EXCLUDE_HIT = '0'
GROUP BY 1,2,3)
SELECT
PAGE_NAME,
COUNT(DISTINCT A.VISIT_ID) AS ENTRIES
FROM DATA_FEEDS A
LEFT JOIN MIN_VISIT_PAGE_NUM_TABLE B
ON A.POST_VISID_HIGH = B.POST_VISID_HIGH
AND A.POST_VISID_LOW = B.POST_VISID_LOW
AND A.VISIT_NUM = B.VISIT_NUM
AND A.VISIT_PAGE_NUM = B.MIN_VISIT_PAGE_NUM
WHERE HIT_SOURCE = '1' AND EXCLUDE_HIT = '0'
GROUP BY 1
DICA: para replicar as saídas mencionadas acima, localize o visit_page_num de MÁX em vez de mín.
Por fim, replicaremos a métrica de rejeições OOTB.
WITH MAX_VISIT_PAGE_NUM_TABLE AS (
SELECT
POST_VISID_HIGH,
POST_VISID_LOW,
VISIT_NUM,
MAX(VISIT_PAGE_NUM) AS MAX_VISIT_PAGE_NUM
FROM DATA_FEEDS
WHERE HIT_SOURCE = '1' AND EXCLUDE_HIT = '0'
GROUP BY 1,2,3),
MIN_VISIT_PAGE_NUM_TABLE AS (
SELECT
POST_VISID_HIGH,
POST_VISID_LOW,
VISIT_NUM,
MIN(VISIT_PAGE_NUM) AS MIN_VISIT_PAGE_NUM
FROM DATA_FEEDS
WHERE HIT_SOURCE = '1' AND EXCLUDE_HIT = '0'
GROUP BY 1,2,3)
SELECT
COUNT(DISTINCT A.VISIT_ID) AS BOUNCES
FROM MAX_VISIT_PAGE_NUM A
LEFT JOIN MIN_VISIT_PAGE_NUM_TABLE B
ON A.POST_VISID_HIGH = B.POST_VISID_HIGH
AND A.POST_VISID_LOW = B.POST_VISID_LOW
AND A.VISIT_NUM = B.VISIT_NUM
WHERE A.MAX_VISIT_PAGE_NUM = B.MIN_VISIT_PAGE_NUM
Estratégia do feed de dados
Criar tabelas agregadas
Pode ser benéfico criar exibições agregadas do Feed de dados bruto. Os benefícios incluem:
-
Mais fácil para os usuários finais: o cientista de dados médio que deseja aproveitar esses dados não precisará se preocupar com qual eVar de merchandising usar ou como analisar a lista de eventos.
-
Carga de consulta reduzida: o Feed de dados pode ter um conjunto de dados grande de terabytes. Sua equipe de engenharia de dados vai agradecer por reduzir as consultas ao conjunto de dados bruto e direcionar os usuários finais para tabelas menores e mais fáceis de gerenciar
Os tipos necessários de tabelas agregadas dependerão de cada organização e de seus participantes, mas estes são alguns exemplos para começar:
-
Tabela de detalhes do usuário: contém todos os dados de hit e página (por exemplo, nome de página, canal de último contato, dispositivo móvel)
-
Tabela de eventos-chave: contém uma product_list analisada e todos os eventos que ocorreram nessa ocorrência
-
Tabela de termos de pesquisa: contém todos os termos de pesquisa criados e métricas relacionadas à pesquisa
Lembre-se de como o usuário final precisará unir essas tabelas para obter os resultados desejados. Por exemplo, pode ser mais fácil ter cada tabela agregada incluindo post_visid_high, post_visid_low, visit_num e visit_page_num para que você possa unir em qualquer nível de granularidade.
Filtros globais
Algumas organizações têm filtros globais aplicados a todos os relatórios (por exemplo, para excluir bots, remover tráfego fraudulento etc.). Considere a criação de uma tabela agregada que replica esse filtro e junte-o a qualquer consulta no Feed de dados bruto.
Ter uma tabela centralizada elimina a necessidade de manter essa lógica de filtro conforme ela muda com o tempo.
Monitoramento de discrepância com o Workspace
No início da jornada do Feed de dados, execute uma rápida contagem de visitas por dia e verifique se cada dia está alinhado com o Workspace. Embora o Feed de dados esteja habilitado, pode haver lacunas na sua equipe de Engenharia de dados para processar os arquivos, ou o Adobe pode ter deixado de enviá-los.
Independentemente disso, é útil configurar validações regulares que o Workspace continue a alinhar com seus Feeds de dados e quaisquer tabelas agregadas.
Conclusão
Disputar os feeds de dados do Adobe pode parecer um projeto assustador. Mas, uma vez que você tenha controle sobre eles, há inúmeras possibilidades de personalizar seus dados e atender aos seus casos de uso específicos.
Este artigo define a base para entender esses Feeds e apenas arranha a superfície. Fique atento a mais artigos da Experience League para se aprofundar mais nesses dados avançados!
Recursos adicionais
-
Como configurar feeds de dados: https://experienceleague.adobe.com/docs/analytics/export/analytics-data-feed/data-feed-overview.html?lang=pt-br
-
Visão geral de quais arquivos estão incluídos no Feed de dados: https://experienceleague.adobe.com/en/docs/analytics/export/analytics-data-feed/data-feed-contents/datafeeds-contents
-
Colunas do Feed de dados do Adobe: https://experienceleague.adobe.com/en/docs/analytics/export/analytics-data-feed/data-feed-contents/datafeeds-reference
-
Fluxograma de processamento de dados do Adobe: https://experienceleague.adobe.com/docs/analytics/technotes/processing-order.html?lang=pt-br
-
Como replicar métricas calculadas comuns com feeds de dados: https://experienceleague.adobe.com/en/docs/analytics/export/analytics-data-feed/data-feed-contents/datafeeds-calculate