Adobe Experience Platform permite usar a Linguagem de Query Estruturada (SQL) em Data Science Workspace integrando- Query Service se JupyterLab como um recurso padrão.
Este tutorial demonstra query SQL de amostra para casos de uso comuns para explorar, transformar e analisar dados Adobe Analytics.
Antes de iniciar este tutorial, você deve ter os seguintes pré-requisitos:
Acesso a Adobe Experience Platform. Se você não tiver acesso a uma Organização IMS em Experience Platform, fale com o administrador do sistema antes de continuar
Um conjunto de dados Adobe Analytics
Um entendimento prático dos seguintes conceitos-chave usados neste tutorial:
Em Experience Platform, navegue até Notebooks a partir da coluna de navegação esquerda. Aguarde um momento para o JupyterLab carregar.
Se uma nova guia Iniciador não for exibida automaticamente, abra uma nova guia Iniciador clicando em Arquivo e selecione Novo Iniciador.
Na guia Iniciador, clique no ícone Em branco em um ambiente Python 3 para abrir um bloco de anotações vazio.
O Python 3 é atualmente o único ambiente suportado para o Serviço de Query nos notebooks.
No painel de seleção esquerdo, clique no ícone Dados e no duplo clique no diretório Conjuntos de Dados para lista de todos os conjuntos de dados.
Encontre um conjunto de dados Adobe Analytics para explorar e clique com o botão direito do mouse na lista. Clique em Dados do Query no Bloco de Notas para gerar query SQL no bloco de notas vazio.
Clique na primeira célula gerada que contém a função qs_connect()
e execute-a clicando no botão play. Essa função cria uma conexão entre a sua instância do notebook e Query Service.
Copie o nome do conjunto de dados Adobe Analytics do segundo query SQL gerado, ele será o valor após FROM
.
Insira uma nova célula do bloco de anotações clicando no botão +.
Copie, cole e execute as seguintes instruções de importação em uma nova célula. Essas instruções serão usadas para visualizar seus dados:
import plotly.plotly as py
import plotly.graph_objs as go
from plotly.offline import iplot
Em seguida, copie e cole as seguintes variáveis em uma nova célula. Modifique seus valores conforme necessário e execute-os.
target_table = "your Adobe Analytics dataset name"
target_year = "2019"
target_month = "04"
target_day = "01"
target_table
: Nome do seu Adobe Analytics conjunto de dados.target_year
: Ano específico a partir do qual se baseiam os dados do público alvo.target_month
: Mês específico do qual o público alvo é originário.target_day
: Dia específico do qual os dados do público alvo são originários.É possível alterar esses valores a qualquer momento. Ao fazer isso, certifique-se de executar a célula de variáveis para que as alterações sejam aplicadas.
Insira os seguintes query SQL em células individuais do bloco de notas. Execute um query clicando em sua célula e depois clicando no botão play. Os resultados do query bem-sucedidos ou os registros de erros são exibidos abaixo da célula executada.
Quando um notebook está inativo por um longo período de tempo, a conexão entre o notebook e Query Service pode falhar. Nesses casos, reinicie JupyterLab clicando no botão Power localizado no canto superior direito.
O kernel do notebook será redefinido, mas as células permanecerão, execute novamente todas as células para continuar onde você parou.
O query a seguir retorna a contagem de visitantes por hora para uma data especificada:
%%read_sql hourly_visitor -c QS_CONNECTION
SELECT Substring(timestamp, 1, 10) AS Day,
Substring(timestamp, 12, 2) AS Hour,
Count(DISTINCT concat(enduserids._experience.aaid.id,
_experience.analytics.session.num)) AS Visit_Count
FROM {target_table}
WHERE TIMESTAMP = to_timestamp('{target_year}-{target_month}-{target_day}')
GROUP BY Day, Hour
ORDER BY Hour;
No query acima, o carimbo de data e hora na cláusula WHERE
é definido para ser o valor de target_year
. Inclua variáveis em query SQL, contendo-as entre chaves ({}
).
A primeira linha do query contém a variável opcional hourly_visitor
. Os resultados do query serão armazenados nessa variável como um dataframe de Pandas. Armazenar resultados em um dataframe permite visualizar posteriormente os resultados do query usando um pacote Python desejado. Execute o seguinte código Python em uma nova célula para gerar um gráfico de barras:
trace = go.Bar(
x = hourly_visitor['Hour'],
y = hourly_visitor['Visit_Count'],
name = "Visitor Count"
)
layout = go.Layout(
title = 'Visit Count by Hour of Day',
width = 1200,
height = 600,
xaxis = dict(title = 'Hour of Day'),
yaxis = dict(title = 'Count')
)
fig = go.Figure(data = [trace], layout = layout)
iplot(fig)
O query a seguir retorna a contagem de ações por hora para uma data especificada:
%%read_sql hourly_actions -d -c QS_CONNECTION
SELECT Substring(timestamp, 1, 10) AS Day,
Substring(timestamp, 12, 2) AS Hour,
Count(concat(enduserids._experience.aaid.id,
_experience.analytics.session.num,
_experience.analytics.session.depth)) AS Count
FROM {target_table}
WHERE TIMESTAMP = to_timestamp('{target_year}-{target_month}-{target_day}')
GROUP BY Day, Hour
ORDER BY Hour;
A execução do query acima armazenará os resultados em hourly_actions
como um dataframe. Execute a seguinte função em uma nova célula para pré-visualização dos resultados:
hourly_actions.head()
O query acima pode ser modificado para retornar a contagem de ações por hora para um intervalo de datas especificado usando operadores lógicos na cláusula WHERE:
%%read_sql hourly_actions_date_range -d -c QS_CONNECTION
SELECT Substring(timestamp, 1, 10) AS Day,
Substring(timestamp, 12, 2) AS Hour,
Count(concat(enduserids._experience.aaid.id,
_experience.analytics.session.num,
_experience.analytics.session.depth)) AS Count
FROM {target_table}
WHERE timestamp >= TO_TIMESTAMP('2019-06-01 00', 'YYYY-MM-DD HH')
AND timestamp <= TO_TIMESTAMP('2019-06-02 23', 'YYYY-MM-DD HH')
GROUP BY Day, Hour
ORDER BY Hour;
A execução do query modificado armazenará os resultados em hourly_actions_date_range
como um dataframe. Execute a seguinte função em uma nova célula para pré-visualização dos resultados:
hourly_actions_date_rage.head()
O query a seguir retorna o número de eventos por sessão de visitante para uma data especificada:
%%read_sql events_per_session -c QS_CONNECTION
SELECT concat(enduserids._experience.aaid.id,
'-#',
_experience.analytics.session.num) AS aaid_sess_key,
Count(timestamp) AS Count
FROM {target_table}
WHERE TIMESTAMP = to_timestamp('{target_year}-{target_month}-{target_day}')
GROUP BY aaid_sess_key
ORDER BY Count DESC;
Execute o seguinte código Python para gerar um histograma para o número de eventos por sessão de visita:
data = [go.Histogram(x = events_per_session['Count'])]
layout = go.Layout(
title = 'Histogram of Number of Events per Visit Session',
xaxis = dict(title = 'Number of Events'),
yaxis = dict(title = 'Count')
)
fig = go.Figure(data = data, layout = layout)
iplot(fig)
O query a seguir retorna as dez páginas mais populares para uma data especificada:
%%read_sql popular_pages -c QS_CONNECTION
SELECT web.webpagedetails.name AS Page_Name,
Sum(web.webpagedetails.pageviews.value) AS Page_Views
FROM {target_table}
WHERE TIMESTAMP = to_timestamp('{target_year}-{target_month}-{target_day}')
GROUP BY web.webpagedetails.name
ORDER BY page_views DESC
LIMIT 10;
O query a seguir retorna os dez usuários mais ativos para uma data especificada:
%%read_sql active_users -c QS_CONNECTION
SELECT enduserids._experience.aaid.id AS aaid,
Count(timestamp) AS Count
FROM {target_table}
WHERE TIMESTAMP = to_timestamp('{target_year}-{target_month}-{target_day}')
GROUP BY aaid
ORDER BY Count DESC
LIMIT 10;
O query a seguir retorna as dez cidades que estão gerando a maioria das atividades do usuário para uma data especificada:
%%read_sql active_cities -c QS_CONNECTION
SELECT concat(placeContext.geo.stateProvince, ' - ', placeContext.geo.city) AS state_city,
Count(timestamp) AS Count
FROM {target_table}
WHERE TIMESTAMP = to_timestamp('{target_year}-{target_month}-{target_day}')
GROUP BY state_city
ORDER BY Count DESC
LIMIT 10;
Este tutorial demonstrou alguns casos de uso de exemplo para utilizar Query Service em notebooks Jupyter. Siga o tutorial Analisar seus dados usando Notebooks de Júpiter para ver como operações semelhantes são executadas usando o SDK de Acesso a Dados.