Questions fréquentes sur Query Service et Data Distiller

Ce document répond aux questions fréquentes sur Query Service et Data Distiller. Il comprend également des codes d’erreur courants lors de l’utilisation du produit « Requêtes » pour la validation des données ou l’écriture de données transformées dans le lac de données. Pour toute question ou tout dépannage concernant d’autres services Adobe Experience Platform, consultez le guide de dépannage d’Experience Platform.

Pour clarifier la façon dont Query Service et Data Distiller fonctionnent ensemble dans Adobe Experience Platform, voici deux questions fondamentales.

Quelle est la relation entre Query Service et Data Distiller ?

Query Service et Data Distiller sont des composants distincts et complémentaires qui fournissent des fonctionnalités d’interrogation de données spécifiques. Query Service est conçu pour que les requêtes ad hoc explorent, valident et testent les données ingérées sans modifier le lac de données. En revanche, Data Distiller se concentre sur les requêtes par lots qui transforment et enrichissent les données, avec des résultats stockés dans le lac de données pour une utilisation ultérieure. Les requêtes par lots dans Data Distiller peuvent être planifiées, surveillées et gérées, ce qui permet un traitement et une manipulation des données plus approfondis que Query Service ne facilite pas à lui seul.

Ensemble, Query Service facilite la collecte rapide d’informations, tandis que Data Distiller permet des transformations de données approfondies et persistantes.

Quelle est la différence entre Query Service et Data Distiller ?

Query Service : utilisé pour les requêtes SQL axées sur l’exploration, la validation et l’expérimentation des données. Les sorties ne sont pas stockées dans le lac de données et le temps d’exécution est limité à 10 minutes. Les requêtes ad hoc sont adaptées aux vérifications et analyses de données légères et interactives.

Distiller de données : permet d’exécuter des requêtes par lots qui traitent, nettoient et enrichissent les données, avec des résultats stockés dans le lac de données. Ces requêtes prennent en charge une exécution plus longue (jusqu’à 24 heures) et des fonctionnalités supplémentaires telles que la planification, la surveillance et la création de rapports accélérée. Data Distiller est idéal pour les tâches de manipulation de données approfondies et de traitement de données planifié.

Pour plus d’informations, consultez le document Package Query Service.

Catégories de questions categories

La liste suivante de réponses aux questions fréquentes est divisée en plusieurs catégories :

Questions générales sur le service de requête general

Cette section contient des informations sur les performances, les limites et les processus.

Puis-je désactiver la fonction de saisie automatique dans l’éditeur du service de requête ?

Pourquoi le requêteur ralentit-il parfois lorsque je saisis une requête ?

Puis-je utiliser Postman pour l’API Query Service ?

Existe-t-il un nombre maximal de lignes renvoyées par une requête via l’interface utilisateur ?

Puis-je utiliser des requêtes pour mettre à jour des lignes ?

Existe-t-il une limite de taille des données pour la sortie obtenue à partir d’une requête ?

Comment empêcher mes requêtes d’expirer au bout de 10 minutes ?

Y a-t-il un problème ou un impact sur les performances du service de requête si plusieurs requêtes s’exécutent simultanément ?

Puis-je utiliser des mots-clés réservés comme nom de colonne ?

Comment puis-je trouver un nom de colonne à partir d’un jeu de données hiérarchique ?

Comment accélérer une requête sur un jeu de données contenant des tableaux ?

Pourquoi ma requête CTAS est-elle toujours en cours de traitement après de nombreuses heures alors qu’elle concerne peu de lignes ?

Comment contacter le service clientèle d’Adobe ? customer-support

Comment mettre en œuvre une série séquentielle de tâches sans exécuter les tâches suivantes si la tâche précédente ne se termine pas correctement ?

Comment mettre en œuvre l’attribution personnalisée dans le service de requête ?

Puis-je modéliser mes requêtes afin de pouvoir les réutiliser facilement ?

Comment récupérer les journaux d’erreur d’une requête ? error-logs

{
    "isInsertInto": false,
    "request": {
                "dbName": "prod:all",
                "sql": "SELECT *\nFROM\n  accounts\nLIMIT 10\n"
            },
    "clientId": "8c2455819a624534bb665c43c3759877",
    "state": "SUCCESS",
    "rowCount": 0,
    "errors": [{
      'code': '58000',
      'message': 'Batch query execution gets : [failed reason ErrorCode: 58000 Batch query execution gets : [Analysis error encountered. Reason: [sessionId: f055dc73-1fbd-4c9c-8645-efa609da0a7b Function [varchar] not defined.]]]',
      'errorType': 'USER_ERROR'
      }],
    "isCTAS": false,
    "version": 1,
    "id": "343388b0-e0dd-4227-a75b-7fc945ef408a",
}

Que signifie « Erreur de validation du schéma » ?

CREATE TABLE table_name WITH (SCHEMA='schema_name')

AS SELECT '1' as _id,

 STRUCT

  ('2021-02-17T15:39:29.0Z' AS taskActualCompletionDate,

    '2020-09-09T21:21:16.0Z' AS taskActualStartDate,

    'Consulting' AS taskdescription,

    '5f6527c10011e09b89666c52d9a8c564' AS taskguide,

    'Stakeholder Consulting Engagement' AS taskname,

    '2020-09-09T15:00:00.0Z' AS taskPlannedStartDate,

    '2021-02-15T11:00:00.0Z' AS taskPlannedCompletionDate

  ) AS _workfront ;

Comment traiter rapidement les nouvelles données qui entrent chaque jour dans le système ?

Pourquoi y a-t-il une différence entre les nombres affichés dans l’interface utilisateur du profil et les nombres calculés à partir du jeu de données d’exportation du profil ?

Pourquoi ma requête a-t-elle renvoyé un sous-ensemble vide et que dois-je faire ?

SELECT count(1) FROM myTableName

Puis-je échantillonner mes données ?

Quelles fonctions d’assistant sont prises en charge par le service de requête ?

Toutes les fonctions Spark SQL natives sont-elles prises en charge, ou les utilisateurs et utilisatrices sont-ils limités aux fonctions Spark SQL wrapper fournies par Adobe ?

Les utilisateurs et utilisatrices peuvent-ils définir leurs propres fonctions définies par l’utilisateur (UDF) pour les utiliser dans d’autres requêtes ?

Que dois-je faire si ma requête planifiée échoue ?

Que signifie l’erreur « Limite de session atteinte » ?

Comment le journal de requête gère-t-il les requêtes relatives à un jeu de données supprimé ?

Comment puis-je obtenir uniquement les métadonnées d’une requête ?

SELECT * FROM <table> WHERE 1=0

Comment puis-je itérer rapidement sur une requête CTAS (Create Table As Select) sans la matérialiser ?

CREATE temp TABLE temp_dataset AS
SELECT *
FROM actual_dataset
WHERE 1 = 0;

INSERT INTO temp_dataset
SELECT a._company AS _company,
a._id AS _id,
a.timestamp AS timestamp
FROM actual_dataset a
WHERE timestamp >= TO_TIMESTAMP('2021-01-21 12:00:00')
AND timestamp < TO_TIMESTAMP('2021-01-21 13:00:00')
LIMIT 100;

Comment modifier le fuseau horaire en heure et date UTC ?

Convertir en date et heure UTC

La méthode to_utc_timestamp() interprète les paramètres donnés et les convertit à l’heure et à la date de votre fuseau horaire local au format UTC. Par exemple, le fuseau horaire à Séoul, en Corée du Sud, est UTC/GMT +9 heures. En fournissant une date uniquement, la méthode utilise une valeur par défaut de minuit le matin. L’heure, la date et le fuseau horaire sont convertis au format UTC de l’heure de cette région en date et heure UTC de votre région locale.

SELECT to_utc_timestamp('2021-08-31', 'Asia/Seoul');

La requête renvoie une date et une heure à l’heure locale de l’utilisateur ou utilisatrice. Dans ce cas, la veille à 15h00 comme à Séoul, il y a neuf heures d’avance.

2021-08-30 15:00:00

Autre exemple : si la date et l’heure données ont été 2021-07-14 12:40:00.0 pour le fuseau horaire Asia/Seoul, la date et l’heure UTC renvoyées seraient 2021-07-14 03:40:00.0.

La sortie de console fournie dans l’interface utilisateur du service de requête est plus lisible :

8/30/2021, 3:00 PM

Convertir à partir de la date et heure UTC

La méthode from_utc_timestamp() interprète les paramètres donnés à partir de la date et de l’heure de votre fuseau horaire local, et fournit la date et l’heure équivalentes de la région souhaitée au format UTC. Dans l’exemple ci-dessous, l’heure est 2:40PM dans le fuseau horaire local de l’utilisateur. Le fuseau horaire de Séoul passé en tant que variable est neuf heures en avance sur le fuseau horaire local.

SELECT from_utc_timestamp('2021-08-31 14:40:00.0', 'Asia/Seoul');

La requête renvoie une date et une heure au format UTC pour le fuseau horaire transmis en tant que paramètre. Le résultat est neuf heures en avance sur le fuseau horaire qui a exécuté la requête.

8/31/2021, 11:40 PM

Comment dois-je filtrer mes données de série temporelle ?

SELECT a._company  AS _company,
       a._id       AS _id,
       a.timestamp AS timestamp
FROM   dataset a
WHERE  timestamp >= To_timestamp('2021-01-21 12:00:00')
       AND timestamp < To_timestamp('2021-01-21 13:00:00')

Comment utiliser correctement l’opérateur CAST pour convertir mes dates et heures dans les requêtes SQL ?

SELECT * FROM ABC
WHERE timestamp = CAST('07-29-2021' AS timestamp)

SELECT * FROM ABC
WHERE timestamp = CAST('07-29-2021 00:00:00' AS timestamp)

Dois-je utiliser des caractères génériques, tels que * pour obtenir toutes les lignes de mes jeux de données ?

Dois-je utiliser NOT IN dans ma requête SQL ?

CREATE TABLE T1 (ID INT)
CREATE TABLE T2 (ID INT)
INSERT INTO T1 VALUES (1)
INSERT INTO T1 VALUES (2)
INSERT INTO T1 VALUES (3)
INSERT INTO T2 VALUES (1)
INSERT INTO T2 VALUES (2)

SELECT ID FROM T1
WHERE NOT EXISTS
(SELECT ID FROM T2 WHERE T1.ID = T2.ID)

SELECT T1.ID FROM T1
LEFT OUTER JOIN T2 ON T1.ID = T2.ID
WHERE T2.ID IS NULL

Puis-je créer un jeu de données à l’aide d’une requête CTAS avec un nom de soulignement double comme celui affiché dans l’interface utilisateur ? Par exemple : test_table_001.

Combien de requêtes simultanées est-il possible d’exécuter à la fois ?

Y a-t-il un tableau de bord d’activité dans lequel vous pouvez voir les activités et le statut des requêtes ?

Existe-t-il un moyen de restaurer les mises à jour ? Par exemple, en cas d’erreur ou si certains calculs doivent être reconfigurés lors de l’écriture de données dans Experience Platform, comment ce scénario doit-il être géré ?

Comment optimiser les requêtes dans Adobe Experience Platform ?

Les connexions peuvent-elles être limitées à certains aspects du service de requête ou s’agit-il d’une solution « tout ou rien » ?

Puis-je restreindre les données que le service de requête peut utiliser ou accède-t-il simplement à l’ensemble du lac de données d’Adobe Experience Platform ?

Quelles autres options existe-t-il pour limiter les données auxquelles le service de requête peut accéder ?

Une fois les données renvoyées par Query Service, existe-t-il des vérifications pouvant être exécutées par Experience Platform pour s’assurer qu’elles n’ont renvoyé aucune donnée protégée ?

Puis-je spécifier un mode SSL pour la connexion à un client tiers ? Par exemple, puis-je utiliser « verify-full » avec Power BI ?

Puis-je contrôler l’accès à des jeux de données et à des colonnes spécifiques pour une connexion particulière ? Comment cela est-il configuré ?

Le service de requête prend-il en charge la commande « INSERT OVERWRITE INTO » ?

À quelle fréquence les données d’utilisation du tableau de bord d’utilisation de la licence sont-elles mises à jour pour les heures de calcul de Data Distiller ?

Puis-je utiliser la commande CREATE VIEW sans accès à Data Distiller ?

Puis-je utiliser des blocs anonymes dans DBVisualizer ?

TLS, accès au port et chiffrement tls-port-questions

Une connexion établie sur le port 80 utilise-t-elle toujours le chiffrement HTTPS et TLS ?

Adobe Query Service expose-t-il des données via HTTP non chiffré (port 80) ?

L’utilisation du port 80 pour Query Service et Data Distiller est-elle une configuration héritée ?

Utilisons-nous TLS 1.2 pour toutes les connexions des clients Power BI à Query Service ?

Le port 80 est-il non chiffré lorsqu’il est utilisé avec Data Distiller ?

Existe-t-il des risques ou des limitations lors de l’utilisation du port 80 avec Query Service ou Data Distiller ?

Data Distiller data-distiller

Comment l’utilisation de la licence de Distiller de données est-elle suivie et où puis-je voir ces informations ?

Qu’est-ce qu’une heure de calcul ?

Comment les heures de calcul sont-elles mesurées ?

Pourquoi est-ce que je remarque parfois une variation de la consommation des heures de calcul même lorsque j’exécute la même requête de manière consécutive ?

Est-il normal de constater une réduction des heures de calcul lorsque j’exécute la même requête à l’aide des mêmes données sur une longue période ? Pourquoi cela pourrait-il se produire ?

Les performances de Data Distiller diffèrent-elles entre les sandbox de développement et de production ?

Interface utilisateur des requêtes

L’action « Créer une requête » est bloquée sur « Initialisation de la connexion… » lors de la tentative de connexion à Query Service. Comment résoudre le problème ?

Échantillon de jeux de données

Puis-je créer des exemples sur un jeu de données système ?

Exportation des données exporting-data

Cette section fournit des informations sur l’exportation des données et des limites.

Existe-t-il un moyen d’extraire des données du service de requête après le traitement des requêtes et d’enregistrer les résultats dans un fichier CSV ? export-csv

SELECT column1, column2
FROM <table_name>
\g <table_name>.out

Puis-je extraire le contenu du jeu de données final qui a été ingéré par le biais de requêtes CTAS (en supposant qu’il s’agisse de grandes quantités de données telles que des Terabytes) ?

Pourquoi le connecteur de données Analytics ne renvoie-t-il pas de données ?

SELECT * FROM prod_table LIMIT 1;

SELECT * FROM prod_table
WHERE
timestamp >= to_timestamp('2022-07-22')
and timestamp < to_timestamp('2022-07-23');

Syntaxe SQL

La fonctionnalité MERGE INTO est-elle prise en charge par Data Distiller ou Query Service ?

Requêtes ITAS itas-queries

Que sont les requêtes ITAS ?

Query Service prend-il en charge les opérations de mise à jour et de suppression ?

Outils tiers third-party-tools

Cette section contient des informations sur l’utilisation d’outils tiers tels que PSQL et Power BI.

Puis-je connecter le service de requête à un outil tiers ?

Existe-t-il un moyen de connecter le service de requête une seule fois pour une utilisation continue avec un outil tiers ?

Pourquoi mes informations d’identification non expirantes ne fonctionnent-elles pas ?

Existe-t-il des restrictions sur les caractères spéciaux pour les mots de passe d’informations d’identification non expirants ?

Quels types d’éditeurs SQL tiers puis-je connecter à l’éditeur du service de requête ?

Puis-je connecter l’outil Power BI au service de requête ?

Pourquoi le chargement des tableaux de bord est-il long lorsque le système est connecté au service de requête ?

Est-il possible d’accéder au service de requête à l’aide de l’outil de connexion pgAdmin ?

Erreurs de l’API PostgreSQL postgresql-api-errors

Le tableau suivant fournit les codes d’erreur PSQL et leurs causes possibles.

Pourquoi ai-je reçu un code d’erreur 58000 lors de l’utilisation de la méthode history_meta() sur ma table ?

ErrorCode: 58000 Internal System Error [Invalid table your_table_name. historyMeta can be used on datalake tables only.]

Query complete in {timeframe}. 0 rows returned.

Erreurs de l’API REST rest-api-errors

Le tableau suivant fournit des codes d’erreur HTTP et leurs causes possibles.