Fonctions Spark SQL
Dernière mise à jour : 16 juillet 2024
Créé pour :
- Utilisateur ou utilisatrice
- Développeur
Vous pouvez utiliser plusieurs fonctions Spark SQL intégrées pour étendre les fonctionnalités SQL avec Adobe Experience Platform Query Service. Ce document répertorie les fonctions Spark SQL prises en charge par Query Service.
Pour plus d’informations sur les fonctions, y compris leur syntaxe, leur utilisation et des exemples, consultez la documentation sur les fonctions Spark SQL.
Certaines fonctions de la documentation externe ne sont pas prises en charge.
Fonctions et opérateurs mathématiques et statistiques
Opérateur/fonction | Description |
---|---|
% | Renvoie le reste des deux nombres |
* | Multiplie les deux nombres |
+ | Additionne les deux nombres |
- | Soustrait les deux nombres |
/ | Divise les deux nombres |
abs | Renvoie la valeur absolue de l’entrée |
acos | Renvoie la valeur de l’inverse du cosinus |
approx_count_distinct | Renvoie la cardinalité estimée par HyperLogLog++ |
approx_percentile | Renvoie la valeur approximative du centile au pourcentage donné |
asin | Renvoie la valeur de l’inverse du sinus |
atan | Renvoie la valeur inverse de la tangente |
atan2 | Renvoie l’angle entre le plan de l’axe X positif et les points donnés par les coordonnées |
avg | Renvoie la valeur moyenne |
cbrt | Renvoie la racine cubique |
ceil ou ceiling | Renvoie le plus petit entier non supérieur à la valeur saisie |
conv | Convertir une base en une autre |
corr | Renvoie le coefficient de Pearson entre les nombres |
cos | Renvoie la valeur du cosinus |
cosh | Renvoie la valeur du cosinus hyperbolique |
cot | Renvoie la valeur de la cotangente |
dense_rank | Renvoie le rang d’une valeur dans un groupe de valeurs |
e | Renvoie le nombre d’Euler |
exp | Renvoie e à la puissance de la valeur |
expm1 | Renvoie e à la puissance de la valeur moins 1 |
factorial | Renvoie la factorielle de la valeur |
floor | Renvoie le plus grand entier non inférieur à la valeur |
greatest | Renvoie la plus grande valeur de tous les paramètres |
hypot | Renvoie l’hypoténuse des deux valeurs données |
kurtosis | Renvoie la valeur du kurtosis du groupe |
least | Renvoie la plus petite valeur de tous les paramètres |
ln | Renvoie le logarithme naturel de la valeur |
log | Renvoie le logarithme de la valeur |
log10 | Renvoie le logarithme, en base 10, de la valeur |
log1p | Renvoie le logarithme de la valeur plus 1 |
log2 | Renvoie le logarithme, en base 2, de la valeur |
max | Renvoie la valeur maximale de l’expression |
mean | Renvoie la moyenne calculée à partir des valeurs |
min | Renvoie la valeur minimale de l’expression |
monotonically_increasing_id | Renvoie des ID à augmentation monotone |
negative | Renvoie la valeur négative |
percent_rank | Renvoie le classement en pourcentage d’une valeur |
percentile | Renvoie le centile exact à un pourcentage donné |
percentile_approx | Renvoie le centile approximatif à un pourcentage donné |
pi | Renvoie pi |
pmod | Renvoie le modulo positif entre deux valeurs |
positive | Renvoie la valeur positive |
pow , power | Renvoie la première valeur à la puissance de la seconde valeur |
radians | Convertit la valeur en radians |
rand | Renvoie un nombre aléatoire compris entre 0 et 1 |
randn | Renvoie une valeur aléatoire |
rint | Renvoie la valeur double la plus proche |
round | Renvoie la valeur arrondie la plus proche |
sign , signum | Renvoie le signe du nombre |
sin | Renvoie le sinus de la valeur |
sinh | Renvoie le sinus hyperbolique de la valeur |
sqrt | Renvoie la racine carrée de la valeur |
stddev | Renvoie l’écart type de la valeur |
sttdev_pop | Renvoie l’écart type de la population de la valeur |
stddev_samp | Renvoie l’écart type échantillon de la valeur |
sum | Renvoie la somme des valeurs |
tan | Renvoie la tangente de la valeur |
tanh | Renvoie la tangente hyperbolique de la valeur |
var_pop | Renvoie l’écart calculé de population |
var_samp , variance | Renvoie l’écart calculé d’échantillon |
Opérateurs logiques et fonctions
Opérateur/fonction | Description |
---|---|
! ou not | NOT logique |
< | Inférieur à |
<= | Inférieur ou égal à |
= | Égal à |
> | Supérieur à |
>= | Supérieur ou égal à |
^ | Résultat binaire « OU exclusif » |
| | Au niveau du bit ou |
~ | Pas au niveau du bit |
arrays_overlap | Renvoie les éléments communs |
assert_true | Affirme si l’expression est vraie |
if | Si l’expression est vraie, renvoie la deuxième expression. Sinon, renvoie la troisième expression. |
ifnull | Si l’expression est nulle, il renvoie la seconde expression. Sinon, il renvoie la première expression. |
in | Renvoie vrai si la première expression se trouve dans l’une des expressions suivantes. |
isnan | Renvoie vrai si la valeur n’est pas un nombre |
isnotnull | Renvoie vrai si la valeur nʼest pas nulle |
isnull | Renvoie vrai si la valeur est nulle |
nanvl | Renvoie la première expression si ce n’est pas un nombre, renvoie la seconde expression dans le cas contraire |
or | Logique OR |
when | Quand peut être utilisé pour créer des conditions de branche pour la comparaison |
xpath_boolean | Renvoie vrai si l’expression XPath est évaluée comme vraie ou si un nœud correspondant est trouvé |
Fonctions de date/heure
Fonction
Description
Ajouter les mois à la date
Ajouter les jours à la date
Modifier le format de date
Soustraire les jours à partir de la date
Renvoie la date tronquée à l’unité spécifiée
Renvoie la différence entre les dates en jours
Renvoie le jour du mois
Renvoie le jour de la semaine (1-7)
Renvoie le jour de l’année
Renvoie la date sous UNIX® heure
Renvoie la date en heure UTC
Renvoie l’heure de l’entrée
Renvoie le dernier jour du mois auquel la date appartient
Renvoie la minute de l’entrée
Renvoie le mois de l’entrée
Nombre de mois entre
Renvoie le premier jour postérieur à l’entrée
Renvoie le trimestre de l’entrée
Renvoie la seconde de la chaîne
Convertit la chaîne en date. Note : la chaîne doit être au format
yyyy-mm-ddTHH24:MM:SS
.Convertit la chaîne en date et heure. Note : la chaîne doit être au format
yyyy-mm-ddTHH24:MM:SS
.Convertit la chaîne en horodatage UNIX®
Convertit la chaîne en date et heure UTC
Tronque la date
Renvoie l’horodatage UNIX®
Jour de la semaine (0-6)
Renvoie la semaine de l’année pour une date donnée
Renvoie l’année de la chaîne
Tableaux
Fonction
Description
Renvoie un tableau avec les éléments donnés
Vérifie si le tableau contient la valeur
Supprime les valeurs en double du tableau
Renvoie un tableau contenant les éléments du premier tableau, mais pas ceux du second
Renvoie l’intersection des deux tableaux
Réunit deux tableaux ensemble
Renvoie la valeur maximale du tableau
Renvoie la valeur minimale du tableau
Renvoie la position de l’élément basée sur 1
Supprime tous les éléments égaux à l’élément
Crée un tableau contenant le nombre de fois comptabilisées de la valeur.
Trie le tableau
Rejoint le tableau, sans aucun doublon
Combine les valeurs de tableaux donnés avec les valeurs de la collection d’origine à un index donné.
Renvoyer la taille du tableau
Renvoyer l’élément en position
Séparer les éléments du tableau en plusieurs lignes, à l’exception de la valeur nulle
Séparer les éléments du tableau en plusieurs lignes, y compris la valeur nulle
Renvoie la position de base 1 du tableau
Aplatit un tableau de tableaux
Séparer le tableau des structures dans un tableau, à l’exclusion de la valeur nulle
Séparer le tableau des structures dans un tableau, y compris la valeur nulle
Séparez les éléments d’un tableau en plusieurs lignes avec des positions, à l’exception de null
Inverser les éléments du tableau
Renvoyer une permutation aléatoire du tableau
Sous-définit un tableau
Trier un tableau selon un ordre donné
Fusionne les deux tableaux en un seul tableau, avant d’appliquer une fonction
Fonctions de diffusion du type de données
Fonction
Description
Remplacer le type de données par bigint
Remplacer le type de données par binaire
Remplacer le type de données par booléen
Remplacer le type de données par le type spécifié
Remplacer le type de données par la date
Remplacer le type de données par un nombre décimal
Remplacer le type de données par un double
Transformer le type de données en type flottant
Remplacer le type de données par int
Remplacer le type de données par smallint
Créer un mappage à partir d’une chaîne
Remplacer le type de données par une chaîne
Créer une structure
Remplacer le type de données par tinyint
Fonctions de conversion et de formatage
Fonction
Description
Renvoyer la valeur numérique (ASCII)
Remplacer l’argument par une chaîne base64
Remplacer l’argument par une valeur binaire
Renvoyer la longueur en bits
Renvoyer la longueur de la chaîne
Renvoie la valeur de vérification de redondance cyclique
Convertir les radians en degrés
Modifier le format du nombre
Obtenir des données à partir de JSON
Renvoyer la valeur de hachage
Convertir l’argument en valeur hexadécimale
Modifie la chaîne en cas de titre.
Complète le côté gauche d’une chaîne
Créer un mappage
Créer un mappage à partir d’un tableau
Créer un mappage à partir d’un tableau de structures
Renvoyer la valeur md5
Complète le côté droit d’une chaîne
Supprime les espaces de fin
Renvoyer la valeur SHA2
Renvoyer le code soundex
Séparer les valeurs en lignes
Renvoie une chaîne JSON
Remplacer les valeurs dans une chaîne
Supprimer les caractères de début et de fin
Convertir la chaîne base64 en binaire
Convertir l’hexadécimal en binaire
Renvoyer un UUID
Évaluation des données
Fonction
Description
Renvoyer le premier argument non nul
Renvoyer une liste d’éléments non uniques
Renvoyer un ensemble d’éléments uniques
Concaténation
Concaténation avec séparateur
Renvoie le nombre total de lignes
Décoder à l’aide d’un jeu de caractères
Coder à l’aide d’un jeu de caractères
Renvoyer la première valeur
Indique si une colonne est regroupée
Renvoie le niveau de regroupement
Renvoie un index de base 1 d’occurrence de caractère
Renvoie un tuple à partir d’une entrée JSON
Renvoie la dernière valeur
Renvoie la longueur de la chaîne
Renvoie la distance de Levenshtein entre les chaînes
Concaténer un mappage
Renvoyer les clés d’un mappage
Renvoyer les valeurs d’un mappage
Diviser les lignes en partitions
Renvoie nulle si vraie
Renvoie la valeur si nulle
Renvoie la valeur si non nulle
Extrait une partie d’une URL
Calcule le classement d’une valeur
Extrait quelque chose qui correspond à l’expression régulière
Remplace quelque chose qui correspond à l’expression régulière
Renvoie une chaîne qui se répète
Remplacer toutes les instances d’une chaîne
Créer une agrégation des données multidimensionnelle
Attribue un numéro de ligne unique
Renvoie le schéma du JSON
Fractionne la chaîne en un tableau de mots
Génère un tableau d’éléments
Déplacement au niveau du bit vers la gauche sur entier signé
Déplacement au niveau du bit vers la droite sur entier signé
Déplacement au niveau du bit vers la droite sur entier non signé
Renvoyer la taille du tableau
Fractionner la chaîne
Renvoyer l’index de la sous-chaîne
Période
Analyser les nœuds XML
Analyser les nœuds XML pour rechercher un doublon
Analyser les nœuds XML pour rechercher une virgule flottante
Analyser les nœuds XML pour rechercher un entier
Analyser les nœuds XML pou rechercher un entier long
Analyser les nœuds XML pour rechercher un entier court
Analyser les nœuds XML pour rechercher une chaîne
Informations actuelles
Fonction
Description
Renvoie la base de données actuelle
Renvoie la date actuelle
Renvoie la date et l’heure actuelles
Fonctions d’ordre supérieur
recommendation-more-help
ccf2b369-4031-483f-af63-a93b5ae5e3fb