Spark Fonctions SQL

Adobe Experience Platform Query Service fournit plusieurs fonctions Spark SQL intégrées pour étendre les fonctionnalités SQL. Ce document répertorie les fonctions Spark SQL prises en charge par Query Service.

Pour plus d’informations sur les fonctions, notamment leur syntaxe, leur utilisation et des exemples, veuillez lire la section Documentation sur les fonctions Spark SQL.

REMARQUE

Certaines fonctions de la documentation externe ne sont pas prises en charge.

Fonctions et opérateurs mathématiques et statistiques

Opérateur/fonction Description
% Renvoie le reste des deux nombres
* Multiplie les deux nombres
+ Ajoute les deux nombres
- Enlève les deux nombres
/ Divise les deux nombres
abs Renvoie la valeur absolue de l’entrée
acos Renvoie la valeur cosinale inverse
approx_count_distinct Renvoie la cardinalité estimée par HyperLogLog++
approx_percentile Renvoie la valeur approximative du centile au pourcentage donné
asin Renvoie la valeur inversée du sinus
atan Renvoie la valeur de tangente inverse
atan2 Renvoie l'angle entre le plan de l'axe X positif et les points donnés par les coordonnées
avg Renvoie la valeur moyenne
cbrt Renvoie la racine cubique
ceil ou ceiling Renvoie le plus petit entier non supérieur à la valeur saisie
conv Convertir d’une base en une autre
corr Renvoie le coefficient de Pearson entre les nombres
cos Renvoie la valeur cosine
cosh Renvoie la valeur du cosinus hyperbolique
cot Renvoie la valeur de la cotangente
dense_rank Renvoie le rang d'une valeur dans un groupe de valeurs
e Renvoie le nombre d’Euler
exp Renvoie e à la puissance de la valeur
expm1 Renvoie e à la puissance de la valeur moins 1
factorial Renvoie la factorielle de la valeur
floor Renvoie le plus grand entier non inférieur à la valeur
greatest Renvoie la valeur la plus grande de tous les paramètres
hypot Renvoie l'hypothèse de l'utilisation des deux valeurs données
kurtosis Renvoie la valeur de kurtosis du groupe
least Renvoie la plus petite valeur de tous les paramètres
ln Renvoie le logarithme népérien de la valeur
log Renvoie le logarithme de la valeur
log10 Renvoie le logarithme, en base 10, de la valeur
log1p Renvoie le logarithme de la valeur plus 1
log2 Renvoie le logarithme, en base 2, de la valeur
max Renvoie la valeur maximale de l'expression
mean Renvoie la moyenne calculée à partir des valeurs
min Renvoie la valeur minimale de l’expression
monotonically_increasing_id Renvoie des identifiants à augmentation monotone
negative Renvoie la valeur négative
percent_rank Renvoie le classement en pourcentage d'une valeur
percentile Renvoie le centile exact à un pourcentage donné
percentile_approx Renvoie le centile approximatif à un pourcentage donné
pi Renvoie pi
pmod Renvoie le modulo positif entre deux valeurs
positive Renvoie la valeur positive
pow, power Renvoie la première valeur à la puissance de la seconde valeur
radians Convertit la valeur en radians
rand Renvoie un nombre aléatoire compris entre 0 et 1
randn Renvoie une valeur aléatoire
rint Renvoie la valeur double la plus proche
round Renvoie la valeur arrondie la plus proche
sign, signum Renvoie le signe du nombre
sin Renvoie le sinus de la valeur
sinh Renvoie le sinus hyperbolique de la valeur
sqrt Renvoie la racine carrée de la valeur
stddev Renvoie l'écart type de la valeur
sttdev_pop Renvoie l'écart type de population de la valeur
stddev_samp Renvoie l'écart type échantillon de la valeur
sum Renvoie la somme des valeurs
tan Renvoie la tangente de la valeur
tanh Renvoie la tangente hyperbolique de la valeur
var_pop Renvoie la variance de population calculée
var_samp, variance Renvoie la variance d’échantillon calculée

Opérateurs logiques et fonctions

Opérateur/fonction Description
! ou not Logical not
< Inférieur à
<= Inférieur ou égal à
= Equal to
> Greater than
>= Supérieur ou égal à
^ Bitwise exclusive or
| Au niveau du bit ou
~ Au niveau du bit
arrays_overlap Renvoie les éléments communs
assert_true Affirme si l’expression est vraie
if Si l’expression renvoie true (vrai), renvoyez la seconde expression. Sinon, renvoie la troisième expression.
ifnull Si l’expression est nulle, elle renvoie la seconde expression. Sinon, elle renvoie la première expression.
in Renvoie true si la première expression se trouve dans l’une des expressions suivantes.
isnan Renvoie true si la valeur n’est pas un nombre
isnotnull Renvoie true si la valeur n’est pas nulle
isnull Renvoie true si la valeur est nulle
nanvl Renvoie la première expression si ce n'est pas un nombre, renvoie la seconde expression dans le cas contraire
or Logique ou
when Quand peut-on utiliser pour créer des conditions de branche à des fins de comparaison ?
xpath_boolean Renvoie true si l’expression XPath est évaluée comme true ou si un noeud correspondant est trouvé

Fonctions de date/heure

Fonction Description
add_months Ajouter des mois à jour
date_add Ajouter les jours à jour
date_format Modifier le format de date
date_sub Soustraire les jours à partir de la date
date_trunc Renvoie la date tronquée à l’unité spécifiée
datediff Renvoie la différence entre les dates en jours
day, dayofmonth Renvoie le jour du mois
dayofweek Renvoie le jour de la semaine (1-7)
dayofyear Renvoie le jour de l’année
from_unixtime Renvoie la date en heure Unix
from_utc_timestamp Renvoie la date en heure UTC
hour Renvoie l’heure de l’entrée
last_day Renvoie le dernier jour du mois auquel la date appartient
minute Renvoie la minute de l’entrée
month Renvoie le mois de l’entrée
months_between Nombre de mois entre
next_day Renvoie le premier jour après l’entrée
quarter Renvoie le trimestre de l’entrée
second Renvoie la seconde de la chaîne
to_date Convertit la chaîne en date. Remarque : Chaîne must être au format yyyy-mm-ddTHH24:MM:SS.
to_timestamp Convertit la chaîne en horodatage. Remarque : Chaîne must être au format yyyy-mm-ddTHH24:MM:SS.
to_unix_timestamp Convertit la chaîne en horodatage Unix
to_utc_timestamp Convertit la chaîne en horodatage UTC
trunc Tronque la date
unix_timestamp Renvoie l’horodatage Unix
weekday Jour de la semaine (0-6)
weekofyear Renvoie la semaine de l'année pour une date donnée
year Renvoie l’année de la chaîne

Tableaux

Fonction Description
array Crée un tableau avec les éléments donnés
array_contains Vérifie si le tableau contient la valeur
array_distinct Supprime les valeurs en double du tableau
array_except Renvoie un tableau des éléments du premier tableau, mais pas du second
array_intersect Renvoie l’intersection des deux tableaux
array_join Associe deux tableaux
array_max Renvoie la valeur maximale du tableau
array_min Renvoie la valeur minimale du tableau
array_position Renvoie la position de l’élément basée sur 1
array_remove Supprime tous les éléments égaux à l’élément .
array_repeat Crée un tableau contenant la valeur count times
array_sort Trie le tableau
array_union Rejoint le tableau, sans aucun doublon
arrays_zip Combine les valeurs de tableaux donnés avec les valeurs d’une collection d’origine à un index donné.
cardinality Renvoie la taille du tableau
element_at Renvoyer l’élément en position
explode Séparez les éléments du tableau en plusieurs lignes, à l’exception de null
explode_outer Séparez les éléments du tableau en plusieurs lignes, y compris la valeur nulle
find_in_set Renvoie la position de base 1 du tableau
flatten Aplatit un tableau de tableaux
inline Tableau distinct de structs dans un tableau, à l’exclusion de null
inline_outer Tableau distinct de structs dans un tableau, y compris null
posexplode Séparez les éléments du tableau en plusieurs lignes avec des positions, à l’exception de null
reverse Éléments inversés du tableau
shuffle Renvoie une permutation aléatoire du tableau
slice Sous-définit un tableau
sort_array Tri d’un tableau selon un ordre donné
zip_with Fusionne les deux tableaux en un seul tableau, avant d’appliquer une fonction

Fonctions de diffusion du type de données

Fonction Description
bigint Remplacer le type de données par bigint
binary Remplacer le type de données par binaire
boolean Remplacez le type de données par booléen.
type Remplacer le type de données par le type spécifié
date Modifier le type de données à ce jour
decimal Remplacer le type de données par décimal
double Remplacez le type de données par double
float Modifier le type de données pour qu’il soit flottant
int Remplacez le type de données par int .
smallint Remplacez le type de données par small
str_to_map Création d’une carte à partir d’une chaîne
string Remplacer le type de données par une chaîne
struct Création d’un struct
tinyint Remplacez le type de données par tinyint.

Fonctions de conversion et de formatage

Fonction Description
ascii Renvoie la valeur numérique (ASCII)
base64 Remplacer l’argument par une chaîne base64
bin Remplacer l’argument par une valeur binaire
bit_length Renvoie la longueur en bits
char, chr Renvoyer le caractère ASCII
char_length, character_length Renvoie la longueur de la chaîne
crc32 Renvoie la valeur de vérification de redondance cyclique
degrees Convertir les radians en degrés
format_number Modifier le format du nombre
from_json, get_json_object Obtenir des données à partir de JSON
hash Renvoie la valeur de hachage
hex Convertir l’argument en valeur hexadécimale
initcap Modification de la chaîne à mettre en cache par le titre
lcase, lower Modifie la chaîne en minuscules.
lpad Pad le côté gauche d’une chaîne
map Création d’une carte
map_from_arrays Création d’une carte à partir d’un tableau
map_from_entries Création d’une carte à partir d’un tableau de structs
md5 Renvoie la valeur md5
rpad Pad du côté droit d’une chaîne
rtrim Suppression des espaces à la fin
sha, sha1 Renvoie la valeur SHA1
sha2 Renvoie la valeur SHA2
soundex Renvoie le code soundex
stack Séparation des valeurs en lignes
substr, substring Renvoie la sous-chaîne
to_json Renvoie une chaîne JSON
translate Remplacement des valeurs dans une chaîne
trim Suppression des caractères de début et de fin
ucase, upper Modifier la chaîne pour qu’elle soit entièrement en majuscules
unbase64 Convertir la chaîne base64 en binaire
unhex Convertir l’hexadécimal en binaire
uuid Renvoie un UUID

Évaluation des données

Fonction Description
coalesce Renvoie le premier argument non nul
collect_list Renvoie une liste d’éléments non uniques
collect_set Renvoie un ensemble d’éléments uniques
concat Concaténation
concat_ws Concaténation avec séparateur
count Renvoie le nombre total de lignes
decode Décodage à l’aide d’un jeu de caractères
elt Renvoie la variable nentrée
encode Codage à l’aide d’un jeu de caractères
first, first_value Renvoie la première valeur
grouping Indique si une colonne est regroupée
grouping_id Renvoie le niveau de groupement
instr Renvoie un index de base 1 d’occurrence de caractère
json_tuple Renvoie un tuple à partir d’une entrée JSON
lag, lead Renvoie la valeur avant le décalage
last, last_value Renvoie la dernière valeur
left Renvoie le premier n caractères
length Renvoie la longueur de la chaîne
levenshtein Renvoie la distance de Levenshtein entre les chaînes
locate, position Renvoie la position de la première occurrence d’une sous-chaîne
map_concat Concaténer une carte
map_keys Renvoi des clés d’une carte
map_values Renvoie les valeurs d’une carte
ntile Diviser les lignes en partitions
nullif Renvoie null si true
nvl Renvoie la valeur si null
nvl2 Renvoie la valeur si non nul
parse_url Extrait une partie d'une URL
rank Calcule le rang d’une valeur
regexp_extract Extrait quelque chose qui correspond à l’expression régulière
regex_replace Remplace quelque chose qui correspond à l’expression régulière
repeat Renvoie une chaîne qui répète
replace Remplacer toutes les instances d’une chaîne
rollup Création d’un cumul multidimensionnel
row_number Attribue un numéro de ligne unique
schema_of_json Renvoie le schéma du JSON
sentences Divise la chaîne en un tableau de mots
sequence Génère un tableau d’éléments
shiftleft Déplacement au niveau du bit signé à gauche
shiftright Déplacement au niveau du bit signé à droite
shiftrightunsigned Déplacement au niveau du bit non effectué à droite
size Renvoie la taille du tableau
space Renvoie une chaîne avec n espaces
split Fractionner la chaîne
substring_index Retourne l’index de la sous-chaîne
window Période
xpath Analyse des noeuds XML
xpath_double, xpath_number Parcourir les noeuds XML pour le double
xpath_float Analyse des noeuds XML pour les flotteurs
xpath_int Analyse des noeuds XML pour un entier
xpath_long Analyse des noeuds XML pour les longues
xpath_short Analyse des noeuds XML pour un nombre entier court
xpath_string Analyse des noeuds XML pour la chaîne

Informations actuelles

Fonction Description
current_database Renvoie la base de données actuelle
current_date Renvoie la date courante
current_timestamp, now Renvoie l’horodatage actuel

Fonctions d’ordre supérieur

Fonction Description
transform Transformation d’éléments dans un tableau
exists Vérifier si l’élément existe
filter Filtrage du tableau d’entrée
aggregate Application d’un opérateur binaire à tous les éléments

Sur cette page