Spark Fonctions SQL

Adobe Experience Platform Requête Service fournit plusieurs fonctions Spark SQL intégrées pour étendre les fonctionnalités SQL. Ce document liste les fonctions Spark SQL prises en charge par Requête Service.

Pour plus d'informations sur les fonctions, y compris leur syntaxe, leur utilisation et des exemples, consultez la documentation sur la fonction SQL Spark.

REMARQUE

Certaines fonctions de la documentation externe ne sont pas prises en charge.

Catégories

Fonctions et opérateurs mathématiques et statistiques

Opérateur/fonction Description
% Renvoie le reste des deux nombres
* Multiplie les deux nombres
+ Ajoute les deux nombres
- Soustrait les deux nombres
/ Divise les deux nombres
abs Renvoie la valeur absolue de l’entrée
acos Renvoie la valeur cosinale inverse
approx_count_distinct Renvoie la cardinalité estimée par HyperLogLog++
approx_percentile Renvoie la valeur approximative du percentile au pourcentage donné.
asin Renvoie la valeur inversée du sinus
atan Renvoie la valeur de tangente inverse
atan2 Renvoie l'angle entre le plan positif de l'axe X et les points donnés par les coordonnées
avg Renvoie la valeur moyenne
cbrt Renvoie la racine du cube
ceil ou ceiling Renvoie le plus petit entier n’est pas supérieur à la valeur saisie.
conv Convertir d’une base à une autre
corr Renvoie le coefficient Pearson entre les nombres
cos Renvoie la valeur cosine
cosh Renvoie la valeur du cosinus hyperbolique
cot Renvoie la valeur de la cotangente
dense_rank Renvoie le rang d’une valeur dans un groupe de valeurs.
e Renvoie le nombre d’Euler
exp Renvoie e à la puissance de la valeur
expm1 Renvoie e à la puissance de la valeur moins 1
factorial Renvoie le factoriel de la valeur
floor Renvoie l’entier le plus grand, non inférieur à la valeur
greatest Renvoie la valeur la plus élevée de tous les paramètres
hypot Renvoie l’hypothèse de l’utilisation des deux valeurs données
kurtosis Renvoie la valeur de kurtose du groupe.
least Renvoie la plus petite valeur de tous les paramètres.
ln Renvoie le logarithme népérien de la valeur
log Renvoie le logarithme de la valeur
log10 Renvoie le logarithme, en base 10, de la valeur
log1p Renvoie le logarithme de la valeur plus 1
log2 Renvoie le logarithme, en base 2, de la valeur
max Renvoie la valeur maximale de l’expression.
mean Renvoie la moyenne calculée à partir des valeurs
min Renvoie la valeur minimale de l’expression.
monotonically_increasing_id Renvoie des identifiants qui augmentent de manière monotonique.
negative Renvoie la valeur négée
percent_rank Renvoie le classement en pourcentage d’une valeur
percentile Renvoie le percentile exact à un pourcentage donné
percentile_approx Renvoie le percentile approximatif à un pourcentage donné.
pi Renvoie pi
pmod Renvoie le modulo positif entre deux valeurs
positive Renvoie le solde positif
pow, power Renvoie la première valeur à la puissance de la seconde valeur
radians Convertit la valeur en radians
rand Renvoie un nombre aléatoire compris entre 0 et 1
randn Renvoie une valeur aléatoire
rint Renvoie la valeur de doublon la plus proche
round Renvoie la valeur arrondie la plus proche
sign, signum Renvoie le signe du nombre.
sin Renvoie le sinus de la valeur
sinh Renvoie le sinus hyperbolique de la valeur
sqrt Renvoie la racine carrée de la valeur
stddev Renvoie l’écart type de la valeur
sttdev_pop Renvoie l’écart type de population de la valeur
stddev_samp Renvoie l’écart type de la valeur
sum Renvoie la somme des valeurs
tan Renvoie la tangente de la valeur
tanh Renvoie la tangente hyperbolique de la valeur
var_pop Renvoie la variance de population calculée
var_samp, variance Renvoie la variance d’échantillon calculée

Opérateurs logiques et fonctions

Opérateur/fonction Description
! ou not Logical not
< Inférieur à
<= Inférieur ou égal à
= Equal to
> Supérieur à
>= Supérieur ou égal à
^ Bitwise exclusive or
>= Supérieur ou égal à
| Au niveau du bit ou
~ Pas au niveau du bit
arrays_overlap Renvoie les éléments communs
assert_true Affirme si l’expression est vraie
if Si l’expression est évaluée sur true, renvoyez la seconde expression. Sinon, renvoyez la troisième expression.
ifnull Si l’expression est nulle, elle renvoie la deuxième expression. Sinon, elle renvoie la première expression.
in Renvoie true si la première expression se trouve dans l’une des expressions suivantes.
isnan Renvoie true si la valeur n’est pas un nombre
isnotnull Renvoie true si la valeur n’est pas nulle.
isnull Renvoie true si la valeur est nulle.
nanvl Renvoie la première expression si ce n’est un nombre, renvoie la seconde expression dans le cas contraire.
or Logique ou
when Quand peut-on utiliser pour créer des conditions d'embranchement à des fins de comparaison
xpath_boolean Renvoie true si l'expression XPath est évaluée sur true ou si un noeud correspondant est trouvé

Fonctions de date/heure

Fonction Description
add_months Ajouter les mois à ce jour
date_add Jours Ajoutés à ce jour
date_format Modifier le format de date
date_sub Soustraire les jours à partir de la date
date_trunc Renvoie la date tronquée à l’unité spécifiée.
datediff Renvoie la différence entre les dates en jours
day, dayofmonth Renvoie le jour du mois
dayofweek Renvoie le jour de la semaine (1-7)
dayofyear Renvoie le jour de l’année
from_unixtime Renvoie la date à l’heure Unix
from_utc_timestamp Renvoie la date à l'heure UTC
hour Renvoie l’heure de l’entrée
last_day Renvoie le dernier jour du mois auquel la date appartient
minute Renvoie la minute de l’entrée
month Renvoie le mois de l’entrée
months_between Nombre de mois entre
next_day Renvoie le premier jour après l’entrée
quarter Renvoie le trimestre de l’entrée
second Renvoie la seconde de la chaîne
to_date Convertit la chaîne en date
to_timestamp Convertit la chaîne en horodatage
to_unix_timestamp Convertit la chaîne en horodatage Unix.
to_utc_timestamp Convertit la chaîne en horodatage UTC.
trunc Tronque la date
unix_timestamp Renvoie l’horodatage Unix
weekday Jour de la semaine (0-6)
weekofyear Renvoie la semaine de l’année pour une date donnée.
year Renvoie l’année de la chaîne.

Tableaux

Fonction Description
array Crée un tableau avec les éléments donnés
array_contains Vérifie si le tableau contient la valeur
array_distinct Supprime les valeurs de duplicata de la baie
array_except Renvoie un tableau des éléments du premier tableau, mais pas le second
array_intersect Renvoie l'intersection des deux tableaux
array_join Associe deux baies ensemble
array_max Renvoie la valeur maximale du tableau.
array_min Renvoie la valeur minimale du tableau.
array_position Renvoie la position de l’élément basée sur 1.
array_remove Supprime tous les éléments égaux à l’élément.
array_repeat Crée un tableau contenant la valeur Nombre de fois.
array_sort Trie le tableau
array_union Rejoint la baie ensemble, sans duplicata
array_zip Zip (Code postal)
cardinality Renvoyer la taille de la baie
element_at Renvoyer l’élément à la position
explode Séparez les éléments du tableau en plusieurs lignes, à l’exclusion de null
explode_outer Séparez les éléments du tableau en plusieurs lignes, y compris la valeur null
find_in_set Renvoie la position de base 1 du tableau
flatten Aplatit un tableau de baies
inline Tableau distinct de structs dans une table, à l’exclusion de null
inline_outer Tableau distinct de structs dans une table, y compris null
posexplod Séparez les éléments du tableau en plusieurs lignes avec des positions, à l’exclusion de null
posexplod Séparez les éléments du tableau en plusieurs lignes avec des positions, y compris la valeur null
reverse Inverser les éléments du tableau
shuffle Renvoyer une permutation aléatoire du tableau
slice Sous-définit un tableau
sort_array Tri d’un tableau à partir d’un ordre donné
zip_with Fusionne les deux tableaux en un seul tableau, avant d'appliquer une fonction

Fonctions de diffusion du type de données

Fonction Description
bigint Remplacez le type de données par bigint.
binary Remplacer le type de données par binaire
boolean Remplacez le type de données par booléen.
type Remplacez le type de données par le type spécifié.
date Modifier le type de données à ce jour
decimal Remplacez le type de données par décimal.
double Remplacer le type de données par doublon
float Modifier le type de données en flottant
int Remplacez le type de données par int.
smallint Remplacez le type de données par le type "petit".
str_to_map Création d’un mappage à partir d’une chaîne
string Remplacer le type de données par une chaîne
struct Création d’un struct
tinyint Remplacez le type de données par tinyint.

Fonctions de conversion et de formatage

Fonction Description
ascii Renvoyer la valeur numérique (ASCII)
base64 Modifiez l'argument en chaîne base64.
bin Remplacer l’argument par une valeur binaire
bit_length Renvoyer la longueur en bits
char, chr Renvoyer le caractère ASCII
char_length, character_length Renvoyer la longueur de la chaîne
crc32 Renvoie la valeur de contrôle de redondance cyclique
degrees Convertir les radians en degrés
format_number Modifier le format du nombre
from_json, get_json_object Obtenir des données à partir de JSON
hash Renvoyer la valeur de hachage
hex Convertir l'argument en valeur hexadécimale
initcap Modifie la chaîne à attribuer au titre
lcase, lower Modifie la chaîne en minuscules.
lpad Place le côté gauche d’une chaîne
map Création d’une carte
map_from_arrays Création d’une carte à partir d’une baie
map_from_entries Création d’une carte à partir d’un tableau de structures
md5 Renvoyer la valeur md5
rpad Place le côté droit d’une chaîne.
rtrim Supprime les espaces de fin
sha, sha1 Renvoyer la valeur SHA1
sha2 Renvoyer la valeur SHA2
soundex Renvoyer le code soundex
stack Séparer les valeurs en lignes
substr, substring Renvoyer la sous-chaîne
to_json Renvoie une chaîne JSON
translate Remplacer les valeurs dans la chaîne
trim Suppression des caractères de début et de fin
ucase, upper Modifier la chaîne en majuscules
unbase64 Convertir la chaîne base64 en chaîne binaire
unhex Convertir le format hexadécimal en format binaire
uuid Renvoyer un UID

Évaluation des données

Fonction Description
coalesce Renvoyer le premier argument non nul
collect_list Renvoyer une liste d’éléments non uniques
collect_set Renvoyer un ensemble d’éléments uniques
concat Concaténation
concat_ws Concaténation avec séparateur
count Renvoie le nombre total de lignes
decode Décodage à l’aide d’un jeu de caractères
elt Renvoyer l'ne entrée
encode Codage à l’aide d’un jeu de caractères
first, first_value Renvoie la première valeur
grouping Indique si une colonne est regroupée
grouping_id Renvoie le niveau de regroupement
instr Renvoie un index basé sur 1 d’occurrence de caractère.
json_tuple Renvoie un tuple à partir d’une entrée JSON
lag, lead Renvoie la valeur avant le décalage
last, last_value Renvoie la dernière valeur
left Renvoie les premiers caractères n
length Renvoie la longueur de la chaîne
levenshtein Renvoie la distance Levenshtein entre les chaînes
locate, position Renvoie la position de la première occurrence d’une sous-chaîne.
map_concat Concaténation d’une carte
map_keys Renvoyer les clés d’une carte
map_values Renvoyer les valeurs d’une carte
ntile Diviser les lignes en partitions
nullif Renvoie null si true
nvl Renvoie la valeur si null
nvl2 Renvoie la valeur si elle n’est pas nulle
parse_url Extrait une partie d’une URL
rank Calcule le classement d’une valeur
regexp_extract Extrait quelque chose qui correspond à l’expression regex.
regex_replace Remplace quelque chose qui correspond à l’expression regex.
repeat Renvoie une chaîne qui répète
replace Remplace toutes les instances d’une chaîne.
rollup Création d’un cumul multidimensionnel
row_number Attribue un numéro de ligne unique
schema_of_json Renvoie le schéma du fichier JSON
sentences Divise la chaîne en un tableau de mots.
sequence Génère un tableau d'éléments
shiftleft Déplacement vers la gauche au niveau du bit signé
shiftright Déplacement vers la droite au niveau du bit signé
shiftrightunsigned Décalage non effectué au niveau du bit vers la droite
size Renvoyer la taille de la baie
space Renvoie une chaîne avec des espaces n.
split Chaîne fractionnée
substring_index Index de retour de la sous-chaîne
window Fenêtre
xpath Parcourir les noeuds XML
xpath_double, xpath_number Parcourir les noeuds XML pour le doublon
xpath_float Parcourir les noeuds XML pour flotter
xpath_int Analyse des noeuds XML pour un entier
xpath_long Analyse des noeuds XML pour les longs
xpath_short Analyse des noeuds XML pour les entiers courts
xpath_string Parcourir les noeuds XML pour la chaîne

Informations actuelles

Fonction Description
current_database Renvoie la base de données active
current_date Renvoie la date actuelle
current_timestamp, now Renvoie l’horodatage actuel

Fonctions d'ordre supérieur

Fonction Description
transform Transformation d’éléments dans un tableau
exists Vérifier si l’élément existe
filter Filtrage du tableau d’entrée
aggregate Appliquer un opérateur binaire à tous les éléments

Sur cette page