Spark Fonctions SQL

Adobe Experience Platform Query Service fournit plusieurs fonctions Spark SQL intégrées pour étendre les fonctionnalités SQL. Ce document répertorie les fonctions Spark SQL prises en charge par Query Service.

Pour plus d’informations sur les fonctions, notamment leur syntaxe, leur utilisation et des exemples, consultez la documentation sur la fonction Spark SQL.

REMARQUE

Certaines fonctions de la documentation externe ne sont pas prises en charge.

Catégories

Fonctions et opérateurs mathématiques et statistiques

Opérateur/fonction Description
% Renvoie le reste des deux nombres
* Multiplie les deux nombres
+ Ajoute les deux nombres
- Enlève les deux nombres
/ Divise les deux nombres
abs Renvoie la valeur absolue de l’entrée
acos Renvoie la valeur cosinale inverse
approx_count_distinct Returns the estimated cardinality by HyperLogLog++
approx_percentile Returns the approximate percentile value at the given percentage
asin Renvoie la valeur inversée du sinus
atan Returns the inverse tangent value
atan2 Renvoie l'angle entre le plan de l'axe X positif et les points donnés par les coordonnées
avg Renvoie la valeur moyenne
cbrt Renvoie la racine cubique
ceil ou ceiling Returns the smallest integer not larger than the inputted value
conv Convertir d’une base en une autre
corr Renvoie le coefficient de Pearson entre les nombres
cos Renvoie la valeur cosine
cosh Renvoie la valeur du cosinus hyperbolique
cot Renvoie la valeur de la cotangente
dense_rank Returns the rank of a value in a group of values
e Renvoie le nombre d’Euler
exp Renvoie e à la puissance de la valeur
expm1 Renvoie e à la puissance de la valeur moins 1
factorial Returns the factorial of the value
floor Renvoie le plus grand entier non inférieur à la valeur
greatest Renvoie la valeur la plus grande de tous les paramètres
hypot Renvoie l'hypothèse de l'utilisation des deux valeurs données
kurtosis Renvoie la valeur de kurtosis du groupe
least Renvoie la plus petite valeur de tous les paramètres
ln Renvoie le logarithme népérien de la valeur
log Renvoie le logarithme de la valeur
log10 Renvoie le logarithme, en base 10, de la valeur
log1p Renvoie le logarithme de la valeur plus 1
log2 Renvoie le logarithme, en base 2, de la valeur
max Renvoie la valeur maximale de l'expression
mean Renvoie la moyenne calculée à partir des valeurs
min Renvoie la valeur minimale de l’expression
monotonically_increasing_id Renvoie des identifiants à augmentation monotone
negative Renvoie la valeur négative
percent_rank Renvoie le classement en pourcentage d'une valeur
percentile Renvoie le centile exact à un pourcentage donné
percentile_approx Renvoie le centile approximatif à un pourcentage donné
pi Renvoie pi
pmod Renvoie le modulo positif entre deux valeurs
positive Renvoie la valeur positive
pow, power Renvoie la première valeur à la puissance de la seconde valeur
radians Convertit la valeur en radians
rand Renvoie un nombre aléatoire compris entre 0 et 1
randn Renvoie une valeur aléatoire
rint Renvoie la valeur double la plus proche
round Renvoie la valeur arrondie la plus proche
sign, signum Renvoie le signe du nombre
sin Renvoie le sinus de la valeur
sinh Renvoie le sinus hyperbolique de la valeur
sqrt Renvoie la racine carrée de la valeur
stddev Renvoie l'écart type de la valeur
sttdev_pop Renvoie l'écart type de population de la valeur
stddev_samp Renvoie l'écart type échantillon de la valeur
sum Renvoie la somme des valeurs
tan Renvoie la tangente de la valeur
tanh Renvoie la tangente hyperbolique de la valeur
var_pop Renvoie la variance de population calculée
var_samp, variance Renvoie la variance d’échantillon calculée

Logical operators and functions

Opérateur/fonction Description
! ou not Logical not
< Inférieur à
<= Inférieur ou égal à
= Equal to
> Greater than
>= Supérieur ou égal à
^ Bitwise exclusive or
>= Supérieur ou égal à
[` `](https://spark.apache.org/docs/latest/api/sql/index.html#_15)
~ Au niveau du bit
arrays_overlap Renvoie les éléments communs
assert_true Asserts if the expression is true
if Si l’expression renvoie true (vrai), renvoyez la seconde expression. Sinon, renvoie la troisième expression.
ifnull Si l’expression est nulle, elle renvoie la seconde expression. Sinon, elle renvoie la première expression.
in Renvoie true si la première expression se trouve dans l’une des expressions suivantes.
isnan Renvoie true si la valeur n’est pas un nombre
isnotnull Renvoie true si la valeur n’est pas nulle
isnull Renvoie true si la valeur est nulle
nanvl Renvoie la première expression si ce n'est pas un nombre, renvoie la seconde expression dans le cas contraire
or Logique ou
when Quand peut-on utiliser pour créer des conditions de branche à des fins de comparaison ?
xpath_boolean Renvoie true si l’expression XPath est évaluée comme true ou si un noeud correspondant est trouvé

Fonctions de date/heure

Fonction Description
add_months Ajouter des mois à jour
date_add Ajouter les jours à jour
date_format Modifier le format de date
date_sub Soustraire les jours à partir de la date
date_trunc Renvoie la date tronquée à l’unité spécifiée
datediff Renvoie la différence entre les dates en jours
day, dayofmonth Renvoie le jour du mois
dayofweek Renvoie le jour de la semaine (1-7)
dayofyear Renvoie le jour de l’année
from_unixtime Renvoie la date en heure Unix
from_utc_timestamp Renvoie la date en heure UTC
hour Renvoie l’heure de l’entrée
last_day Renvoie le dernier jour du mois auquel la date appartient
minute Renvoie la minute de l’entrée
month Renvoie le mois de l’entrée
months_between Nombre de mois entre
next_day Renvoie le premier jour après l’entrée
quarter Renvoie le trimestre de l’entrée
second Renvoie la seconde de la chaîne
to_date Convertit la chaîne en date. Remarque : La chaîne ​​doit être au format yyyy-mm-ddTHH24:MM:SS.
to_timestamp Convertit la chaîne en horodatage. Remarque : La chaîne ​​doit être au format yyyy-mm-ddTHH24:MM:SS.
to_unix_timestamp Convertit la chaîne en horodatage Unix
to_utc_timestamp Convertit la chaîne en horodatage UTC
trunc Tronque la date
unix_timestamp Renvoie l’horodatage Unix
weekday Jour de la semaine (0-6)
weekofyear Returns the week of the year for a given date
year Renvoie l’année de la chaîne

Tableaux

Fonction Description
array Crée un tableau avec les éléments donnés
array_contains Vérifie si le tableau contient la valeur
array_distinct Supprime les valeurs en double du tableau
array_except Renvoie un tableau des éléments du premier tableau, mais pas du second
array_intersect Returns the intersection of the two arrays
array_join Associe deux tableaux
array_max Renvoie la valeur maximale du tableau
array_min Renvoie la valeur minimale du tableau
array_position Renvoie la position de l’élément basée sur 1
array_remove Supprime tous les éléments égaux à l’élément .
array_repeat Creates an array containing the value counted times
array_sort Sorts the array
array_union Rejoint le tableau, sans aucun doublon
array_zip Zip (Code postal)
cardinality Return the size of the array
element_at Renvoyer l’élément en position
explode Séparez les éléments du tableau en plusieurs lignes, à l’exception de null
explode_outer Séparez les éléments du tableau en plusieurs lignes, y compris la valeur nulle
find_in_set Renvoie la position de base 1 du tableau
flatten Aplatit un tableau de tableaux
inline Tableau distinct de structs dans un tableau, à l’exclusion de null
inline_outer Tableau distinct de structs dans un tableau, y compris null
posexplod Séparez les éléments du tableau en plusieurs lignes avec des positions, à l’exception de null
posexplod Séparez les éléments du tableau en plusieurs lignes avec des positions, y compris la valeur nulle
reverse Éléments inversés du tableau
shuffle Renvoie une permutation aléatoire du tableau
slice Sous-définit un tableau
sort_array Tri d’un tableau selon un ordre donné
zip_with Fusionne les deux tableaux en un seul tableau, avant d’appliquer une fonction

Fonctions de diffusion du type de données

Fonction Description
bigint Remplacer le type de données par bigint
binary Remplacer le type de données par binaire
boolean Remplacez le type de données par booléen.
type Remplacer le type de données par le type spécifié
date Modifier le type de données à ce jour
decimal Remplacer le type de données par décimal
double Remplacez le type de données par double
float Modifier le type de données pour qu’il soit flottant
int Remplacez le type de données par int .
smallint Remplacez le type de données par small
str_to_map Création d’une carte à partir d’une chaîne
string Remplacer le type de données par une chaîne
struct Création d’un struct
tinyint Remplacez le type de données par tinyint.

Fonctions de conversion et de formatage

Fonction Description
ascii Renvoie la valeur numérique (ASCII)
base64 Remplacer l’argument par une chaîne base64
bin Remplacer l’argument par une valeur binaire
bit_length Renvoie la longueur en bits
char, chr Renvoyer le caractère ASCII
char_length, character_length Renvoie la longueur de la chaîne
crc32 Returns the cyclic redundancy check value
degrees Convert radians to degrees
format_number Modifier le format du nombre
from_json, get_json_object Obtenir des données à partir de JSON
hash Renvoie la valeur de hachage
hex Convertir l’argument en valeur hexadécimale
initcap Modification de la chaîne à mettre en cache par le titre
lcase, lower Modifie la chaîne en minuscules.
lpad Pad le côté gauche d’une chaîne
map Création d’une carte
map_from_arrays Création d’une carte à partir d’un tableau
map_from_entries Create a map from an array of structs
md5 Renvoie la valeur md5
rpad Pad du côté droit d’une chaîne
rtrim Removes trailing spaces
sha, sha1 Renvoie la valeur SHA1
sha2 Renvoie la valeur SHA2
soundex Renvoie le code soundex
stack Séparation des valeurs en lignes
substr, substring Renvoie la sous-chaîne
to_json Renvoie une chaîne JSON
translate Replace values within string
trim Remove leading and trailing characters
ucase, upper Modifier la chaîne pour qu’elle soit entièrement en majuscules
unbase64 Convertir la chaîne base64 en binaire
unhex Convert the hexadecimal to binary
uuid Return a UUID

Évaluation des données

Fonction Description
coalesce Renvoie le premier argument non nul
collect_list Renvoie une liste d’éléments non uniques
collect_set Renvoie un ensemble d’éléments uniques
concat Concaténation
concat_ws Concaténation avec séparateur
count Returns the total count for rows
decode Décodage à l’aide d’un jeu de caractères
elt Renvoie la nème entrée
encode Encode using a character set
first, first_value Renvoie la première valeur
grouping Indique si une colonne est regroupée
grouping_id Renvoie le niveau de groupement
instr Renvoie un index de base 1 d’occurrence de caractère
json_tuple Renvoie un tuple à partir d’une entrée JSON
lag, lead Renvoie la valeur avant le décalage
last, last_value Renvoie la dernière valeur
left Renvoie les premiers caractères n
length Renvoie la longueur de la chaîne
levenshtein Renvoie la distance de Levenshtein entre les chaînes
locate, position Renvoie la position de la première occurrence d’une sous-chaîne
map_concat Concaténer une carte
map_keys Renvoi des clés d’une carte
map_values Renvoie les valeurs d’une carte
ntile Diviser les lignes en partitions
nullif Renvoie null si true
nvl Renvoie la valeur si null
nvl2 Renvoie la valeur si non nul
parse_url Extrait une partie d'une URL
rank Calcule le rang d’une valeur
regexp_extract Extrait quelque chose qui correspond à l’expression régulière
regex_replace Remplace quelque chose qui correspond à l’expression régulière
repeat Renvoie une chaîne qui répète
replace Remplacer toutes les instances d’une chaîne
rollup Création d’un cumul multidimensionnel
row_number Attribue un numéro de ligne unique
schema_of_json Renvoie le schéma du JSON
sentences Divise la chaîne en un tableau de mots
sequence Génère un tableau d’éléments
shiftleft Déplacement au niveau du bit signé à gauche
shiftright Déplacement au niveau du bit signé à droite
shiftrightunsigned Déplacement au niveau du bit non effectué à droite
size Renvoie la taille du tableau
space Renvoie une chaîne avec des espaces n
split Fractionner la chaîne
substring_index Retourne l’index de la sous-chaîne
window Période
xpath Parse XML nodes
xpath_double, xpath_number Parcourir les noeuds XML pour le double
xpath_float Analyse des noeuds XML pour les flotteurs
xpath_int Analyse des noeuds XML pour un entier
xpath_long Parse XML nodes for long
xpath_short Parse XML nodes for short integer
xpath_string Analyse des noeuds XML pour la chaîne

Informations actuelles

Fonction Description
current_database Renvoie la base de données actuelle
current_date Renvoie la date courante
current_timestamp, now Renvoie l’horodatage actuel

Fonctions d’ordre supérieur

Fonction Description
transform Transformation d’éléments dans un tableau
exists Vérifier si l’élément existe
filter Filtrage du tableau d’entrée
aggregate Application d’un opérateur binaire à tous les éléments

Sur cette page