Spark SQL-Funktionen

Adobe Experience Platform Query Service bietet mehrere integrierte Spark-SQL-Funktionen, um die SQL-Funktionalität zu erweitern. In diesem Dokument werden die Spark-SQL-Funktionen aufgelistet, die von Query Service unterstützt werden.

Weitere Informationen zu den Funktionen, einschließlich Syntax, Verwendung und Beispielen, finden Sie im Abschnitt Dokumentation zu Spark-SQL-Funktionen.

HINWEIS

Es werden nicht alle in der externen Dokumentation aufgeführten Funktionen unterstützt.

Mathematische und statistische Operatoren und Funktionen

Operator/Funktion Beschreibung
% Gibt den Rest der beiden Zahlen aus
* Multipliziert die beiden Zahlen
+ Fügt die beiden Zahlen hinzu
- Zieht die beiden Zahlen ab
/ Teilt die beiden Zahlen
abs Gibt den absoluten Wert der Eingabe aus
acos Gibt den umgekehrten Kosinuswert aus
approx_count_distinct Gibt die geschätzte Kardinalität nach HyperLogLog++ aus
approx_percentile Gibt den Näherungswert des Perzentils zum angegebenen Prozentsatz aus
asin Gibt den umgekehrten Sinuswert aus
atan Gibt den umgekehrten Tangenswert aus
atan2 Gibt den Winkel zwischen der positiven X-Achsenebene und den durch die Koordinaten angegebenen Punkten aus
avg Gibt den Durchschnittswert aus
cbrt Gibt den Kubikstamm aus
ceil oder ceiling Gibt die kleinste Ganzzahl aus, die nicht größer als der eingegebene Wert ist
conv Konvertieren von einer Basis in eine andere
corr Gibt den Pearson-Koeffizienten zwischen den Zahlen aus
cos Gibt den Kosinuswert aus
cosh Gibt den hyperbolischen Kosinenwert aus
cot Gibt den Kotangenwert aus
dense_rank Gibt den Rang eines Werts in einer Gruppe von Werten aus
e Gibt die Zahl des Eulers aus
exp Gibt e bis zum Wert zurück
expm1 Gibt e bis zum Wert minus 1 aus
factorial Gibt das Faktorium des Werts aus
floor Gibt die größte Ganzzahl aus, die nicht kleiner als der Wert ist
greatest Gibt den größten Wert aller Parameter aus
hypot Gibt die Hypotonie der beiden angegebenen Werte aus
kurtosis Gibt den Kurtosis-Wert aus der Gruppe aus
least Gibt den kleinsten Wert aller Parameter aus
ln Gibt den natürlichen Logarithmus des Werts aus
log Gibt den Logarithmus des Werts aus
log10 Gibt den Logarithmus (Basis 10) des Werts aus
log1p Gibt den Logarithmus des Werts plus 1 aus
log2 Gibt den Logarithmus (Basis 2) des Werts aus
max Gibt den Maximalwert des Ausdrucks aus
mean Gibt den aus den Werten berechneten Mittelwert aus
min Gibt den Mindestwert des Ausdrucks aus
monotonically_increasing_id Gibt monoton steigende IDs zurück
negative Gibt den negativen Wert aus
percent_rank Gibt die prozentuale Rangfolge eines Werts aus
percentile Gibt das genaue Perzentil in Prozent aus
percentile_approx Gibt den Näherungswert des Perzentils in Prozent aus
pi Gibt pi zurück
pmod Gibt das positive Modul zwischen zwei Werten aus
positive Gibt den positiven Wert aus
pow, power Gibt den ersten Wert bis zum Wert des zweiten aus
radians Konvertiert den Wert in Radiant
rand Gibt eine Zufallszahl zwischen 0 und 1 aus
randn Gibt einen zufälligen Wert aus
rint Gibt den nächsten doppelten Wert aus
round Gibt den nächsten gerundeten Wert aus
sign, signum Gibt das Zeichen der Zahl aus
sin Gibt den Sinus des Werts aus
sinh Gibt den hyperbolischen Sinus des Werts aus
sqrt Gibt die Quadratwurzel des Werts aus
stddev Gibt die Standardabweichung des Werts aus
sttdev_pop Gibt die Standardabweichung der Population vom Wert aus
stddev_samp Gibt die Standardabweichung der Stichprobe des Werts aus
sum Gibt die Summe der Werte aus
tan Gibt den Tangens des Werts aus
tanh Gibt den hyperbolischen Tangens des Werts aus
var_pop Gibt die berechnete Populationsvarianz aus
var_samp, variance Gibt die berechnete Varianz der Stichprobe aus

Logische Operatoren und Funktionen

Operator/Funktion Beschreibung
! oder not Logisches Nicht
< Kleiner als
<= Kleiner oder gleich
= Gleich
> Größer als
>= Größer oder gleich
^ Bitweise exklusives Oder
| Bitweise oder
~ Bitweise nicht
arrays_overlap Gibt die allgemeinen Elemente aus
assert_true Legt fest, ob der Ausdruck wahr ist
if Wenn der Ausdruck "true"ergibt, geben Sie den zweiten Ausdruck zurück. Geben Sie andernfalls den dritten Ausdruck zurück.
ifnull Wenn der Ausdruck null ist, wird der zweite Ausdruck zurückgegeben. Andernfalls wird der erste Ausdruck zurückgegeben.
in Gibt "true"zurück, wenn der erste Ausdruck in einem der folgenden Ausdrücke enthalten ist.
isnan Gibt "true"zurück, wenn der Wert keine Zahl ist
isnotnull Gibt "true"zurück, wenn der Wert nicht null ist
isnull Gibt "true"zurück, wenn der Wert null ist
nanvl Gibt den ersten Ausdruck aus, wenn nicht eine Zahl, sonst den zweiten Ausdruck
or Logisches Oder
when Wann kann verwendet werden, um verzweigte Bedingungen für den Vergleich zu erstellen?
xpath_boolean Gibt "true"zurück, wenn der XPath-Ausdruck "true"ergibt oder ein übereinstimmender Knoten gefunden wird

Funktionen für Datum/Uhrzeit

Funktion Beschreibung
add_months Monate zum Datum hinzufügen
date_add Tage zum Datum hinzufügen
date_format Datumsformat ändern
date_sub Tage vom Datum absetzen
date_trunc Gibt das Datum aus, das auf die angegebene Einheit gekürzt wurde
datediff Gibt die Differenz zwischen den Daten in Tagen aus
day, dayofmonth Gibt den Tag des Monats aus
dayofweek Gibt den Wochentag aus (1-7)
dayofyear Gibt den Tag des Jahres aus
from_unixtime Gibt Datum in Unix-Zeit zurück
from_utc_timestamp Gibt Datum in UTC-Zeit aus
hour Gibt die Stunde der Eingabe aus
last_day Gibt den letzten Tag des Monats aus, zu dem das Datum gehört
minute Gibt die Minute der Eingabe aus
month Gibt den Monat der Eingabe aus
months_between Anzahl der Monate zwischen
next_day Gibt den ersten Tag nach der Eingabe aus
quarter Gibt das Quartal der Eingabe aus
second Gibt die Sekunde des Strings aus
to_date Konvertiert den String in ein Datum. Hinweis: Die Zeichenfolge must im Format yyyy-mm-ddTHH24:MM:SS.
to_timestamp Konvertiert die Zeichenfolge in einen Zeitstempel. Hinweis: Die Zeichenfolge must im Format yyyy-mm-ddTHH24:MM:SS.
to_unix_timestamp Konvertiert die Zeichenfolge in einen Unix-Zeitstempel
to_utc_timestamp Konvertiert die Zeichenfolge in einen UTC-Zeitstempel
trunc Kürzt das Datum
unix_timestamp Gibt den Unix-Zeitstempel zurück
weekday Wochentag (0-6)
weekofyear Gibt die Woche des Jahres für ein bestimmtes Datum aus
year Gibt das Jahr des Strings aus

Arrays

Funktion Beschreibung
array Erstellt ein Array mit den angegebenen Elementen
array_contains Prüft, ob das Array den Wert enthält
array_distinct Entfernt doppelte Werte (Duplikate) aus dem Array
array_except Gibt ein Array der Elemente im ersten Array zurück, nicht jedoch im zweiten
array_intersect Gibt die Schnittmenge der beiden Arrays aus
array_join Verbindet zwei Arrays
array_max Gibt den Maximalwert des Arrays aus
array_min Gibt den Mindestwert des Arrays aus
array_position Gibt die 1-basierte Position des Elements aus
array_remove Entfernt alle Elemente, die dem Element entsprechen
array_repeat Erstellt ein Array, das die gezählten Werte-Zeiten enthält
array_sort Sortiert das Array
array_union Verbindet das Array ohne Duplikate
arrays_zip Kombiniert die Werte der angegebenen Arrays mit den Werten der ursprünglichen Kollektion an einem bestimmten Index
cardinality Größe des Arrays zurückgeben
element_at Element an Position zurückgeben
explode Trennt Elemente des Arrays in mehrere Zeilen, ohne null
explode_outer Trennen Sie Elemente des Arrays in mehrere Zeilen, einschließlich null.
find_in_set Gibt die 1-basierte Position des Arrays aus
flatten Reduziert ein Array von Arrays
inline Trennen Sie ein Array von Strukturen in eine Tabelle, ohne Null
inline_outer Trennen Sie das Array von Strukturen in eine Tabelle, einschließlich null.
posexplode Trennen Sie Elemente des Arrays in mehrere Zeilen mit Positionen, ausgenommen Null
reverse Umkehrelemente des Arrays
shuffle Zufällige Permutation des Arrays zurückgeben
slice Teilt ein Array ein
sort_array Sortieren eines Arrays in einer bestimmten Reihenfolge
zip_with Führt die beiden Arrays in einem Array zusammen, bevor eine Funktion angewendet wird

Funktionen zur Umwandlung von Datentypen

Funktion Beschreibung
bigint Datentyp in bigint ändern
binary Datentyp in Binärdatei ändern
boolean Datentyp in boolesch ändern
type Datentyp in den angegebenen Typ ändern
date Datentyp auf Datum ändern
decimal Datentyp in Dezimalzahl ändern
double Ändern Sie den Datentyp in
float Datentyp ändern in Gleitkommazahl
int Ändern Sie den Datentyp in int
smallint Datentyp auf smallint ändern
str_to_map Erstellen einer Zuordnung aus einer Zeichenfolge
string Datentyp in Zeichenfolge ändern
struct Erstellen einer Struktur
tinyint Datentyp in tinyint ändern

Konvertierungs- und Formatierungsfunktionen

Funktion Beschreibung
ascii Numerische Werte (ASCII) zurückgeben
base64 Ändern des Arguments in eine base64-Zeichenfolge
bin Das Argument in einen Binärwert ändern
bit_length Bitlänge zurückgeben
char, chr ASCII-Zeichen zurückgeben
char_length, character_length Länge des Strings zurückgeben
crc32 Gibt den Wert der zyklischen Redundanzprüfung aus
degrees Radiant in Grad konvertieren
format_number Format der Zahl ändern
from_json, get_json_object Daten von JSON abrufen
hash Hashwert zurückgeben
hex Konvertieren des Arguments in einen Hexadezimalwert
initcap Ändert die Zeichenfolge, die als Titel verwendet werden soll
lcase, lower Ändert den String in Kleinbuchstaben
lpad Fügt die linke Seite einer Zeichenfolge ein
map Erstellen einer Karte
map_from_arrays Erstellen einer Zuordnung aus einem Array
map_from_entries Erstellen einer Zuordnung aus einem Array von Strukturen
md5 md5-Wert zurückgeben
rpad Fügt die rechte Seite einer Zeichenfolge ein
rtrim Entfernt nachfolgende Leerzeichen
sha, sha1 SHA1-Wert zurückgeben
sha2 SHA2-Wert zurückgeben
soundex Soundex-Code zurückgeben
stack Trennen von Werten in Zeilen
substr, substring Teilzeichenfolge zurückgeben
to_json Gibt eine JSON-Zeichenfolge aus
translate Werte in Zeichenfolge ersetzen
trim Vor- und Nachfolgende Zeichen entfernen
ucase, upper Zeichenfolge in Großbuchstaben ändern
unbase64 Den base64-String in Binärkode konvertieren
unhex Konvertieren des Hexadezimalwerts in Binärkode
uuid Rückgabe einer UUID

Datenevaluierung

Funktion Beschreibung
coalesce Das erste Argument zurückgeben, das nicht null ist
collect_list Liste nicht eindeutiger Elemente zurückgeben
collect_set Ausgeben eines Satzes eindeutiger Elemente
concat Verkettung
concat_ws Verbindung mit Trennzeichen
count Gibt die Gesamtanzahl der Zeilen aus
decode Dekodieren mit einem Zeichensatz
elt Rückgabe der nEingabe
encode Kodieren mit einem Zeichensatz
first, first_value Gibt den ersten Wert aus
grouping Gibt an, ob eine Spalte gruppiert ist
grouping_id Gibt die Gruppierungsebene aus
instr Gibt einen 1-basierten Index des Vorkommens von Zeichen aus
json_tuple Gibt einen Tupel aus einer JSON-Eingabe zurück
lag, lead Gibt den Wert vor dem Versatz aus
last, last_value Gibt den letzten Wert aus
left Gibt die erste n Zeichen
length Gibt die Länge des Strings aus
levenshtein Gibt den Levenshtein-Abstand zwischen Zeichenfolgen aus
locate, position Gibt die Position des ersten Vorkommens einer Teilzeichenfolge aus
map_concat Landkarte verketten
map_keys Schlüssel einer Karte zurückgeben
map_values Werte einer Zuordnung zurückgeben
ntile Zeilen in Partitionen aufteilen
nullif Gibt null zurück, wenn true
nvl Gibt den Wert aus, wenn null
nvl2 Gibt den Wert aus, wenn nicht null
parse_url Extrahiert einen Teil einer URL
rank Berechnet den Rang eines Werts
regexp_extract Extrahiert etwas, das dem Regex entspricht
regex_replace Ersetzt etwas, das dem Regex entspricht
repeat Gibt eine Zeichenfolge zurück, die wiederholt
replace Alle Instanzen einer Zeichenfolge ersetzen
rollup Mehrdimensionale Datenaggregation erstellen
row_number Weist eine eindeutige Zeilennummer zu
schema_of_json Gibt das Schema der JSON-Datei aus
sentences Teilt eine Zeichenfolge in ein Array von Wörtern
sequence Generiert ein Array von Elementen
shiftleft Signierte bitweise Verschiebung links
shiftright Signierte bitweise Verschiebung nach rechts
shiftrightunsigned Unbedruckte bitweise Verschiebung nach rechts
size Größe des Arrays zurückgeben
space Gibt eine Zeichenfolge mit n Leerzeichen
split Aufspaltungszeichenfolge
substring_index Rückgabeindex der Unterzeichenfolge
window Fenster
xpath Parsen von XML-Knoten
xpath_double, xpath_number Parsen von XML-Knoten für doppelte
xpath_float Parsen von XML-Knoten für float
xpath_int Parsen von XML-Knoten für Integer
xpath_long Parsen von XML-Knoten für lange
xpath_short XML-Knoten für kurze Ganzzahlen analysieren
xpath_string Parsen von XML-Knoten für Zeichenfolge

Aktuelle Informationen

Funktion Beschreibung
current_database Gibt die aktuelle Datenbank aus
current_date Gibt das aktuelle Datum aus
current_timestamp, now Gibt den aktuellen Zeitstempel zurück

Funktionen für höhere Reihenfolge

Funktion Beschreibung
transform Elemente in einem Array umwandeln
exists Überprüfen, ob Element vorhanden ist
filter Filtern des Eingabe-Arrays
aggregate Anwenden eines binären Operators auf alle Elemente

Auf dieser Seite