DokumentationExperience PlatformHandbuch zum Abfragedienst

Spark SQL-Funktionen

Letzte Aktualisierung: 30. Dezember 2024
  • Themen:
  • Abfragen

Erstellt für:

  • Benutzende
  • Entwickler

Sie können mehrere integrierte Spark SQL-Funktionen verwenden, um die SQL-Funktionalität mit dem Abfrage-Service von Adobe Experience Platform zu erweitern. In diesem Dokument werden die Spark SQL-Funktionen aufgelistet, die vom Abfrage-Service unterstützt werden.

Ausführlichere Informationen zu den Funktionen, einschließlich Syntax, Verwendung und Beispielen, finden Sie in der Spark SQL-Funktionsdokumentation.

NOTE
Es werden nicht alle in der externen Dokumentation aufgeführten Funktionen unterstützt.

Mathematische und statistische Operatoren und Funktionen

Operator/FunktionBeschreibung
%Gibt den Rest der beiden Zahlen zurück.
*Multipliziert die beiden Zahlen.
+Addiert die beiden Zahlen.
-Subtrahiert die beiden Zahlen.
/Dividiert die beiden Zahlen.
absGibt den absoluten Wert der Eingabe zurück.
acosGibt den umgekehrten Kosinuswert zurück.
approx_count_distinctGibt die geschätzte Kardinalität nach HyperLogLog++ zurück.
approx_percentileGibt den Perzentil-Näherungswert zum angegebenen Prozentsatz zurück.
asinGibt den umgekehrten Sinuswert zurück.
atanGibt den umgekehrten Tangenswert zurück.
atan2Gibt den Winkel zwischen der positiven X-Achsenebene und den durch die Koordinaten gegebenen Punkten zurück.
avgGibt den Durchschnittswert zurück.
cbrtGibt die Kubikwurzel zurück.
ceil oder ceilingGibt die kleinste Ganzzahl zurück, die nicht größer als der eingegebene Wert ist.
convRechnet von einer Basis in eine andere um.
corrGibt den Pearson-Koeffizienten zwischen den Zahlen zurück.
cosGibt den Kosinuswert zurück.
coshGibt den hyperbolischen Kosinuswert zurück.
cotGibt den Kotangenswert zurück.
dense_rankGibt den Rang eines Werts in einer Gruppe von Werten zurück.
eGibt die Eulersche Zahl zurück.
expGibt e hoch dem Wert zurück.
expm1Gibt e hoch dem Wert minus 1 zurück.
factorialGibt die Fakultät des Werts zurück.
floorGibt die größte Ganzzahl zurück, die kleiner als der Wert ist.
greatestGibt den größten Wert aller Parameter zurück.
hypotGibt die Hypotenuse der beiden gegebenen Werte zurück.
kurtosisGibt den Kurtosis-Wert aus der Gruppe zurück.
leastGibt den kleinsten Wert aller Parameter zurück.
lnGibt den natürlichen Logarithmus des Werts zurück.
logGibt den Logarithmus des Werts zurück.
log10Gibt den Logarithmus des Werts zur Basis 10 zurück.
log1pGibt den Logarithmus des Werts plus 1 zurück.
log2Gibt den Logarithmus des Werts zur Basis 2 zurück.
maxGibt den Maximalwert des Ausdrucks zurück.
meanGibt den aus den Werten berechneten Mittelwert zurück.
minGibt den Minimalwert des Ausdrucks zurück.
monotonically_increasing_idGibt monoton steigende IDs zurück.
negativeGibt den negierten Wert zurück.
percent_rankGibt die prozentuale Rangfolge eines Werts zurück.
percentileGibt das genaue Perzentil zu einem gegebenen Prozentsatz zurück.
percentile_approxGibt den Perzentil-Näherungswert zu einem gegebenen Prozentsatz zurück.
piGibt die Zahl Pi zurück
pmodGibt das positive Modulo zwischen zwei Werten zurück.
positiveGibt den positiven Wert zurück.
pow, powerGibt den ersten Wert hoch dem zweiten zurück.
radiansRechnet den Wert in Radianten um.
randGibt eine zufällige Zahl von 0 bis 1 zurück.
randnGibt einen zufälligen Wert zurück.
rintGibt den nächstliegenden ganzzahligen Wert vom Typ „Double“ zurück.
roundGibt den nächsten gerundeten Wert zurück.
sign, signumGibt das Vorzeichen der Zahl zurück.
sinGibt den Sinus des Werts zurück.
sinhGibt den hyperbolischen Sinus des Werts zurück.
sqrtGibt die Quadratwurzel des Werts zurück.
stddevGibt die Standardabweichung des Werts zurück.
sttdev_popGibt die Populationsstandardabweichung des Werts zurück.
stddev_sampGibt die Stichprobenstandardabweichung des Werts zurück.
sumGibt die Summe der Werte zurück.
tanGibt den Tangens des Werts zurück.
tanhGibt den hyperbolischen Tangens des Werts zurück.
var_popGibt die berechnete Populationsvarianz zurück.
var_samp, varianceGibt die berechnete Stichprobenvarianz zurück.

Logische Operatoren und Funktionen

Operator/FunktionBeschreibung
! oder notLogisches NOT
<Kleiner als
<=Kleiner oder gleich
=Gleich
>Größer als
>=Größer oder gleich
^Bitweises exklusives Oder
|Bitweises Oder
~Bitweises Nicht
arrays_overlapGibt die allgemeinen Elemente zurück.
assert_trueStellt fest, ob der Ausdruck wahr ist.
ifWenn der Ausdruck als „wahr“ ausgewertet wird, wird der zweite Ausdruck zurückgegeben. Andernfalls wird der dritte Ausdruck zurückgegeben.
ifnullWenn der Ausdruck null ist, wird der zweite Ausdruck zurückgegeben. Andernfalls wird der erste Ausdruck zurückgegeben.
inGibt „wahr“ zurück, wenn der erste Ausdruck in einem der nachfolgenden Ausdrücke enthalten ist.
isnanGibt „wahr“ zurück, wenn der Wert keine Zahl ist.
isnotnullGibt „wahr“ zurück, wenn der Wert nicht null ist
isnullGibt „wahr“ zurück, wenn der Wert null ist.
nanvlGibt den ersten Ausdruck zurück, sofern es sich nicht um eine Zahl handelt, ansonsten den zweiten Ausdruck.
orLogisches OR
when„when“ kann verwendet werden, um Verzweigungsbedingungen für einen Vergleich zu erstellen.
xpath_booleanGibt „wahr“ zurück, wenn der XPath-Ausdruck als „wahr“ ausgewertet wird oder ein übereinstimmender Knoten gefunden wird.

Funktionen für Datum/Uhrzeit

Funktion
Beschreibung
add_months
Addiert Monate zum Datum.
date_add
Addiert Tage zum Datum.
date_format
Ändert das Datumsformat.
date_sub
Substrahiert Tage vom Datum.
date_trunc
Gibt das Datum zurück, das auf die angegebene Einheit gekürzt wurde.
datediff
Gibt die Differenz zwischen den Daten in Tagen zurück.
day, dayofmonth
Gibt den Tag des Monats zurück.
dayofweek
Gibt den Wochentag (1–7) zurück.
dayofyear
Gibt den Tag des Jahres zurück.
from_unixtime
Gibt das Datum in UNIX®-Zeit zurück.
from_utc_timestamp
Gibt das Datum in UTC-Zeit zurück.
hour
Gibt die Stunde der Eingabe zurück.
last_day
Gibt den letzten Tag des Monats zurück, zu dem das Datum gehört
minute
Gibt die Minute der Eingabe zurück.
month
Gibt den Monat der Eingabe zurück.
months_between
Gibt die Anzahl der dazwischenliegenden Monate zurück.
next_day
Gibt den ersten Tag nach der Eingabe zurück.
quarter
Gibt das Quartal der Eingabe zurück.
second
Gibt die Sekunde der Zeichenfolge zurück
to_date
Konvertiert die Zeichenfolge in ein Datum. Hinweis: Die Zeichenfolge muss das Format yyyy-mm-ddTHH24:MM:SS haben.
to_timestamp
Konvertiert die Zeichenfolge in einen Zeitstempel. Hinweis: Die Zeichenfolge muss das Format yyyy-mm-ddTHH24:MM:SS haben.
to_unix_timestamp
Konvertiert die Zeichenfolge in einen UNIX®-Zeitstempel
to_utc_timestamp
Konvertiert die Zeichenfolge in einen UTC-Zeitstempel.
trunc
Kürzt das Datum.
unix_timestamp
Gibt den UNIX®-Zeitstempel zurück.
weekday
Gibt den Wochentag (0–6) zurück.
weekofyear
Gibt die Woche des Jahres für ein gegebenes Datum zurück.
year
Gibt das Jahr der Zeichenfolge zurück.

Arrays

Funktion
Beschreibung
array
Gibt ein Array mit den gegebenen Elementen zurück.
array_contains
Prüft, ob das Array den Wert enthält.
array_distinct
Entfernt doppelte Werte (Duplikate) aus dem Array.
array_except
Gibt ein Array der Elemente im ersten Array zurück, nicht jedoch im zweiten.
array_intersect
Gibt die Schnittmenge der beiden Arrays zurück.
array_join
Verbindet zwei Arrays.
array_max
Gibt den Maximalwert des Arrays zurück.
array_min
Gibt den Minimalwert des Arrays zurück.
array_position
Gibt die 1-basierte Position des Elements zurück.
array_remove
Entfernt alle Elemente, die gleich dem Element sind.
array_repeat
Erstellt ein Array, das den Wert x-mal enthält.
array_sort
Sortiert das Array.
array_union
Verbindet das Array ohne Duplikate.
arrays_zip
Kombiniert die Werte der angegebenen Arrays mit den Werten der ursprünglichen Sammlung bei einem bestimmten Index
cardinality
Gibt die Größe des Arrays zurück.
element_at
Gibt das Element an einer Position zurück.
explode
Trennt Elemente des Arrays in mehrere Zeilen, ausschließlich null.
explode_outer
Trennt Elemente des Arrays in mehrere Zeilen, einschließlich null.
find_in_set
Gibt die 1-basierte Position des Arrays zurück.
flatten
Reduziert ein Array von Arrays.
inline
Trennt ein Array von Structs in eine Tabelle, ausschließlich null.
inline_outer
Trennt ein Array von Structs in eine Tabelle, einschließlich null.
posexplode
Trennt Elemente eines Arrays in mehrere Zeilen mit Positionen, ausschließlich null.
reverse
Kehrt Elemente des Arrays um.
shuffle
Gibt eine zufällige Permutation des Arrays zurück.
slice
Unterteilt ein Array.
sort_array
Sortiert ein Array in einer bestimmten Reihenfolge.
zip_with
Führt die beiden Arrays in einem Array zusammen, bevor eine Funktion angewendet wird.

Funktionen zur Umwandlung von Datentypen

Funktion
Beschreibung
bigint
Ändert den Datentyp in „Bigint“.
binary
Ändert den Datentyp in „Binary“.
boolean
Ändert den Datentyp in „Boolean“.
type
Ändert den Datentyp in den angegebenen Typ.
date
Ändert den Datentyp in „Date“.
decimal
Ändert den Datentyp in „Decimal“.
double
Ändert den Datentyp in „Double“.
float
Ändert den Datentyp in „Float“.
int
Ändert den Datentyp in „Int“.
smallint
Ändert den Datentyp in „Smallint“.
str_to_map
Erstellt eine Zuordnung aus einer Zeichenfolge.
string
Ändert den Datentyp in „String“.
struct
Erstellt einen Struct.
tinyint
Ändert den Datentyp in „Tinyint“.

Konvertierungs- und Formatierungsfunktionen

Funktion
Beschreibung
ascii
Gibt den numerischen Wert (ASCII) zurück.
base64
Ändert das Argument in eine base64-Zeichenfolge.
bin
Ändert das Argument in einen Binärwert.
bit_length
Gibt die Bit-Länge zurück.
char, chr
Gibt das ASCII-Zeichen zurück.
char_length, character_length
Gibt die Zeichenfolgenlänge zurück
crc32
Gibt den Wert der zyklischen Redundanzprüfung zurück.
degrees
Rechnet Radiant in Grad um.
format_number
Ändert das Zahlenformat.
from_json, get_json_object
Ruft Daten von JSON ab.
hash
Gibt den Hash-Wert zurück.
hex
Konvertiert das Argument in einen Hexadezimalwert.
initcap
Ändert die Zeichenfolge in „Title Case“.
lcase, lower
Ändert die Zeichenfolge so, dass alle Wörter kleingeschrieben werden.
lpad
Füllt die linke Seite einer Zeichenfolge auf.
map
Erstellt eine Zuordnung.
map_from_arrays
Erstellt eine Zuordnung aus einem Array.
map_from_entries
Erstellt eine Zuordnung aus einem Array von Structs.
md5
Gibt den md5-Wert zurück.
rpad
Füllt die rechte Seite einer Zeichenfolge auf.
rtrim
Entfernt nachfolgende Leerzeichen.
sha, sha1
Gibt den SHA1-Wert zurück.
sha2
Gibt den SHA2-Wert zurück.
soundex
Gibt den Soundex-Code zurück.
stack
Trennt Werte in Zeilen.
substr, substring
Gibt die Unterzeichenfolge zurück.
to_json
Gibt eine JSON-Zeichenfolge zurück.
translate
Ersetzt Werte in der Zeichenfolge.
trim
Entfernt voranstehende und nachfolgende Zeichen.
ucase, upper
Ändert die Zeichenfolge so, dass alles großgeschrieben wird.
unbase64
Konvertiert die base64-Zeichenfolge in einen Binärwert.
unhex
Konvertiert den Hexadezimalwert in einen Binärwert.
uuid
Gibt eine UUID zurück.

Datenauswertung

Funktion
Beschreibung
coalesce
Gibt das erste Argument zurück, das nicht null ist.
collect_list
Gibt eine Liste nicht eindeutiger Elemente zurück.
collect_set
Gibt einen Satz eindeutiger Elemente zurück.
concat
Verkettet Zeichenfolgen.
concat_ws
Verkettet mit Trennzeichen.
count
Gibt die Gesamtanzahl der Zeilen zurück.
decode
Decodiert mit einem Zeichensatz.
elt
Gibt die n. Eingabe zurück.
encode
Codiert mit einem Zeichensatz.
first, first_value
Gibt den ersten Wert zurück.
grouping
Gibt an, ob eine Spalte gruppiert ist.
grouping_id
Gibt die Gruppierungsebene zurück.
instr
Gibt einen 1-basierten Index des Vorkommens von Zeichen zurück.
json_tuple
Gibt einen Tupel aus einer JSON-Eingabe zurück.
lag, lead
Gibt den Wert vor dem Versatz zurück.
last, last_value
Gibt den letzten Wert zurück.
left
Gibt die ersten n Zeichen zurück.
length
Gibt die Länge der Zeichenfolge zurück
levenshtein
Gibt die Levenshtein-Distanz zwischen Zeichenfolgen zurück.
locate, position
Gibt die Position des ersten Vorkommens einer Unterzeichenfolge zurück.
map_concat
Verkettet eine Zuordnung.
map_keys
Gibt die Schlüssel einer Zuordnung zurück.
map_values
Gibt die Werte einer Zuordnung zurück.
ntile
Teilt Zeilen in Partitionen auf.
nullif
Gibt null zurück, wenn „wahr“.
nvl
Gibt den Wert zurück, wenn null,
nvl2
Gibt den Wert zurück, wenn nicht null.
parse_url
Extrahiert einen Teil einer URL.
rank
Berechnet den Rang eines Werts.
regexp_extract
Extrahiert etwas, das dem regulären Ausdruck entspricht.
regex_replace
Ersetzt etwas, das dem regulären Ausdruck entspricht.
repeat
Gibt eine Zeichenfolge zurück, die sich wiederholt.
replace
Ersetzt alle Instanzen einer Zeichenfolge.
rollup
Erstellt eine mehrdimensionale Datenaggregation.
row_number
Weist eine eindeutige Zeilennummer zu.
schema_of_json
Gibt das JSON-Schema zurück.
sentences
Teilt eine Zeichenfolge in ein Array von Wörtern auf.
sequence
Generiert ein Array von Elementen.
shiftleft
Gibt einen Bit-weise nach links verschobenen Wert mit Vorzeichen zurück.
shiftright
Gibt einen Bit-weise nach rechts verschobenen Wert mit Vorzeichen zurück.
shiftrightunsigned
Gibt einen Bit-weise nach rechts verschobenen Wert ohne Vorzeichen zurück.
size
Gibt die Größe des Arrays zurück.
space
Gibt eine Zeichenfolge mit n Leerzeichen zurück.
split
Teilt die Zeichenfolge auf.
substring_index
Gibt den Index einer Unterzeichenfolge zurück.
window
Fenster
xpath
Analysiert XML-Knoten.
xpath_double, xpath_number
Analysiert XML-Knoten für „Double“.
xpath_float
Analysiert XML-Knoten für „Float“.
xpath_int
Analysiert XML-Knoten für „Integer“.
xpath_long
Analysiert XML-Knoten für „Long“.
xpath_short
Analysiert XML-Knoten für „Short Integer“.
xpath_string
Analysiert XML-Knoten für „String“.

Aktuelle Informationen

Funktion
Beschreibung
current_database
Gibt die aktuelle Datenbank zurück.
current_date
Gibt das aktuelle Datum zurück.
current_timestamp, now
Gibt den aktuellen Zeitstempel zurück.

Funktionen höherer Ordnung

Funktion
Beschreibung
transform
Transformiert Elemente in einem Array.
exists
Prüft, ob ein Element vorhanden ist.
filter
Filtert das Eingabe-Array.
aggregate
Wendet einen binären Operator auf alle Elemente an.
recommendation-more-help
ccf2b369-4031-483f-af63-a93b5ae5e3fb