Spark SQL-Funktionen

Sie können mehrere integrierte SQL-Funktionen verwenden, um die SQL-Funktionalität mit Adobe Experience Platform Query Service zu erweitern. In diesem Dokument werden die Spark SQL-Funktionen aufgelistet, die vom Abfrage-Service unterstützt werden.

Weitere Informationen zu den Funktionen, einschließlich Syntax, Verwendung und Beispielen, finden Sie im Abschnitt Dokumentation zu Spark-SQL-Funktionen.

NOTE
Es werden nicht alle in der externen Dokumentation aufgeführten Funktionen unterstützt.

Mathematische und statistische Operatoren und Funktionen math

Operator/Funktion
Beschreibung
%
Gibt den Rest der beiden Zahlen zurück.
*
Multipliziert die beiden Zahlen.
+
Addiert die beiden Zahlen.
-
Subtrahiert die beiden Zahlen.
/
Dividiert die beiden Zahlen.
abs
Gibt den absoluten Wert der Eingabe zurück.
acos
Gibt den umgekehrten Kosinuswert zurück.
approx_count_distinct
Gibt die geschätzte Kardinalität nach HyperLogLog++ zurück.
approx_percentile
Gibt den Perzentil-Näherungswert zum angegebenen Prozentsatz zurück.
asin
Gibt den umgekehrten Sinuswert zurück.
atan
Gibt den umgekehrten Tangenswert zurück.
atan2
Gibt den Winkel zwischen der positiven X-Achsenebene und den durch die Koordinaten gegebenen Punkten zurück.
avg
Gibt den Durchschnittswert zurück.
cbrt
Gibt die Kubikwurzel zurück.
ceil oder ceiling
Gibt die kleinste Ganzzahl zurück, die nicht größer als der eingegebene Wert ist.
conv
Rechnet von einer Basis in eine andere um.
corr
Gibt den Pearson-Koeffizienten zwischen den Zahlen zurück.
cos
Gibt den Kosinuswert zurück.
cosh
Gibt den hyperbolischen Kosinuswert zurück.
cot
Gibt den Kotangenswert zurück.
dense_rank
Gibt den Rang eines Werts in einer Gruppe von Werten zurück.
e
Gibt die Eulersche Zahl zurück.
exp
Gibt e hoch dem Wert zurück.
expm1
Gibt e hoch dem Wert minus 1 zurück.
factorial
Gibt die Fakultät des Werts zurück.
floor
Gibt die größte Ganzzahl zurück, die kleiner als der Wert ist.
greatest
Gibt den größten Wert aller Parameter zurück.
hypot
Gibt die Hypotenuse der beiden gegebenen Werte zurück.
kurtosis
Gibt den Kurtosis-Wert aus der Gruppe zurück.
least
Gibt den kleinsten Wert aller Parameter zurück.
ln
Gibt den natürlichen Logarithmus des Werts zurück.
log
Gibt den Logarithmus des Werts zurück.
log10
Gibt den Logarithmus des Werts zur Basis 10 zurück.
log1p
Gibt den Logarithmus des Werts plus 1 zurück.
log2
Gibt den Logarithmus des Werts zur Basis 2 zurück.
max
Gibt den Maximalwert des Ausdrucks zurück.
mean
Gibt den aus den Werten berechneten Mittelwert zurück.
min
Gibt den Minimalwert des Ausdrucks zurück.
monotonically_increasing_id
Gibt monoton steigende IDs zurück.
negative
Gibt den negierten Wert zurück.
percent_rank
Gibt die prozentuale Rangfolge eines Werts zurück.
percentile
Gibt das genaue Perzentil zu einem gegebenen Prozentsatz zurück.
percentile_approx
Gibt den Perzentil-Näherungswert zu einem gegebenen Prozentsatz zurück.
pi
Gibt die Zahl Pi zurück
pmod
Gibt das positive Modulo zwischen zwei Werten zurück.
positive
Gibt den positiven Wert aus
pow, power
Gibt den ersten Wert hoch dem zweiten zurück.
radians
Rechnet den Wert in Radianten um.
rand
Gibt eine Zufallszahl von 0 bis 1 aus
randn
Gibt einen zufälligen Wert zurück.
rint
Gibt den nächstliegenden ganzzahligen Wert vom Typ „Double“ zurück.
round
Gibt den nächsten gerundeten Wert zurück.
sign, signum
Gibt das Vorzeichen der Zahl zurück.
sin
Gibt den Sinus des Werts zurück.
sinh
Gibt den hyperbolischen Sinus des Werts zurück.
sqrt
Gibt die Quadratwurzel des Werts zurück.
stddev
Gibt die Standardabweichung des Werts zurück.
sttdev_pop
Gibt die Populationsstandardabweichung des Werts zurück.
stddev_samp
Gibt die Stichprobenstandardabweichung des Werts zurück.
sum
Gibt die Summe der Werte zurück.
tan
Gibt den Tangens des Werts zurück.
tanh
Gibt den hyperbolischen Tangens des Werts zurück.
var_pop
Gibt die berechnete Populationsvarianz zurück.
var_samp, variance
Gibt die berechnete Stichprobenvarianz zurück.

Logische Operatoren und Funktionen logical-operators

Operator/Funktion
Beschreibung
! oder not
Logisches NOT
<
Kleiner als
<=
Kleiner oder gleich
=
Gleich
>
Größer als
>=
Größer oder gleich
^
Bitweises exklusives Oder
|
Bitweises Oder
~
Bitweises Nicht
arrays_overlap
Gibt die allgemeinen Elemente zurück.
assert_true
Stellt fest, ob der Ausdruck wahr ist.
if
Wenn der Ausdruck als „wahr“ ausgewertet wird, wird der zweite Ausdruck zurückgegeben. Andernfalls wird der dritte Ausdruck zurückgegeben.
ifnull
Wenn der Ausdruck null ist, wird der zweite Ausdruck zurückgegeben. Andernfalls wird der erste Ausdruck zurückgegeben.
in
Gibt „wahr“ zurück, wenn der erste Ausdruck in einem der nachfolgenden Ausdrücke enthalten ist.
isnan
Gibt „wahr“ zurück, wenn der Wert keine Zahl ist.
isnotnull
Gibt „wahr“ zurück, wenn der Wert nicht null ist
isnull
Gibt „wahr“ zurück, wenn der Wert null ist.
nanvl
Gibt den ersten Ausdruck zurück, sofern es sich nicht um eine Zahl handelt, ansonsten den zweiten Ausdruck.
or
Logisches OR
when
„when“ kann verwendet werden, um Verzweigungsbedingungen für einen Vergleich zu erstellen.
xpath_boolean
Gibt „wahr“ zurück, wenn der XPath-Ausdruck als „wahr“ ausgewertet wird oder ein übereinstimmender Knoten gefunden wird.

Funktionen für Datum/Uhrzeit datetime-functions

Funktion
Beschreibung
add_months
Addiert Monate zum Datum.
date_add
Addiert Tage zum Datum.
date_format
Ändert das Datumsformat.
date_sub
Substrahiert Tage vom Datum.
date_trunc
Gibt das Datum zurück, das auf die angegebene Einheit gekürzt wurde.
datediff
Gibt die Differenz zwischen den Daten in Tagen zurück.
day, dayofmonth
Gibt den Tag des Monats zurück.
dayofweek
Gibt den Wochentag (1–7) zurück.
dayofyear
Gibt den Tag des Jahres zurück.
from_unixtime
Gibt Datum in UNIX® Uhrzeit aus
from_utc_timestamp
Gibt das Datum in UTC-Zeit zurück.
hour
Gibt die Stunde der Eingabe zurück.
last_day
Gibt den letzten Tag des Monats aus, zu dem das Datum gehört
minute
Gibt die Minute der Eingabe zurück.
month
Gibt den Monat der Eingabe zurück.
months_between
Gibt die Anzahl der dazwischenliegenden Monate zurück.
next_day
Gibt den ersten Tag nach der Eingabe zurück.
quarter
Gibt das Quartal der Eingabe zurück.
second
Gibt die Sekunde der Zeichenfolge zurück
to_date
Konvertiert die Zeichenfolge in ein Datum. Hinweis: Die Zeichenfolge muss das Format yyyy-mm-ddTHH24:MM:SS haben.
to_timestamp
Konvertiert die Zeichenfolge in einen Zeitstempel. Hinweis: Die Zeichenfolge muss das Format yyyy-mm-ddTHH24:MM:SS haben.
to_unix_timestamp
Konvertiert den String in einen UNIX®-Zeitstempel
to_utc_timestamp
Konvertiert die Zeichenfolge in einen UTC-Zeitstempel.
trunc
Kürzt das Datum.
unix_timestamp
Gibt den UNIX®-Zeitstempel zurück
weekday
Gibt den Wochentag (0–6) zurück.
weekofyear
Gibt die Woche des Jahres für ein gegebenes Datum zurück.
year
Gibt das Jahr der Zeichenfolge zurück.

Arrays arrays

Funktion
Beschreibung
array
Gibt ein Array mit den gegebenen Elementen zurück.
array_contains
Prüft, ob das Array den Wert enthält.
array_distinct
Entfernt doppelte Werte (Duplikate) aus dem Array.
array_except
Gibt ein Array der Elemente im ersten Array zurück, nicht jedoch im zweiten.
array_intersect
Gibt die Schnittmenge der beiden Arrays zurück.
array_join
Verbindet zwei Arrays.
array_max
Gibt den Maximalwert des Arrays zurück.
array_min
Gibt den Minimalwert des Arrays zurück.
array_position
Gibt die 1-basierte Position des Elements zurück.
array_remove
Entfernt alle Elemente, die gleich dem Element sind.
array_repeat
Erstellt ein Array, das den Wert x-mal enthält.
array_sort
Sortiert das Array.
array_union
Verbindet das Array ohne Duplikate.
arrays_zip
Kombiniert die Werte der angegebenen Arrays mit den Werten der ursprünglichen Kollektion an einem bestimmten Index
cardinality
Gibt die Größe des Arrays zurück.
element_at
Gibt das Element an einer Position zurück.
explode
Trennt Elemente des Arrays in mehrere Zeilen, ausschließlich null.
explode_outer
Trennt Elemente des Arrays in mehrere Zeilen, einschließlich null.
find_in_set
Gibt die 1-basierte Position des Arrays zurück.
flatten
Reduziert ein Array von Arrays.
inline
Trennt ein Array von Structs in eine Tabelle, ausschließlich null.
inline_outer
Trennt ein Array von Structs in eine Tabelle, einschließlich null.
posexplode
Trennen Sie Elemente eines Arrays in mehrere Zeilen mit Positionen, ausgenommen Null
reverse
Kehrt Elemente des Arrays um.
shuffle
Gibt eine zufällige Permutation des Arrays zurück.
slice
Unterteilt ein Array.
sort_array
Sortiert ein Array in einer bestimmten Reihenfolge.
zip_with
Führt die beiden Arrays in einem Array zusammen, bevor eine Funktion angewendet wird.

Funktionen zur Umwandlung von Datentypen datatype-casting

Funktion
Beschreibung
bigint
Ändert den Datentyp in „Bigint“.
binary
Ändert den Datentyp in „Binary“.
boolean
Ändert den Datentyp in „Boolean“.
type
Ändert den Datentyp in den angegebenen Typ.
date
Ändert den Datentyp in „Date“.
decimal
Ändert den Datentyp in „Decimal“.
double
Ändert den Datentyp in „Double“.
float
Ändert den Datentyp in „Float“.
int
Ändert den Datentyp in „Int“.
smallint
Ändert den Datentyp in „Smallint“.
str_to_map
Erstellt eine Zuordnung aus einer Zeichenfolge.
string
Ändert den Datentyp in „String“.
struct
Erstellt einen Struct.
tinyint
Ändert den Datentyp in „Tinyint“.

Konvertierungs- und Formatierungsfunktionen conversion

Funktion
Beschreibung
ascii
Gibt den numerischen Wert (ASCII) zurück.
base64
Ändert das Argument in eine base64-Zeichenfolge.
bin
Ändert das Argument in einen Binärwert.
bit_length
Gibt die Bit-Länge zurück.
char, chr
Gibt das ASCII-Zeichen zurück.
char_length, character_length
Gibt die Zeichenfolgenlänge zurück
crc32
Gibt den Wert der zyklischen Redundanzprüfung zurück.
degrees
Rechnet Radiant in Grad um.
format_number
Ändert das Zahlenformat.
from_json, get_json_object
Ruft Daten von JSON ab.
hash
Gibt den Hash-Wert zurück.
hex
Konvertiert das Argument in einen Hexadezimalwert.
initcap
Ändert die Zeichenfolge in Titelschreibweise
lcase, lower
Ändert die Zeichenfolge so, dass alle Wörter kleingeschrieben werden.
lpad
Füllt die linke Seite einer Zeichenfolge auf.
map
Erstellt eine Zuordnung.
map_from_arrays
Erstellt eine Zuordnung aus einem Array.
map_from_entries
Erstellt eine Zuordnung aus einem Array von Structs.
md5
Gibt den md5-Wert zurück.
rpad
Füllt die rechte Seite einer Zeichenfolge auf.
rtrim
Entfernt nachfolgende Leerzeichen.
sha, sha1
Gibt den SHA1-Wert zurück.
sha2
Gibt den SHA2-Wert zurück.
soundex
Gibt den Soundex-Code zurück.
stack
Trennt Werte in Zeilen.
substr, substring
Gibt die Unterzeichenfolge zurück.
to_json
Gibt eine JSON-Zeichenfolge zurück.
translate
Ersetzt Werte in der Zeichenfolge.
trim
Entfernt voranstehende und nachfolgende Zeichen.
ucase, upper
Ändert die Zeichenfolge so, dass alles großgeschrieben wird.
unbase64
Konvertiert die base64-Zeichenfolge in einen Binärwert.
unhex
Konvertiert den Hexadezimalwert in einen Binärwert.
uuid
Gibt eine UUID zurück.

Datenauswertung data-evaluation

Funktion
Beschreibung
coalesce
Gibt das erste Argument zurück, das nicht null ist.
collect_list
Gibt eine Liste nicht eindeutiger Elemente zurück.
collect_set
Gibt einen Satz eindeutiger Elemente zurück.
concat
Verkettet Zeichenfolgen.
concat_ws
Verkettet mit Trennzeichen.
count
Gibt die Gesamtanzahl der Zeilen zurück.
decode
Decodiert mit einem Zeichensatz.
elt
Gibt die n. Eingabe zurück.
encode
Codiert mit einem Zeichensatz.
first, first_value
Gibt den ersten Wert zurück.
grouping
Gibt an, ob eine Spalte gruppiert ist.
grouping_id
Gibt die Gruppierungsebene zurück.
instr
Gibt einen 1-basierten Index des Vorkommens von Zeichen zurück.
json_tuple
Gibt einen Tupel aus einer JSON-Eingabe zurück.
lag, lead
Gibt den Wert vor dem Versatz zurück.
last, last_value
Gibt den letzten Wert zurück.
left
Gibt die ersten n Zeichen zurück.
length
Gibt die Länge der Zeichenfolge zurück
levenshtein
Gibt die Levenshtein-Distanz zwischen Zeichenfolgen zurück.
locate, position
Gibt die Position des ersten Vorkommens einer Unterzeichenfolge zurück.
map_concat
Verkettet eine Zuordnung.
map_keys
Gibt die Schlüssel einer Zuordnung zurück.
map_values
Gibt die Werte einer Zuordnung zurück.
ntile
Teilt Zeilen in Partitionen auf.
nullif
Gibt null zurück, wenn „wahr“.
nvl
Gibt den Wert zurück, wenn null,
nvl2
Gibt den Wert zurück, wenn nicht null.
parse_url
Extrahiert einen Teil einer URL.
rank
Berechnet den Rang eines Werts.
regexp_extract
Extrahiert etwas, das dem regulären Ausdruck entspricht.
regex_replace
Ersetzt etwas, das dem regulären Ausdruck entspricht.
repeat
Gibt eine Zeichenfolge zurück, die sich wiederholt.
replace
Ersetzt alle Instanzen einer Zeichenfolge.
rollup
Erstellt eine mehrdimensionale Datenaggregation.
row_number
Weist eine eindeutige Zeilennummer zu.
schema_of_json
Gibt das JSON-Schema zurück.
sentences
Teilt eine Zeichenfolge in ein Array von Wörtern auf.
sequence
Generiert ein Array von Elementen.
shiftleft
Gibt einen Bit-weise nach links verschobenen Wert mit Vorzeichen zurück.
shiftright
Gibt einen Bit-weise nach rechts verschobenen Wert mit Vorzeichen zurück.
shiftrightunsigned
Gibt einen Bit-weise nach rechts verschobenen Wert ohne Vorzeichen zurück.
size
Gibt die Größe des Arrays zurück.
space
Gibt eine Zeichenfolge mit n Leerzeichen zurück.
split
Teilt die Zeichenfolge auf.
substring_index
Gibt den Index einer Unterzeichenfolge zurück.
window
Fenster
xpath
Analysiert XML-Knoten.
xpath_double, xpath_number
Analysiert XML-Knoten für „Double“.
xpath_float
Analysiert XML-Knoten für „Float“.
xpath_int
Analysiert XML-Knoten für „Integer“.
xpath_long
Analysiert XML-Knoten für „Long“.
xpath_short
Analysiert XML-Knoten für „Short Integer“.
xpath_string
Analysiert XML-Knoten für „String“.

Aktuelle Informationen current-information

Funktion
Beschreibung
current_database
Gibt die aktuelle Datenbank zurück.
current_date
Gibt das aktuelle Datum zurück.
current_timestamp, now
Gibt den aktuellen Zeitstempel zurück.

Funktionen mit höherer Reihenfolge higher-order

Funktion
Beschreibung
transform
Transformiert Elemente in einem Array.
exists
Prüft, ob ein Element vorhanden ist.
filter
Filtert das Eingabe-Array.
aggregate
Wendet einen binären Operator auf alle Elemente an.
recommendation-more-help
ccf2b369-4031-483f-af63-a93b5ae5e3fb