Dokumentation Experience Platform Handbuch zum Abfragedienst

Spark SQL-Funktionen

Letzte Aktualisierung: 30. Dezember 2024

Themen:
Abfragen

Erstellt für:

Benutzende
Entwickler

Sie können mehrere integrierte Spark SQL-Funktionen verwenden, um die SQL-Funktionalität mit dem Abfrage-Service von Adobe Experience Platform zu erweitern. In diesem Dokument werden die Spark SQL-Funktionen aufgelistet, die vom Abfrage-Service unterstützt werden.

Ausführlichere Informationen zu den Funktionen, einschließlich Syntax, Verwendung und Beispielen, finden Sie in der Spark SQL-Funktionsdokumentation.

NOTE

Es werden nicht alle in der externen Dokumentation aufgeführten Funktionen unterstützt.

Mathematische und statistische Operatoren und Funktionen

Operator/Funktion	Beschreibung
`%`	Gibt den Rest der beiden Zahlen zurück.
`*`	Multipliziert die beiden Zahlen.
`+`	Addiert die beiden Zahlen.
`-`	Subtrahiert die beiden Zahlen.
`/`	Dividiert die beiden Zahlen.
`abs`	Gibt den absoluten Wert der Eingabe zurück.
`acos`	Gibt den umgekehrten Kosinuswert zurück.
`approx_count_distinct`	Gibt die geschätzte Kardinalität nach HyperLogLog++ zurück.
`approx_percentile`	Gibt den Perzentil-Näherungswert zum angegebenen Prozentsatz zurück.
`asin`	Gibt den umgekehrten Sinuswert zurück.
`atan`	Gibt den umgekehrten Tangenswert zurück.
`atan2`	Gibt den Winkel zwischen der positiven X-Achsenebene und den durch die Koordinaten gegebenen Punkten zurück.
`avg`	Gibt den Durchschnittswert zurück.
`cbrt`	Gibt die Kubikwurzel zurück.
`ceil` oder `ceiling`	Gibt die kleinste Ganzzahl zurück, die nicht größer als der eingegebene Wert ist.
`conv`	Rechnet von einer Basis in eine andere um.
`corr`	Gibt den Pearson-Koeffizienten zwischen den Zahlen zurück.
`cos`	Gibt den Kosinuswert zurück.
`cosh`	Gibt den hyperbolischen Kosinuswert zurück.
`cot`	Gibt den Kotangenswert zurück.
`dense_rank`	Gibt den Rang eines Werts in einer Gruppe von Werten zurück.
`e`	Gibt die Eulersche Zahl zurück.
`exp`	Gibt e hoch dem Wert zurück.
`expm1`	Gibt e hoch dem Wert minus 1 zurück.
`factorial`	Gibt die Fakultät des Werts zurück.
`floor`	Gibt die größte Ganzzahl zurück, die kleiner als der Wert ist.
`greatest`	Gibt den größten Wert aller Parameter zurück.
`hypot`	Gibt die Hypotenuse der beiden gegebenen Werte zurück.
`kurtosis`	Gibt den Kurtosis-Wert aus der Gruppe zurück.
`least`	Gibt den kleinsten Wert aller Parameter zurück.
`ln`	Gibt den natürlichen Logarithmus des Werts zurück.
`log`	Gibt den Logarithmus des Werts zurück.
`log10`	Gibt den Logarithmus des Werts zur Basis 10 zurück.
`log1p`	Gibt den Logarithmus des Werts plus 1 zurück.
`log2`	Gibt den Logarithmus des Werts zur Basis 2 zurück.
`max`	Gibt den Maximalwert des Ausdrucks zurück.
`mean`	Gibt den aus den Werten berechneten Mittelwert zurück.
`min`	Gibt den Minimalwert des Ausdrucks zurück.
`monotonically_increasing_id`	Gibt monoton steigende IDs zurück.
`negative`	Gibt den negierten Wert zurück.
`percent_rank`	Gibt die prozentuale Rangfolge eines Werts zurück.
`percentile`	Gibt das genaue Perzentil zu einem gegebenen Prozentsatz zurück.
`percentile_approx`	Gibt den Perzentil-Näherungswert zu einem gegebenen Prozentsatz zurück.
`pi`	Gibt die Zahl Pi zurück
`pmod`	Gibt das positive Modulo zwischen zwei Werten zurück.
`positive`	Gibt den positiven Wert zurück.
`pow`, `power`	Gibt den ersten Wert hoch dem zweiten zurück.
`radians`	Rechnet den Wert in Radianten um.
`rand`	Gibt eine zufällige Zahl von 0 bis 1 zurück.
`randn`	Gibt einen zufälligen Wert zurück.
`rint`	Gibt den nächstliegenden ganzzahligen Wert vom Typ „Double“ zurück.
`round`	Gibt den nächsten gerundeten Wert zurück.
`sign`, `signum`	Gibt das Vorzeichen der Zahl zurück.
`sin`	Gibt den Sinus des Werts zurück.
`sinh`	Gibt den hyperbolischen Sinus des Werts zurück.
`sqrt`	Gibt die Quadratwurzel des Werts zurück.
`stddev`	Gibt die Standardabweichung des Werts zurück.
`sttdev_pop`	Gibt die Populationsstandardabweichung des Werts zurück.
`stddev_samp`	Gibt die Stichprobenstandardabweichung des Werts zurück.
`sum`	Gibt die Summe der Werte zurück.
`tan`	Gibt den Tangens des Werts zurück.
`tanh`	Gibt den hyperbolischen Tangens des Werts zurück.
`var_pop`	Gibt die berechnete Populationsvarianz zurück.
`var_samp`, `variance`	Gibt die berechnete Stichprobenvarianz zurück.

Logische Operatoren und Funktionen

Operator/Funktion	Beschreibung
`!` oder `not`	Logisches NOT
`<`	Kleiner als
`<=`	Kleiner oder gleich
`=`	Gleich
`>`	Größer als
`>=`	Größer oder gleich
`^`	Bitweises exklusives Oder
`\|`	Bitweises Oder
`~`	Bitweises Nicht
`arrays_overlap`	Gibt die allgemeinen Elemente zurück.
`assert_true`	Stellt fest, ob der Ausdruck wahr ist.
`if`	Wenn der Ausdruck als „wahr“ ausgewertet wird, wird der zweite Ausdruck zurückgegeben. Andernfalls wird der dritte Ausdruck zurückgegeben.
`ifnull`	Wenn der Ausdruck null ist, wird der zweite Ausdruck zurückgegeben. Andernfalls wird der erste Ausdruck zurückgegeben.
`in`	Gibt „wahr“ zurück, wenn der erste Ausdruck in einem der nachfolgenden Ausdrücke enthalten ist.
`isnan`	Gibt „wahr“ zurück, wenn der Wert keine Zahl ist.
`isnotnull`	Gibt „wahr“ zurück, wenn der Wert nicht null ist
`isnull`	Gibt „wahr“ zurück, wenn der Wert null ist.
`nanvl`	Gibt den ersten Ausdruck zurück, sofern es sich nicht um eine Zahl handelt, ansonsten den zweiten Ausdruck.
`or`	Logisches OR
`when`	„when“ kann verwendet werden, um Verzweigungsbedingungen für einen Vergleich zu erstellen.
`xpath_boolean`	Gibt „wahr“ zurück, wenn der XPath-Ausdruck als „wahr“ ausgewertet wird oder ein übereinstimmender Knoten gefunden wird.

Funktionen für Datum/Uhrzeit

Funktion	Beschreibung
`add_months`	Addiert Monate zum Datum.
`date_add`	Addiert Tage zum Datum.
`date_format`	Ändert das Datumsformat.
`date_sub`	Substrahiert Tage vom Datum.
`date_trunc`	Gibt das Datum zurück, das auf die angegebene Einheit gekürzt wurde.
`datediff`	Gibt die Differenz zwischen den Daten in Tagen zurück.
`day`, `dayofmonth`	Gibt den Tag des Monats zurück.
`dayofweek`	Gibt den Wochentag (1–7) zurück.
`dayofyear`	Gibt den Tag des Jahres zurück.
`from_unixtime`	Gibt das Datum in UNIX®-Zeit zurück.
`from_utc_timestamp`	Gibt das Datum in UTC-Zeit zurück.
`hour`	Gibt die Stunde der Eingabe zurück.
`last_day`	Gibt den letzten Tag des Monats zurück, zu dem das Datum gehört
`minute`	Gibt die Minute der Eingabe zurück.
`month`	Gibt den Monat der Eingabe zurück.
`months_between`	Gibt die Anzahl der dazwischenliegenden Monate zurück.
`next_day`	Gibt den ersten Tag nach der Eingabe zurück.
`quarter`	Gibt das Quartal der Eingabe zurück.
`second`	Gibt die Sekunde der Zeichenfolge zurück
`to_date`	Konvertiert die Zeichenfolge in ein Datum. Hinweis: Die Zeichenfolge muss das Format `yyyy-mm-ddTHH24:MM:SS` haben.
`to_timestamp`	Konvertiert die Zeichenfolge in einen Zeitstempel. Hinweis: Die Zeichenfolge muss das Format `yyyy-mm-ddTHH24:MM:SS` haben.
`to_unix_timestamp`	Konvertiert die Zeichenfolge in einen UNIX®-Zeitstempel
`to_utc_timestamp`	Konvertiert die Zeichenfolge in einen UTC-Zeitstempel.
`trunc`	Kürzt das Datum.
`unix_timestamp`	Gibt den UNIX®-Zeitstempel zurück.
`weekday`	Gibt den Wochentag (0–6) zurück.
`weekofyear`	Gibt die Woche des Jahres für ein gegebenes Datum zurück.
`year`	Gibt das Jahr der Zeichenfolge zurück.

Arrays

Funktion	Beschreibung
`array`	Gibt ein Array mit den gegebenen Elementen zurück.
`array_contains`	Prüft, ob das Array den Wert enthält.
`array_distinct`	Entfernt doppelte Werte (Duplikate) aus dem Array.
`array_except`	Gibt ein Array der Elemente im ersten Array zurück, nicht jedoch im zweiten.
`array_intersect`	Gibt die Schnittmenge der beiden Arrays zurück.
`array_join`	Verbindet zwei Arrays.
`array_max`	Gibt den Maximalwert des Arrays zurück.
`array_min`	Gibt den Minimalwert des Arrays zurück.
`array_position`	Gibt die 1-basierte Position des Elements zurück.
`array_remove`	Entfernt alle Elemente, die gleich dem Element sind.
`array_repeat`	Erstellt ein Array, das den Wert x-mal enthält.
`array_sort`	Sortiert das Array.
`array_union`	Verbindet das Array ohne Duplikate.
`arrays_zip`	Kombiniert die Werte der angegebenen Arrays mit den Werten der ursprünglichen Sammlung bei einem bestimmten Index
`cardinality`	Gibt die Größe des Arrays zurück.
`element_at`	Gibt das Element an einer Position zurück.
`explode`	Trennt Elemente des Arrays in mehrere Zeilen, ausschließlich null.
`explode_outer`	Trennt Elemente des Arrays in mehrere Zeilen, einschließlich null.
`find_in_set`	Gibt die 1-basierte Position des Arrays zurück.
`flatten`	Reduziert ein Array von Arrays.
`inline`	Trennt ein Array von Structs in eine Tabelle, ausschließlich null.
`inline_outer`	Trennt ein Array von Structs in eine Tabelle, einschließlich null.
`posexplode`	Trennt Elemente eines Arrays in mehrere Zeilen mit Positionen, ausschließlich null.
`reverse`	Kehrt Elemente des Arrays um.
`shuffle`	Gibt eine zufällige Permutation des Arrays zurück.
`slice`	Unterteilt ein Array.
`sort_array`	Sortiert ein Array in einer bestimmten Reihenfolge.
`zip_with`	Führt die beiden Arrays in einem Array zusammen, bevor eine Funktion angewendet wird.

Funktionen zur Umwandlung von Datentypen

Funktion	Beschreibung
`bigint`	Ändert den Datentyp in „Bigint“.
`binary`	Ändert den Datentyp in „Binary“.
`boolean`	Ändert den Datentyp in „Boolean“.
`type`	Ändert den Datentyp in den angegebenen Typ.
`date`	Ändert den Datentyp in „Date“.
`decimal`	Ändert den Datentyp in „Decimal“.
`double`	Ändert den Datentyp in „Double“.
`float`	Ändert den Datentyp in „Float“.
`int`	Ändert den Datentyp in „Int“.
`smallint`	Ändert den Datentyp in „Smallint“.
`str_to_map`	Erstellt eine Zuordnung aus einer Zeichenfolge.
`string`	Ändert den Datentyp in „String“.
`struct`	Erstellt einen Struct.
`tinyint`	Ändert den Datentyp in „Tinyint“.

Konvertierungs- und Formatierungsfunktionen

Funktion	Beschreibung
`ascii`	Gibt den numerischen Wert (ASCII) zurück.
`base64`	Ändert das Argument in eine base64-Zeichenfolge.
`bin`	Ändert das Argument in einen Binärwert.
`bit_length`	Gibt die Bit-Länge zurück.
`char`, `chr`	Gibt das ASCII-Zeichen zurück.
`char_length`, `character_length`	Gibt die Zeichenfolgenlänge zurück
`crc32`	Gibt den Wert der zyklischen Redundanzprüfung zurück.
`degrees`	Rechnet Radiant in Grad um.
`format_number`	Ändert das Zahlenformat.
`from_json`, `get_json_object`	Ruft Daten von JSON ab.
`hash`	Gibt den Hash-Wert zurück.
`hex`	Konvertiert das Argument in einen Hexadezimalwert.
`initcap`	Ändert die Zeichenfolge in „Title Case“.
`lcase`, `lower`	Ändert die Zeichenfolge so, dass alle Wörter kleingeschrieben werden.
`lpad`	Füllt die linke Seite einer Zeichenfolge auf.
`map`	Erstellt eine Zuordnung.
`map_from_arrays`	Erstellt eine Zuordnung aus einem Array.
`map_from_entries`	Erstellt eine Zuordnung aus einem Array von Structs.
`md5`	Gibt den md5-Wert zurück.
`rpad`	Füllt die rechte Seite einer Zeichenfolge auf.
`rtrim`	Entfernt nachfolgende Leerzeichen.
`sha`, `sha1`	Gibt den SHA1-Wert zurück.
`sha2`	Gibt den SHA2-Wert zurück.
`soundex`	Gibt den Soundex-Code zurück.
`stack`	Trennt Werte in Zeilen.
`substr`, `substring`	Gibt die Unterzeichenfolge zurück.
`to_json`	Gibt eine JSON-Zeichenfolge zurück.
`translate`	Ersetzt Werte in der Zeichenfolge.
`trim`	Entfernt voranstehende und nachfolgende Zeichen.
`ucase`, `upper`	Ändert die Zeichenfolge so, dass alles großgeschrieben wird.
`unbase64`	Konvertiert die base64-Zeichenfolge in einen Binärwert.
`unhex`	Konvertiert den Hexadezimalwert in einen Binärwert.
`uuid`	Gibt eine UUID zurück.

Datenauswertung

Funktion	Beschreibung
`coalesce`	Gibt das erste Argument zurück, das nicht null ist.
`collect_list`	Gibt eine Liste nicht eindeutiger Elemente zurück.
`collect_set`	Gibt einen Satz eindeutiger Elemente zurück.
`concat`	Verkettet Zeichenfolgen.
`concat_ws`	Verkettet mit Trennzeichen.
`count`	Gibt die Gesamtanzahl der Zeilen zurück.
`decode`	Decodiert mit einem Zeichensatz.
`elt`	Gibt die `n`. Eingabe zurück.
`encode`	Codiert mit einem Zeichensatz.
`first`, `first_value`	Gibt den ersten Wert zurück.
`grouping`	Gibt an, ob eine Spalte gruppiert ist.
`grouping_id`	Gibt die Gruppierungsebene zurück.
`instr`	Gibt einen 1-basierten Index des Vorkommens von Zeichen zurück.
`json_tuple`	Gibt einen Tupel aus einer JSON-Eingabe zurück.
`lag`, `lead`	Gibt den Wert vor dem Versatz zurück.
`last`, `last_value`	Gibt den letzten Wert zurück.
`left`	Gibt die ersten `n` Zeichen zurück.
`length`	Gibt die Länge der Zeichenfolge zurück
`levenshtein`	Gibt die Levenshtein-Distanz zwischen Zeichenfolgen zurück.
`locate`, `position`	Gibt die Position des ersten Vorkommens einer Unterzeichenfolge zurück.
`map_concat`	Verkettet eine Zuordnung.
`map_keys`	Gibt die Schlüssel einer Zuordnung zurück.
`map_values`	Gibt die Werte einer Zuordnung zurück.
`ntile`	Teilt Zeilen in Partitionen auf.
`nullif`	Gibt null zurück, wenn „wahr“.
`nvl`	Gibt den Wert zurück, wenn null,
`nvl2`	Gibt den Wert zurück, wenn nicht null.
`parse_url`	Extrahiert einen Teil einer URL.
`rank`	Berechnet den Rang eines Werts.
`regexp_extract`	Extrahiert etwas, das dem regulären Ausdruck entspricht.
`regex_replace`	Ersetzt etwas, das dem regulären Ausdruck entspricht.
`repeat`	Gibt eine Zeichenfolge zurück, die sich wiederholt.
`replace`	Ersetzt alle Instanzen einer Zeichenfolge.
`rollup`	Erstellt eine mehrdimensionale Datenaggregation.
`row_number`	Weist eine eindeutige Zeilennummer zu.
`schema_of_json`	Gibt das JSON-Schema zurück.
`sentences`	Teilt eine Zeichenfolge in ein Array von Wörtern auf.
`sequence`	Generiert ein Array von Elementen.
`shiftleft`	Gibt einen Bit-weise nach links verschobenen Wert mit Vorzeichen zurück.
`shiftright`	Gibt einen Bit-weise nach rechts verschobenen Wert mit Vorzeichen zurück.
`shiftrightunsigned`	Gibt einen Bit-weise nach rechts verschobenen Wert ohne Vorzeichen zurück.
`size`	Gibt die Größe des Arrays zurück.
`space`	Gibt eine Zeichenfolge mit `n` Leerzeichen zurück.
`split`	Teilt die Zeichenfolge auf.
`substring_index`	Gibt den Index einer Unterzeichenfolge zurück.
`window`	Fenster
`xpath`	Analysiert XML-Knoten.
`xpath_double`, `xpath_number`	Analysiert XML-Knoten für „Double“.
`xpath_float`	Analysiert XML-Knoten für „Float“.
`xpath_int`	Analysiert XML-Knoten für „Integer“.
`xpath_long`	Analysiert XML-Knoten für „Long“.
`xpath_short`	Analysiert XML-Knoten für „Short Integer“.
`xpath_string`	Analysiert XML-Knoten für „String“.

Funktion	Beschreibung
`current_database`	Gibt die aktuelle Datenbank zurück.
`current_date`	Gibt das aktuelle Datum zurück.
`current_timestamp`, `now`	Gibt den aktuellen Zeitstempel zurück.

Funktion	Beschreibung
`transform`	Transformiert Elemente in einem Array.
`exists`	Prüft, ob ein Element vorhanden ist.
`filter`	Filtert das Eingabe-Array.
`aggregate`	Wendet einen binären Operator auf alle Elemente an.