Spark SQL-funktioner

Adobe Experience Platform Query Service innehåller flera inbyggda Spark SQL-funktioner som utökar SQL-funktionerna. I det här dokumentet visas Spark SQL-funktioner som stöds av Query Service.

Mer information om funktionerna, inklusive syntax, användning och exempel finns i Spark SQL-funktionsdokumentation.

OBSERVERA

Alla funktioner i den externa dokumentationen stöds inte.

Matematik- och statistikoperatorer och -funktioner

Operator/funktion Beskrivning
% Returnerar resten av de två talen
* Multiplicerar de två talen
+ Lägger till de två talen
- Subtraherar de två talen
/ Dividerar de två talen
abs Returnerar indatans absoluta värde
acos Returnerar det inverterade cosinusvärdet
approx_count_distinct Returnerar beräknad kardinalitet av HyperLog++
approx_percentile Returnerar det ungefärliga percentilvärdet vid den angivna procentandelen
asin Returnerar det inverterade sinusvärdet
atan Returnerar det inverterade tangentvärdet
atan2 Returnerar vinkeln mellan det positiva x-axelplanet och de punkter som anges av koordinaterna
avg Returnerar det genomsnittliga värdet
cbrt Returnerar kubroten
ceil eller ceiling Returnerar det minsta heltalet som inte är större än det inmatade värdet
conv Konvertera från en bas till en annan
corr Returnerar Pearson-koefficienten mellan talen
cos Returnerar cosinusvärdet
cosh Returnerar det hyperboliska cosinusvärdet
cot Returnerar cotangent-värdet
dense_rank Returnerar rangordningen för ett värde i en grupp med värden
e Returnerar Eulers tal
exp Returnerar e upphöjt till värdet
expm1 Returnerar e upphöjt till värdet minus 1
factorial Returnerar värdets fakultet
floor Returnerar det största heltalet som inte är mindre än värdet
greatest Returnerar det största värdet för alla parametrar
hypot Returnerar hypotensionen för de två angivna värdena
kurtosis Returnerar kurtosvärdet från gruppen
least Returnerar det minsta värdet för alla parametrar
ln Returnerar den naturliga logaritmen för värdet
log Returnerar värdets logaritm
log10 Returnerar logaritmen av värdet i bas 10
log1p Returnerar logaritmen för värdet plus 1
log2 Returnerar logaritmen av värdet i bas 2
max Returnerar det maximala värdet för uttrycket
mean Returnerar medelvärdet som beräknats från värdena
min Returnerar det minsta värdet för uttrycket
monotonically_increasing_id Returnerar monotont ökande ID:n
negative Returnerar det negerade värdet
percent_rank Returnerar procentrangordningen för ett värde
percentile Returnerar den exakta percentilen vid en angiven procentandel
percentile_approx Returnerar den ungefärliga percentilen vid en given procentandel
pi Returnerar pi
pmod Returnerar den positiva modulon mellan två värden
positive Returnerar det positiva värdet
pow, power Returnerar det första värdet till det andra värdets potens
radians Konverterar värdet till radianer
rand Returnerar ett slumpmässigt tal mellan 0 och 1
randn Returnerar ett slumpmässigt värde
rint Returnerar det närmaste dubbla värdet
round Returnerar det närmaste avrundade värdet
sign, signum Returnerar talets tecken
sin Returnerar sinus för värdet
sinh Returnerar hyperbolisk sinus för värdet
sqrt Returnerar kvadratroten av värdet
stddev Returnerar standardavvikelsen för värdet
sttdev_pop Returnerar populationens standardavvikelse för värdet
stddev_samp Returnerar exempelstandardavvikelsen för värdet
sum Returnerar summan av värdena
tan Returnerar värdets tangent
tanh Returnerar hyperbolisk tangens för värdet
var_pop Returnerar den beräknade populationsvariationen
var_samp, variance Returnerar den beräknade samplingsavvikelsen

Logiska operatorer och funktioner

Operator/funktion Beskrivning
! eller not Logiskt inte
< Less than
<= Less than or equal to
= Equal to
> Greater than
>= Greater than or equal to
^ Bitvis exklusiv eller
| Bitvis eller
~ Bitvis inte
arrays_overlap Returnerar de gemensamma elementen
assert_true Kontrollerar om uttrycket är sant
if Om uttrycket utvärderas till true returnerar du det andra uttrycket. Annars returnerar du det tredje uttrycket.
ifnull Om uttrycket är null returneras det andra uttrycket. Annars returneras det första uttrycket.
in Returnerar true om det första uttrycket finns i något av de efterföljande uttrycken.
isnan Returnerar true om värdet inte är ett tal
isnotnull Returnerar true om värdet inte är null
isnull Returnerar true om värdet är null
nanvl Returnerar det första uttrycket om det inte är ett tal, returnerar annars det andra uttrycket
or Logiskt eller
when När kan användas för att skapa förgreningsvillkor för jämförelse
xpath_boolean Returnerar true om XPath-uttrycket utvärderas till true eller om en matchande nod hittas

Datum-/tidsfunktioner

-funktion Beskrivning
add_months Lägg till månader till datum
date_add Lägg till dagar till datum
date_format Ändra datumformat
date_sub Ta bort dagar från datum
date_trunc Returnerar det datum som trunkeras till den angivna enheten
datediff Returnerar skillnaden mellan datum i dagar
day, dayofmonth Returnerar dagen i månaden
dayofweek Returnerar veckodag (1-7)
dayofyear Returnerar dag på året
from_unixtime Returnerar datum i Unix-tid
from_utc_timestamp Returnerar datum i UTC-tid
hour Returnerar timmen för indata
last_day Returnerar den sista dagen i månaden som datumet tillhör
minute Returnerar minuten för indata
month Returnerar månaden för indata
months_between Antal månader mellan
next_day Returnerar den första dagen senare än indata
quarter Returnerar inmatningens fjärdedel
second Returnerar den andra delen av strängen
to_date Konverterar strängen till ett datum. Obs! Strängen måste vara i formatet yyyy-mm-ddTHH24:MM:SS.
to_timestamp Konverterar strängen till en tidsstämpel. Obs! Strängen måste vara i formatet yyyy-mm-ddTHH24:MM:SS.
to_unix_timestamp Konverterar strängen till en Unix-tidsstämpel
to_utc_timestamp Konverterar strängen till en UTC-tidsstämpel
trunc Trunkerar datumet
unix_timestamp Returnerar Unix-tidsstämpeln
weekday Veckodag (0-6)
weekofyear Returnerar veckan på året för ett givet datum
year Returnerar året för strängen

Arrayer

-funktion Beskrivning
array Skapar en array med de angivna elementen
array_contains Kontrollerar om arrayen innehåller värdet
array_distinct Tar bort dubblettvärden från arrayen
array_except Returnerar en array med elementen i den första arrayen, men inte den andra
array_intersect Returnerar skärningspunkten för de två arrayerna
array_join Sammanfogar två arrayer
array_max Returnerar det maximala värdet för arrayen
array_min Returnerar det minsta värdet för arrayen
array_position Returnerar elementets 1-baserade position
array_remove Tar bort alla element som är lika med elementet
array_repeat Skapar en array som innehåller det värde som räknas gånger
array_sort Sorterar arrayen
array_union Sammanfogar arrayen utan några dubbletter
arrays_zip Kombinerar värdena för angivna arrayer med värdena för den ursprungliga samlingen vid ett givet index
cardinality Returnera arrayens storlek
element_at Returnera elementet vid positionen
explode Separera element i en array i flera rader, exklusive null
explode_outer Separera element i en array i flera rader, inklusive null
find_in_set Returnerar arrayens 1-baserade position
flatten Förenklar en array med arrayer
inline Separat array med strukturer i en tabell, exklusive null
inline_outer Separat array med strukturer i en tabell, inklusive null
posexplode Separera element i en array i flera rader med positioner, exklusive null
reverse Invertera elementen i arrayen
shuffle Returnera en slumpmässig permutation av arrayen
slice Delar en array
sort_array Sortera en array, ange en ordning
zip_with Sammanfogar de två arrayerna till en enda array innan en funktion används

Datatypsdatatypsbytefunktioner

-funktion Beskrivning
bigint Ändra datatypen till bigint
binary Ändra datatypen till binär
boolean Ändra datatypen till boolesk
type Ändra datatypen till den angivna typen
date Ändra datatypen till datum
decimal Ändra datatypen till decimal
double Ändra datatypen till dubbel
float Ändra datatypen till flyttal
int Ändra datatypen till int
smallint Ändra datatypen till small
str_to_map Skapa en karta från en sträng
string Ändra datatypen till sträng
struct Skapa en struktur
tinyint Ändra datatypen till tinyint

Konverterings- och formateringsfunktioner

-funktion Beskrivning
ascii Returnera det numeriska värdet (ASCII)
base64 Ändra argumentet till en base64-sträng
bin Ändra argumentet till ett binärt värde
bit_length Returnera bitlängden
char, chr Returnera ASCII-tecknet
char_length, character_length Returnera stränglängden
crc32 Returnerar det cykliska värdet för redundanskontrollen
degrees Konvertera radianer till grader
format_number Ändra talets format
from_json, get_json_object Hämta data från JSON
hash Returnera hash-värdet
hex Konvertera argumentet till ett hexadecimalt värde
initcap Ändrar strängen så att den får ett namnslut
lcase, lower Ändrar strängen till gemener
lpad Knuffar den vänstra sidan av en sträng
map Skapa en karta
map_from_arrays Skapa en karta från en array
map_from_entries Skapa en karta från en array med strukturer
md5 Returnera md5-värdet
rpad Placerar höger sida i en sträng
rtrim Tar bort avslutande blanksteg
sha, sha1 Returnera SHA1-värdet
sha2 Returnera SHA2-värdet
soundex Returnera ljudindexkoden
stack Dela upp värden i rader
substr, substring Returnera delsträngen
to_json Returnerar en JSON-sträng
translate Ersätt värden i sträng
trim Ta bort inledande och avslutande tecken
ucase, upper Ändra strängen till versaler
unbase64 Konvertera base64-strängen till binär
unhex Konvertera det hexadecimala till binära
uuid Returnera ett UUID

Utvärdering av data

-funktion Beskrivning
coalesce Returnera det första icke-null-argumentet
collect_list Returnera en lista med icke-unika element
collect_set Returnera en uppsättning unika element
concat Sammanfogning
concat_ws Sammanfogning med avgränsare
count Returnerar det totala antalet rader
decode Avkoda med en teckenuppsättning
elt Returnera nindata
encode Koda med en teckenuppsättning
first, first_value Returnerar det första värdet
grouping Anger om en kolumn är grupperad
grouping_id Returnerar grupperingsnivån
instr Returnerar ett 1-baserat index för teckenförekomst
json_tuple Returnerar en tuppel från en JSON-inmatning
lag, lead Returnerar värdet före förskjutningen
last, last_value Returnerar det sista värdet
left Returnerar den första n tecken
length Returnerar strängens längd
levenshtein Returnerar Levenshetin-avståndet mellan strängar
locate, position Returnerar positionen för den första förekomsten av en delsträng
map_concat Sammanfoga en karta
map_keys Returnera knapparna för en karta
map_values Returnera värden för en karta
ntile Dela upp rader i partitioner
nullif Returnerar null om true
nvl Returnerar värdet om null
nvl2 Returnerar värdet om det inte är null
parse_url Extraherar en del av en URL
rank Beräknar rangordningen för ett värde
regexp_extract Extraherar något som matchar regex
regex_replace Ersätter något som matchar regex
repeat Returnerar en sträng som upprepas
replace Ersätta alla förekomster av en sträng
rollup Skapa en flerdimensionell sammanslagning
row_number Tilldelar ett unikt radnummer
schema_of_json Returnerar schemat för JSON
sentences Delar upp strängen i en array med ord
sequence Genererar en array med element
shiftleft Signerat bitvis skift åt vänster
shiftright Signerat bitvis skift åt höger
shiftrightunsigned Bitflyttning utan tecken höger
size Returnera arrayens storlek
space Returnera en sträng med n mellanslag
split Delad sträng
substring_index Returnera index för delsträng
window Fönster
xpath Tolka XML-noder
xpath_double, xpath_number Tolka XML-noder för dubbla
xpath_float Tolka XML-noder för flytande
xpath_int Tolka XML-noder för heltal
xpath_long Tolka XML-noder för lång tid
xpath_short Tolka XML-noder för kort heltal
xpath_string Tolka XML-noder för sträng

Aktuell information

-funktion Beskrivning
current_database Returnerar aktuell databas
current_date Returnerar aktuellt datum
current_timestamp, now Returnerar aktuell tidsstämpel

Funktioner för högre ordning

-funktion Beskrivning
transform Omforma element i en array
exists Kontrollera om elementet finns
filter Filtrera inmatningsarrayen
aggregate Använda en binär operator för alla element

På denna sida