Spark SQL-funktioner

Du kan använda flera inbyggda Spark SQL-funktioner för att utöka SQL-funktioner med Adobe Experience Platform Query Service. I det här dokumentet visas Spark SQL-funktioner som stöds av Query Service.

Mer detaljerad information om funktionerna, inklusive syntax, användning och exempel, finns i dokumentationen för Spark SQL-funktionen.

NOTE
Alla funktioner i den externa dokumentationen stöds inte.

Matematik- och statistikoperatorer och -funktioner math

Operator/funktion
Beskrivning
%
Returnerar resten av de två talen
*
Multiplicerar de två talen
+
Lägger till de två talen
-
Subtraherar de två talen
/
Dividerar de två talen
abs
Returnerar indatans absoluta värde
acos
Returnerar det inverterade cosinusvärdet
approx_count_distinct
Returnerar den beräknade kardinaliteten för HyperLog++
approx_percentile
Returnerar det ungefärliga percentilvärdet vid den angivna procentandelen
asin
Returnerar det inverterade sinusvärdet
atan
Returnerar det inverterade tangentvärdet
atan2
Returnerar vinkeln mellan det positiva x-axelplanet och de punkter som anges av koordinaterna
avg
Returnerar det genomsnittliga värdet
cbrt
Returnerar kubroten
ceil eller ceiling
Returnerar det minsta heltalet som inte är större än det angivna värdet
conv
Konvertera från en bas till en annan
corr
Returnerar Pearson-koefficienten mellan talen
cos
Returnerar cosinusvärdet
cosh
Returnerar det hyperboliska cosinusvärdet
cot
Returnerar cotangent-värdet
dense_rank
Returnerar rangordningen för ett värde i en grupp med värden
e
Returnerar Eulers tal
exp
Returnerar e upphöjt till värdet
expm1
Returnerar e upphöjt till värdet minus 1
factorial
Returnerar värdets fakultet
floor
Returnerar det största heltalet som inte är mindre än värdet
greatest
Returnerar det största värdet för alla parametrar
hypot
Returnerar hypotensionen för de två angivna värdena
kurtosis
Returnerar kurtosvärdet från gruppen
least
Returnerar det minsta värdet för alla parametrar
ln
Returnerar den naturliga logaritmen för värdet
log
Returnerar värdets logaritm
log10
Returnerar logaritmen av värdet i bas 10
log1p
Returnerar logaritmen för värdet plus 1
log2
Returnerar logaritmen av värdet i bas 2
max
Returnerar det maximala värdet för uttrycket
mean
Returnerar medelvärdet som beräknats från värdena
min
Returnerar det minsta värdet för uttrycket
monotonically_increasing_id
Returnerar monotont ökande ID:n
negative
Returnerar det negerade värdet
percent_rank
Returnerar procentrangordningen för ett värde
percentile
Returnerar den exakta percentilen vid en angiven procentandel
percentile_approx
Returnerar den ungefärliga percentilen vid en given procentandel
pi
Returnerar pi
pmod
Returnerar den positiva modulon mellan två värden
positive
Returnerar det positiva värdet
pow, power
Returnerar det första värdet till det andra värdets potens
radians
Konverterar värdet till radianer
rand
Returnerar ett slumpmässigt tal mellan 0 och 1
randn
Returnerar ett slumpmässigt värde
rint
Returnerar det närmaste dubbla värdet
round
Returnerar det närmaste avrundade värdet
sign, signum
Returnerar talets tecken
sin
Returnerar sinus för värdet
sinh
Returnerar hyperbolisk sinus för värdet
sqrt
Returnerar kvadratroten av värdet
stddev
Returnerar standardavvikelsen för värdet
sttdev_pop
Returnerar populationens standardavvikelse för värdet
stddev_samp
Returnerar exempelstandardavvikelsen för värdet
sum
Returnerar summan av värdena
tan
Returnerar värdets tangent
tanh
Returnerar hyperbolisk tangens för värdet
var_pop
Returnerar den beräknade populationsvariationen
var_samp, variance
Returnerar den beräknade samplingsavvikelsen

Logiska operatorer och funktioner logical-operators

Operator/funktion
Beskrivning
! eller not
Logiskt inte
<
Mindre än
<=
Mindre än eller lika med
=
Lika med
>
Större än
>=
Större än eller lika med
^
Bitvis exklusiv eller
|
Bitvis eller
~
Bitvis inte
arrays_overlap
Returnerar gemensamma element
assert_true
Kontrollerar om uttrycket är sant
if
Om uttrycket utvärderas till true returnerar du det andra uttrycket. Annars returnerar du det tredje uttrycket.
ifnull
Om uttrycket är null returneras det andra uttrycket. Annars returneras det första uttrycket.
in
Returnerar true om det första uttrycket finns i något av de efterföljande uttrycken.
isnan
Returnerar true om värdet inte är ett tal
isnotnull
Returnerar true om värdet inte är null
isnull
Returnerar true om värdet är null
nanvl
Returnerar det första uttrycket om det inte är ett tal, returnerar annars det andra uttrycket
or
Logiskt eller
when
När kan användas för att skapa förgreningsvillkor för jämförelse
xpath_boolean
Returnerar true om XPath-uttrycket utvärderas till true eller om en matchande nod hittas

Datum-/tidsfunktioner datetime-functions

Funktion
Beskrivning
add_months
Lägg till månader till datum
date_add
Lägg till dagar till datum
date_format
Ändra datumformat
date_sub
Subtrahera dagar från datum
date_trunc
Returnerar det datum som trunkeras till den angivna enheten
datediff
Returnerar skillnaden mellan datum i dagar
day, dayofmonth
Returnerar dagen i månaden
dayofweek
Returnerar veckodag (1-7)
dayofyear
Returnerar dag på året
from_unixtime
Returnerar datum i UNIX®-tid
from_utc_timestamp
Returnerar datum i UTC-tid
hour
Returnerar timmen för indata
last_day
Returnerar den sista dagen i månaden som datumet tillhör
minute
Returnerar minuten för indata
month
Returnerar månaden för indata
months_between
Antal månader mellan
next_day
Returnerar den första dagen senare än indata
quarter
Returnerar inmatningens fjärdedel
second
Returnerar den andra strängen
to_date
Konverterar strängen till ett datum. Obs! Strängen måste ha formatet yyyy-mm-ddTHH24:MM:SS.
to_timestamp
Konverterar strängen till en tidsstämpel. Obs! Strängen måste ha formatet yyyy-mm-ddTHH24:MM:SS.
to_unix_timestamp
Konverterar strängen till en UNIX®-tidsstämpel
to_utc_timestamp
Konverterar strängen till en UTC-tidsstämpel
trunc
Trunkerar datumet
unix_timestamp
Returnerar tidsstämpeln för UNIX®
weekday
Veckodag (0-6)
weekofyear
Returnerar veckan på året för ett givet datum
year
Returnerar året för strängen

Arrayer arrays

Funktion
Beskrivning
array
Skapar en array med de angivna elementen
array_contains
Kontrollerar om matrisen innehåller värdet
array_distinct
Tar bort dubblettvärden från arrayen
array_except
Returnerar en array med elementen i den första arrayen, men inte den andra
array_intersect
Returnerar skärningspunkten för de två arrayerna
array_join
Sammanfogar två arrayer
array_max
Returnerar matrisens maxvärde
array_min
Returnerar det minsta värdet för arrayen
array_position
Returnerar elementets 1-baserade position
array_remove
Tar bort alla element som är lika med elementet
array_repeat
Skapar en array som innehåller det värde som räknas gånger
array_sort
Sorterar arrayen
array_union
Sammanfogar arrayen utan några dubbletter
arrays_zip
Kombinerar värdena för angivna arrayer med värdena för den ursprungliga samlingen vid ett givet index
cardinality
Returnera arrayens storlek
element_at
Returnera elementet vid positionen
explode
Separera element i en array i flera rader, exklusive null
explode_outer
Separera element i en array i flera rader, inklusive null
find_in_set
Returnerar arrayens 1-baserade position
flatten
Förenklar en array med arrayer
inline
Separat array med strukturer i en tabell, exklusive null
inline_outer
Separat array med strukturer i en tabell, inklusive null
posexplode
Separera element i en array i flera rader med positioner, exklusive null
reverse
Invertera elementen i arrayen
shuffle
Returnera en slumpmässig permutation av arrayen
slice
Delar en array
sort_array
Sortera en array, ange en ordning
zip_with
Sammanfogar de två arrayerna till en enda array innan en funktion används

Datatypsdatatypsbytefunktioner datatype-casting

Funktion
Beskrivning
bigint
Ändra datatypen till bigint
binary
Ändra datatypen till binär
boolean
Ändra datatypen till boolesk
type
Ändra datatypen till den angivna typen
date
Ändra datatypen till datum
decimal
Ändra datatypen till decimal
double
Ändra datatypen till dubbel
float
Ändra datatypen till flyttal
int
Ändra datatypen till int
smallint
Ändra datatypen till small
str_to_map
Skapa en karta från en sträng
string
Ändra datatypen till sträng
struct
Skapa en struktur
tinyint
Ändra datatypen till tinyint

Konverterings- och formateringsfunktioner conversion

Funktion
Beskrivning
ascii
Returnera det numeriska värdet (ASCII)
base64
Ändra argumentet till en base64-sträng
bin
Ändra argumentet till ett binärt värde
bit_length
Returnera bitlängden
char, chr
Returnera ASCII-tecknet
char_length, character_length
Returnera stränglängden
crc32
Returnerar det cykliska värdet för redundanskontrollen
degrees
Konvertera radianer till grader
format_number
Ändra talets format
from_json, get_json_object
Hämta data från JSON
hash
Returnera hash-värdet
hex
Konvertera argumentet till ett hexadecimalt värde
initcap
Ändrar strängen till att vara inledande versal
lcase, lower
Ändrar strängen till gemener
lpad
Knuffar den vänstra sidan av en sträng
map
Skapa en karta
map_from_arrays
Skapa en karta från en array
map_from_entries
Skapa en karta från en array med strukturer
md5
Returnera md5-värdet
rpad
Placerar höger sida i en sträng
rtrim
Tar bort avslutande blanksteg
sha, sha1
Returnera SHA1-värdet
sha2
Returnera SHA2-värdet
soundex
Returnera ljudindexkoden
stack
Dela upp värden i rader
substr, substring
Returnera delsträngen
to_json
Returnerar en JSON-sträng
translate
Ersätt värden i sträng
trim
Ta bort inledande och avslutande tecken
ucase, upper
Ändra strängen till versaler
unbase64
Konvertera base64-strängen till binär
unhex
Konvertera det hexadecimala till binära
uuid
Returnera ett UUID

Utvärdering av data data-evaluation

Funktion
Beskrivning
coalesce
Returnera det första icke-null-argumentet
collect_list
Returnera en lista med icke-unika element
collect_set
Returnera en uppsättning unika element
concat
Sammanfogning
concat_ws
Sammanfogning med avgränsare
count
Returnerar det totala antalet rader
decode
Avkoda med en teckenuppsättning
elt
Returnera nth-indata
encode
Koda med en teckenuppsättning
first, first_value
Returnerar det första värdet
grouping
Anger om en kolumn är grupperad
grouping_id
Returnerar grupperingsnivån
instr
Returnerar ett 1-baserat indexvärde för teckenförekomst
json_tuple
Returnerar en tuppel från en JSON-inmatning
lag, lead
Returnerar värdet före förskjutningen
last, last_value
Returnerar det sista värdet
left
Returnerar de första n tecknen
length
Returnerar strängens längd
levenshtein
Returnerar Levenshetin-avståndet mellan strängar
locate, position
Returnerar positionen för den första förekomsten av en delsträng
map_concat
Sammanfoga en karta
map_keys
Returnera knapparna för en karta
map_values
Returnera värden för en karta
ntile
Dela upp rader i partitioner
nullif
Returnerar null om true
nvl
Returnerar värdet om null
nvl2
Returnerar värdet om det inte är null
parse_url
Extraherar en del av en URL
rank
Beräknar rangordningen för ett värde
regexp_extract
Extraherar något som matchar regex
regex_replace
Ersätter något som matchar regex
repeat
Returnerar en sträng som upprepas
replace
Ersätta alla förekomster av en sträng
rollup
Skapa en flerdimensionell sammanslagning
row_number
Tilldelar ett unikt radnummer
schema_of_json
Returnerar schemat för JSON
sentences
Delar upp strängen i en array med ord
sequence
Genererar en array med element
shiftleft
Signerat bitvis skift åt vänster
shiftright
Signerat bitvis skift åt höger
shiftrightunsigned
Bitflyttning utan tecken höger
size
Returnera arrayens storlek
space
Returnera en sträng med n blanksteg
split
Delad sträng
substring_index
Returnera index för delsträng
window
Fönster
xpath
Tolka XML-noder
xpath_double, xpath_number
Tolka XML-noder för dubbla
xpath_float
Tolka XML-noder för flytande
xpath_int
Tolka XML-noder för heltal
xpath_long
Tolka långa XML-noder
xpath_short
Tolka XML-noder för kort heltal
xpath_string
Tolka XML-noder för sträng

Aktuell information current-information

Funktion
Beskrivning
current_database
Returnerar aktuell databas
current_date
Returnerar aktuellt datum
current_timestamp, now
Returnerar aktuell tidsstämpel

Funktioner för högre ordning higher-order

Funktion
Beskrivning
transform
Omforma element i en array
exists
Kontrollera om elementet finns
filter
Filtrera inmatningsarrayen
aggregate
Använda en binär operator för alla element
recommendation-more-help
ccf2b369-4031-483f-af63-a93b5ae5e3fb