Spark funções SQL

Você pode usar várias funções Spark SQL incorporadas para estender a funcionalidade SQL com o Serviço de consulta da Adobe Experience Platform. Este documento lista as funções do Spark SQL compatíveis com o Serviço de consulta.

Para obter informações mais detalhadas sobre as funções, incluindo sintaxe, uso e exemplos, leia a documentação da função Spark SQL.

NOTE
Nem todas as funções na documentação externa são compatíveis.

Operadores e funções matemáticos e estatísticos math

Operador/Função
Descrição
%
Retorna o restante dos dois números
*
Multiplica os dois números
+
Adiciona os dois números
-
Subtrai os dois números
/
Divide os dois números
abs
Retorna o valor absoluto da entrada
acos
Retorna o valor inverso do cosseno
approx_count_distinct
Retorna a cardinalidade estimada por HyperLogLog++
approx_percentile
Retorna o valor do percentil aproximado na porcentagem especificada
asin
Retorna o valor do seno inverso
atan
Retorna o valor da tangente inversa
atan2
Retorna o ângulo entre o plano positivo do eixo x e os pontos fornecidos pelas coordenadas
avg
Retorna o valor médio
cbrt
Retorna a raiz do cubo
ceil ou ceiling
Retorna o menor inteiro não maior que o valor inserido
conv
Converter de uma base para outra
corr
Retorna o coeficiente Pearson entre os números
cos
Retorna o valor do cosseno
cosh
Retorna o valor do cosseno hiperbólico
cot
Retorna o valor cotangente
dense_rank
Retorna a classificação de um valor em um grupo de valores
e
Retorna o número de Euler
exp
Retorna e à potência do valor
expm1
Retorna e à potência do valor menos 1
factorial
Retorna o fatorial do valor
floor
Retorna o maior inteiro não menor que o valor
greatest
Retorna o maior valor de todos os parâmetros
hypot
Retorna a hipotenusa dos dois valores fornecidos
kurtosis
Retorna o valor de curtose do grupo
least
Retorna o menor valor de todos os parâmetros
ln
Retorna o logaritmo natural do valor
log
Retorna o logaritmo do valor
log10
Retorna o logaritmo do valor na base 10
log1p
Retorna o logaritmo do valor mais 1
log2
Retorna o logaritmo do valor na base 2
max
Retorna o valor máximo da expressão
mean
Retorna a média calculada dos valores
min
Retorna o valor mínimo da expressão
monotonically_increasing_id
Retorna IDs monotonicamente crescentes
negative
Retorna o valor negado
percent_rank
Retorna a classificação de porcentagem de um valor
percentile
Retorna o percentil exato em uma determinada porcentagem
percentile_approx
Retorna o percentil aproximado em uma determinada porcentagem
pi
Retorna pi
pmod
Retorna o módulo positivo entre dois valores
positive
Retorna o valor positivo
pow, power
Retorna o primeiro valor à potência do segundo valor
radians
Converte o valor em radianos
rand
Retorna um número aleatório de 0 a 1
randn
Retorna um valor aleatório
rint
Retorna o valor duplo mais próximo
round
Retorna o valor arredondado mais próximo
sign, signum
Retorna o sinal do número
sin
Retorna o seno do valor
sinh
Retorna o seno hiperbólico do valor
sqrt
Retorna a raiz quadrada do valor
stddev
Retorna o desvio padrão do valor
sttdev_pop
Retorna o desvio padrão da população do valor
stddev_samp
Retorna o desvio padrão de exemplo do valor
sum
Retorna a soma dos valores
tan
Retorna a tangente do valor
tanh
Retorna a tangente hiperbólica do valor
var_pop
Retorna a variação de população calculada
var_samp, variance
Retorna a variação da amostra calculada

Operadores e funções lógicos logical-operators

Operador/Função
Descrição
! ou not
Not lógico
<
Menor que
<=
Menor que ou igual a
=
Igual a
>
Maior que
>=
Maior que ou igual a
^
Exclusivo ou bit a bit
|
Ou bit a bit
~
Não em nível de bits
arrays_overlap
Retorna os elementos comuns
assert_true
Afirma se a expressão é verdadeira
if
Se a expressão for avaliada como verdadeira, retorna a segunda expressão. Caso contrário, retorne a terceira expressão.
ifnull
Se a expressão for nula, ela retornará a segunda expressão. Caso contrário, retornará a primeira expressão.
in
Retorna verdadeiro se a primeira expressão estiver em qualquer uma das expressões subsequentes.
isnan
Retorna verdadeiro se o valor não for um número
isnotnull
Retorna verdadeiro se o valor não for nulo
isnull
Retorna verdadeiro se o valor for nulo
nanvl
Retorna a primeira expressão se não for um número; caso contrário, retorna a segunda expressão
or
Ou lógico
when
Quando o pode ser usado para criar condições de ramificação para comparação
xpath_boolean
Retorna verdadeiro se a expressão XPath for avaliada como verdadeira ou se um nó correspondente for encontrado

Funções de data/hora datetime-functions

Função
Descrição
add_months
Adicionar meses à data
date_add
Adicionar dias à data
date_format
Modificar formato de data
date_sub
Subtrair dias da data
date_trunc
Retorna a data truncada na unidade especificada
datediff
Retorna a diferença entre datas em dias
day, dayofmonth
Retorna o dia do mês
dayofweek
Retorna o dia da semana (1-7)
dayofyear
Retorna o dia do ano
from_unixtime
Retorna a data no horário UNIX®
from_utc_timestamp
Retorna a data UTC
hour
Retorna a hora da entrada
last_day
Retorna o último dia do mês ao qual a data pertence
minute
Retorna o minuto da entrada
month
Retorna o mês da entrada
months_between
Número de meses entre
next_day
Retorna o primeiro dia após a entrada
quarter
Retorna o trimestre da entrada
second
Retorna o segundo da cadeira de caracteres
to_date
Converte a cadeia de caracteres em uma data. Observação: a cadeia de caracteres deve estar no formato yyyy-mm-ddTHH24:MM:SS.
to_timestamp
Converte a cadeia de caracteres em um carimbo de data e hora. Observação: a cadeia de caracteres deve estar no formato yyyy-mm-ddTHH24:MM:SS.
to_unix_timestamp
Converte a string em um carimbo de data e hora UNIX®
to_utc_timestamp
Converte a cadeia de caracteres em um carimbo de data e hora UTC
trunc
Trunca a data
unix_timestamp
Retorna o carimbo de data e hora UNIX®
weekday
Dia da semana (0-6)
weekofyear
Retorna a semana do ano de uma determinada data
year
Retorna o ano da cadeira de caracteres

Matrizes arrays

Função
Descrição
array
Cria uma matriz com os elementos fornecidos
array_contains
Verifica se a matriz contém o valor
array_distinct
Remove valores duplicados da matriz
array_except
Retorna uma matriz dos elementos na primeira matriz, mas não na segunda
array_intersect
Retorna a interseção das duas matrizes
array_join
Une dois arrays
array_max
Retorna o valor máximo da matriz
array_min
Retorna o valor mínimo da matriz
array_position
Retorna a posição do elemento com base em 1
array_remove
Remove todos os elementos iguais ao elemento
array_repeat
Cria uma matriz contendo o valor contado vezes
array_sort
Classifica a matriz
array_union
Une o array sem duplicatas
arrays_zip
Combina os valores de matrizes fornecidas com os valores da coleção original em um determinado índice
cardinality
Retorna o tamanho da matriz
element_at
Retornar o elemento na posição
explode
Separar elementos da matriz em várias linhas, excluindo nulos
explode_outer
Separar elementos da matriz em várias linhas, incluindo nulo
find_in_set
Retorna a posição de base 1 da matriz
flatten
Nivela um conjunto de arrays
inline
Separar a matriz de structs em uma tabela, excluindo null
inline_outer
Separar a matriz de structs em uma tabela, incluindo null
posexplode
Separar elementos de uma matriz em várias linhas com posições, excluindo valores nulos
reverse
Inverter elementos da matriz
shuffle
Retorna uma permutação aleatória da matriz
slice
Subconjuntos de uma matriz
sort_array
Classificar uma matriz, dada uma ordem
zip_with
Mescla as duas matrizes em uma única matriz antes de aplicar uma função

Funções de conversão do tipo de dados datatype-casting

Função
Descrição
bigint
Alterar o tipo de dados para bigint
binary
Alterar o tipo de dados para binário
boolean
Alterar o tipo de dados para booleano
type
Alterar o tipo de dados para o tipo especificado
date
Alterar o tipo de dados para data
decimal
Alterar o tipo de dados para decimal
double
Alterar o tipo de dados para duplo
float
Alterar o tipo de dados para flutuante
int
Alterar o tipo de dados para int
smallint
Alterar o tipo de dados para smallint
str_to_map
Criar um mapa a partir de uma cadeia de caracteres
string
Alterar o tipo de dados para cadeia de caracteres
struct
Criar uma estrutura
tinyint
Alterar o tipo de dados para tinyint

Funções de conversão e formatação conversion

Função
Descrição
ascii
Retorna o valor numérico (ASCII)
base64
Altere o argumento para uma string base64
bin
Alterar o argumento para um valor binário
bit_length
Retornar o comprimento de bits
char, chr
Retorna o caractere ASCII
char_length, character_length
Retorna o tamanho da string
crc32
Retorna o valor de verificação de redundância cíclica
degrees
Converter radianos em graus
format_number
Alterar o formato do número
from_json, get_json_object
Obter dados do JSON
hash
Retornar o valor de hash
hex
Converter o argumento em um valor hexadecimal
initcap
Altera a string para letras maiúsculas e minúsculas
lcase, lower
Altera a cadeia de caracteres para ficar totalmente em minúsculas
lpad
Preenche o lado esquerdo de uma cadeira de caracteres
map
Criar um mapa
map_from_arrays
Criar um mapa a partir de uma matriz
map_from_entries
Criar um mapa a partir de uma matriz de estruturas
md5
Retornar o valor md5
rpad
Preenche o lado direito de uma cadeira de caracteres
rtrim
Remove espaços à direita
sha, sha1
Retornar o valor SHA1
sha2
Retornar o valor SHA2
soundex
Retornar o código soundex
stack
Separar valores em linhas
substr, substring
Retornar a subcadeia de caracteres
to_json
Retorna uma string JSON
translate
Substituir valores na cadeia de caracteres
trim
Remover caracteres à esquerda e à direita
ucase, upper
Alterar a cadeia de caracteres para ficar totalmente em maiúsculas
unbase64
Converter a sequência de caracteres base64 em binária
unhex
Converter o hexadecimal em binário
uuid
Retornar uma UUID

Avaliação de dados data-evaluation

Função
Descrição
coalesce
Retorna o primeiro argumento não nulo
collect_list
Retornar uma lista de elementos não exclusivos
collect_set
Retorna um conjunto de elementos únicos
concat
Concatenação
concat_ws
Concatenação com separador
count
Retorna a contagem total de linhas
decode
Decodificar usando um conjunto de caracteres
elt
Retornar a nª entrada
encode
Codificar usando um conjunto de caracteres
first, first_value
Retorna o primeiro valor
grouping
Indica se uma coluna está agrupada
grouping_id
Retorna o nível de agrupamento
instr
Retorna um índice de ocorrência de caracteres com base em 1
json_tuple
Retorna uma tupla de uma entrada JSON
lag, lead
Retorna o valor antes do deslocamento
last, last_value
Retorna o último valor
left
Retorna os primeiros n caracteres
length
Retorna o comprimento da cadeira de caracteres
levenshtein
Retorna a distância de Levenshtein entre as cadeias de caracteres
locate, position
Retorna a posição da primeira ocorrência de uma substring
map_concat
Concatenar um mapa
map_keys
Retornar as chaves de um mapa
map_values
Retornar os valores de um mapa
ntile
Dividir linhas em partições
nullif
Retorna nulo se verdadeiro
nvl
Retorna o valor se for nulo
nvl2
Retorna o valor se não for nulo
parse_url
Extrai parte de um URL
rank
Calcula a classificação de um valor
regexp_extract
Extrai algo que corresponde ao regex
regex_replace
Substitui algo que corresponde ao regex
repeat
Retorna uma string que se repete
replace
Substituir todas as instâncias de uma cadeia de caracteres
rollup
Criar um rollup multidimensional
row_number
Atribui um número de linha exclusivo
schema_of_json
Retorna o esquema do JSON
sentences
Divide a string em uma matriz de palavras
sequence
Gera uma matriz de elementos
shiftleft
Deslocamento bit a bit assinado para a esquerda
shiftright
Deslocamento bit a bit assinado para a direita
shiftrightunsigned
Deslocamento bit a bit sem sinal para a direita
size
Retorna o tamanho da matriz
space
Retornar uma cadeia de caracteres com n espaços
split
Dividir string
substring_index
Índice de retorno da substring
window
Janela
xpath
Analisar nós XML
xpath_double, xpath_number
Analisar nós XML para duplo
xpath_float
Analisar nós XML para flutuação
xpath_int
Analisar nós XML para inteiro
xpath_long
Analisar nós XML por muito tempo
xpath_short
Analisar nós XML para inteiro curto
xpath_string
Analisar nós XML para cadeia de caracteres

Informações atuais current-information

Função
Descrição
current_database
Retorna o banco de dados atual
current_date
Retorna a data atual
current_timestamp, now
Retorna o carimbo de data e hora atual

Funções de ordem superior higher-order

Função
Descrição
transform
Transformar elementos em uma matriz
exists
Verificar se o elemento existe
filter
Filtrar a matriz de entrada
aggregate
Aplicar um operador binário a todos os elementos
recommendation-more-help
ccf2b369-4031-483f-af63-a93b5ae5e3fb