Spark Funções SQL

O Adobe Experience Platform Query Service fornece várias funções Spark SQL incorporadas para estender a funcionalidade SQL. Este documento lista as funções do Spark SQL compatíveis com o Serviço de consulta.

Para obter informações mais detalhadas sobre as funções, incluindo sintaxe, uso e exemplos, leia a Documentação da função Spark SQL.

OBSERVAÇÃO

Nem todas as funções na documentação externa são compatíveis.

Operadores e funções matemáticos e estatísticos

Operador/Função Descrição
% Retorna o restante dos dois números
* Multiplica os dois números
+ Adiciona os dois números
- Subtrai os dois números
/ Divide os dois números
abs Retorna o valor absoluto da entrada
acos Retorna o valor inverso do cosseno
approx_count_distinct Retorna a cardinalidade estimada por HyperLogLog++
approx_percentile Retorna o valor do percentil aproximado na porcentagem especificada
asin Retorna o valor do seno inverso
atan Retorna o valor da tangente inversa
atan2 Retorna o ângulo entre o plano positivo do eixo x e os pontos fornecidos pelas coordenadas
avg Retorna o valor médio
cbrt Retorna a raiz do cubo
ceil ou ceiling Retorna o menor inteiro não maior que o valor inserido
conv Converter de uma base para outra
corr Retorna o coeficiente Pearson entre os números
cos Retorna o valor do cosseno
cosh Retorna o valor do cosseno hiperbólico
cot Retorna o valor cotangente
dense_rank Retorna a classificação de um valor em um grupo de valores
e Retorna o número de Euler
exp Retorna e à potência do valor
expm1 Retorna e à potência do valor menos 1
factorial Retorna o fatorial do valor
floor Retorna o maior inteiro não menor que o valor
greatest Retorna o maior valor de todos os parâmetros
hypot Retorna a hipotenusa dos dois valores fornecidos
kurtosis Retorna o valor de curtose do grupo
least Retorna o menor valor de todos os parâmetros
ln Retorna o logaritmo natural do valor
log Retorna o logaritmo do valor
log10 Retorna o logaritmo do valor na base 10
log1p Retorna o logaritmo do valor mais 1
log2 Retorna o logaritmo do valor na base 2
max Retorna o valor máximo da expressão
mean Retorna a média calculada dos valores
min Retorna o valor mínimo da expressão
monotonically_increasing_id Retorna IDs monotonicamente crescentes
negative Retorna o valor negado
percent_rank Retorna a classificação de porcentagem de um valor
percentile Retorna o percentil exato em uma determinada porcentagem
percentile_approx Retorna o percentil aproximado em uma determinada porcentagem
pi Retorna pi
pmod Retorna o módulo positivo entre dois valores
positive Retorna o saldo positivo
pow, power Retorna o primeiro valor à potência do segundo valor
radians Converte o valor em radianos
rand Retorna um número aleatório entre 0 e 1
randn Retorna um valor aleatório
rint Retorna o valor duplo mais próximo
round Retorna o valor arredondado mais próximo
sign, signum Retorna o sinal do número
sin Retorna o seno do valor
sinh Retorna o seno hiperbólico do valor
sqrt Retorna a raiz quadrada do valor
stddev Retorna o desvio padrão do valor
sttdev_pop Retorna o desvio padrão da população do valor
stddev_samp Retorna o desvio padrão de exemplo do valor
sum Retorna a soma dos valores
tan Retorna a tangente do valor
tanh Retorna a tangente hiperbólica do valor
var_pop Retorna a variação de população calculada
var_samp, variance Retorna a variação da amostra calculada

Operadores e funções lógicos

Operador/Função Descrição
! ou not Not lógico
< Menos que
<= Less than or equal to
= Equal to
> Greater than
>= Maior que ou igual a
^ Exclusivo ou bit a bit
| Ou bit a bit
~ Não em nível de bits
arrays_overlap Retorna os elementos comuns
assert_true Afirma se a expressão é verdadeira
if Se a expressão for avaliada como verdadeira, retorna a segunda expressão. Caso contrário, retorne a terceira expressão.
ifnull Se a expressão for nula, ela retornará a segunda expressão. Caso contrário, retornará a primeira expressão.
in Retorna verdadeiro se a primeira expressão estiver em qualquer uma das expressões subsequentes.
isnan Retorna verdadeiro se o valor não for um número
isnotnull Retorna verdadeiro se o valor não for nulo
isnull Retorna verdadeiro se o valor for nulo
nanvl Retorna a primeira expressão se não for um número; caso contrário, retorna a segunda expressão
or Ou lógico
when Quando o pode ser usado para criar condições de ramificação para comparação
xpath_boolean Retorna verdadeiro se a expressão XPath for avaliada como verdadeira ou se um nó correspondente for encontrado

Funções de data/hora

Função Descrição
add_months Adicionar meses à data
date_add Adicionar dias à data
date_format Modificar formato de data
date_sub Subtrair dias da data
date_trunc Retorna a data truncada na unidade especificada
datediff Retorna a diferença entre datas em dias
day, dayofmonth Retorna o dia do mês
dayofweek Retorna o dia da semana (1-7)
dayofyear Retorna o dia do ano
from_unixtime Retorna a data em hora Unix
from_utc_timestamp Retorna a data UTC
hour Retorna a hora da entrada
last_day Retorna o último dia do mês ao qual a data pertence
minute Retorna o minuto da entrada
month Retorna o mês da entrada
months_between Número de meses entre
next_day Retorna o primeiro dia após a entrada
quarter Retorna o trimestre da entrada
second Retorna o segundo da cadeira de caracteres
to_date Converte a cadeia de caracteres em uma data. Nota: A string deve estar no formato yyyy-mm-ddTHH24:MM:SS.
to_timestamp Converte a cadeia de caracteres em um carimbo de data e hora. Nota: A string deve estar no formato yyyy-mm-ddTHH24:MM:SS.
to_unix_timestamp Converte a cadeia de caracteres em um carimbo de data e hora Unix
to_utc_timestamp Converte a cadeia de caracteres em um carimbo de data e hora UTC
trunc Trunca a data
unix_timestamp Retorna o carimbo de data e hora Unix
weekday Dia da semana (0-6)
weekofyear Retorna a semana do ano de uma determinada data
year Retorna o ano da cadeira de caracteres

Matrizes

Função Descrição
array Cria uma matriz com os elementos fornecidos
array_contains Verifica se a matriz contém o valor
array_distinct Remove valores duplicados da matriz
array_except Retorna uma matriz dos elementos na primeira matriz, mas não na segunda
array_intersect Retorna a interseção das duas matrizes
array_join Une dois arrays
array_max Retorna o valor máximo da matriz
array_min Retorna o valor mínimo da matriz
array_position Retorna a posição do elemento com base em 1
array_remove Remove todos os elementos iguais ao elemento
array_repeat Cria uma matriz contendo o valor contado vezes
array_sort Classifica a matriz
array_union Une o array sem duplicatas
arrays_zip Combina os valores de matrizes fornecidas com os valores da coleção original em um determinado índice
cardinality Retorna o tamanho da matriz
element_at Retornar o elemento na posição
explode Separar elementos da matriz em várias linhas, excluindo nulos
explode_outer Separar elementos da matriz em várias linhas, incluindo nulo
find_in_set Retorna a posição de base 1 da matriz
flatten Nivela um conjunto de arrays
inline Separar a matriz de structs em uma tabela, excluindo null
inline_outer Separar a matriz de structs em uma tabela, incluindo null
posexplode Separar elementos da matriz em várias linhas com posições, excluindo valores nulos
reverse Inverter elementos da matriz
shuffle Retorna uma permutação aleatória da matriz
slice Subconjuntos de uma matriz
sort_array Classificar uma matriz, dada uma ordem
zip_with Mescla as duas matrizes em uma única matriz antes de aplicar uma função

Funções de conversão do tipo de dados

Função Descrição
bigint Alterar o tipo de dados para bigint
binary Alterar o tipo de dados para binário
boolean Alterar o tipo de dados para booleano
type Alterar o tipo de dados para o tipo especificado
date Alterar o tipo de dados para data
decimal Alterar o tipo de dados para decimal
double Alterar o tipo de dados para duplo
float Alterar o tipo de dados para flutuante
int Alterar o tipo de dados para int
smallint Alterar o tipo de dados para smallint
str_to_map Criar um mapa a partir de uma cadeia de caracteres
string Alterar o tipo de dados para cadeia de caracteres
struct Criar uma estrutura
tinyint Alterar o tipo de dados para tinyint

Funções de conversão e formatação

Função Descrição
ascii Retorna o valor numérico (ASCII)
base64 Altere o argumento para uma string base64
bin Alterar o argumento para um valor binário
bit_length Retornar o comprimento de bits
char, chr Retorna o caractere ASCII
char_length, character_length Retorna o tamanho da string
crc32 Retorna o valor de verificação de redundância cíclica
degrees Converter radianos em graus
format_number Alterar o formato do número
from_json, get_json_object Obter dados do JSON
hash Retornar o valor de hash
hex Converter o argumento em um valor hexadecimal
initcap Altera a string para letras maiúsculas e minúsculas
lcase, lower Altera a cadeia de caracteres para ficar totalmente em minúsculas
lpad Preenche o lado esquerdo de uma cadeira de caracteres
map Criar um mapa
map_from_arrays Criar um mapa a partir de uma matriz
map_from_entries Criar um mapa a partir de uma matriz de estruturas
md5 Retornar o valor md5
rpad Preenche o lado direito de uma cadeira de caracteres
rtrim Remove espaços à direita
sha, sha1 Retornar o valor SHA1
sha2 Retornar o valor SHA2
soundex Retornar o código soundex
stack Separar valores em linhas
substr, substring Retornar a subcadeia de caracteres
to_json Retorna uma string JSON
translate Substituir valores na cadeia de caracteres
trim Remover caracteres à esquerda e à direita
ucase, upper Alterar a cadeia de caracteres para ficar totalmente em maiúsculas
unbase64 Converter a sequência de caracteres base64 em binária
unhex Converter o hexadecimal em binário
uuid Retornar uma UUID

Avaliação de dados

Função Descrição
coalesce Retorna o primeiro argumento não nulo
collect_list Retornar uma lista de elementos não exclusivos
collect_set Retorna um conjunto de elementos únicos
concat Concatenação
concat_ws Concatenação com separador
count Retorna a contagem total de linhas
decode Decodificar usando um conjunto de caracteres
elt Retorne o na entrada
encode Codificar usando um conjunto de caracteres
first, first_value Retorna o primeiro valor
grouping Indica se uma coluna está agrupada
grouping_id Retorna o nível de agrupamento
instr Retorna um índice de ocorrência de caracteres com base em 1
json_tuple Retorna uma tupla de uma entrada JSON
lag, lead Retorna o valor antes do deslocamento
last, last_value Retorna o último valor
left Retorna o primeiro n caracteres
length Retorna o comprimento da cadeira de caracteres
levenshtein Retorna a distância de Levenshtein entre as cadeias de caracteres
locate, position Retorna a posição da primeira ocorrência de uma substring
map_concat Concatenar um mapa
map_keys Retornar as chaves de um mapa
map_values Retornar os valores de um mapa
ntile Dividir linhas em partições
nullif Retorna nulo se verdadeiro
nvl Retorna o valor se for nulo
nvl2 Retorna o valor se não for nulo
parse_url Extrai parte de um URL
rank Calcula a classificação de um valor
regexp_extract Extrai algo que corresponde ao regex
regex_replace Substitui algo que corresponde ao regex
repeat Retorna uma string que se repete
replace Substituir todas as instâncias de uma cadeia de caracteres
rollup Criar um rollup multidimensional
row_number Atribui um número de linha exclusivo
schema_of_json Retorna o esquema do JSON
sentences Divide a string em uma matriz de palavras
sequence Gera uma matriz de elementos
shiftleft Deslocamento bit a bit assinado para a esquerda
shiftright Deslocamento bit a bit assinado para a direita
shiftrightunsigned Deslocamento bit a bit sem sinal para a direita
size Retorna o tamanho da matriz
space Retornar uma string com n espaços
split Dividir string
substring_index Índice de retorno da substring
window Janela
xpath Analisar nós XML
xpath_double, xpath_number Analisar nós XML para duplo
xpath_float Analisar nós XML para flutuação
xpath_int Analisar nós XML para inteiro
xpath_long Analisar nós XML por muito tempo
xpath_short Analisar nós XML para inteiro curto
xpath_string Analisar nós XML para cadeia de caracteres

Informações atuais

Função Descrição
current_database Retorna o banco de dados atual
current_date Retorna a data atual
current_timestamp, now Retorna o carimbo de data e hora atual

Funções de ordem superior

Função Descrição
transform Transformar elementos em uma matriz
exists Verificar se o elemento existe
filter Filtrar a matriz de entrada
aggregate Aplicar um operador binário a todos os elementos

Nesta página