Spark funções SQL
Você pode usar várias funções Spark SQL incorporadas para estender a funcionalidade SQL com o Serviço de consulta da Adobe Experience Platform. Este documento lista as funções do Spark SQL compatíveis com o Serviço de consulta.
Para obter informações mais detalhadas sobre as funções, incluindo sintaxe, uso e exemplos, leia a documentação da função Spark SQL.
NOTENem todas as funções na documentação externa são compatíveis.
Operadores e funções matemáticos e estatísticos
| Operador/Função | Descrição |
|---|---|
% | Retorna o restante dos dois números |
* | Multiplica os dois números |
+ | Adiciona os dois números |
- | Subtrai os dois números |
/ | Divide os dois números |
abs | Retorna o valor absoluto da entrada |
acos | Retorna o valor inverso do cosseno |
approx_count_distinct | Retorna a cardinalidade estimada por HyperLogLog++ |
approx_percentile | Retorna o valor do percentil aproximado na porcentagem especificada |
asin | Retorna o valor do seno inverso |
atan | Retorna o valor da tangente inversa |
atan2 | Retorna o ângulo entre o plano positivo do eixo x e os pontos fornecidos pelas coordenadas |
avg | Retorna o valor médio |
cbrt | Retorna a raiz do cubo |
ceil ou ceiling | Retorna o menor inteiro não maior que o valor inserido |
conv | Converter de uma base para outra |
corr | Retorna o coeficiente Pearson entre os números |
cos | Retorna o valor do cosseno |
cosh | Retorna o valor do cosseno hiperbólico |
cot | Retorna o valor cotangente |
dense_rank | Retorna a classificação de um valor em um grupo de valores |
e | Retorna o número de Euler |
exp | Retorna e à potência do valor |
expm1 | Retorna e à potência do valor menos 1 |
factorial | Retorna o fatorial do valor |
floor | Retorna o maior inteiro não menor que o valor |
greatest | Retorna o maior valor de todos os parâmetros |
hypot | Retorna a hipotenusa dos dois valores fornecidos |
kurtosis | Retorna o valor de curtose do grupo |
least | Retorna o menor valor de todos os parâmetros |
ln | Retorna o logaritmo natural do valor |
log | Retorna o logaritmo do valor |
log10 | Retorna o logaritmo do valor na base 10 |
log1p | Retorna o logaritmo do valor mais 1 |
log2 | Retorna o logaritmo do valor na base 2 |
max | Retorna o valor máximo da expressão |
mean | Retorna a média calculada dos valores |
min | Retorna o valor mínimo da expressão |
monotonically_increasing_id | Retorna IDs monotonicamente crescentes |
negative | Retorna o valor negado |
percent_rank | Retorna a classificação de porcentagem de um valor |
percentile | Retorna o percentil exato em uma determinada porcentagem |
percentile_approx | Retorna o percentil aproximado em uma determinada porcentagem |
pi | Retorna pi |
pmod | Retorna o módulo positivo entre dois valores |
positive | Retorna o valor positivo |
pow, power | Retorna o primeiro valor à potência do segundo valor |
radians | Converte o valor em radianos |
rand | Retorna um número aleatório de 0 a 1 |
randn | Retorna um valor aleatório |
rint | Retorna o valor duplo mais próximo |
round | Retorna o valor arredondado mais próximo |
sign, signum | Retorna o sinal do número |
sin | Retorna o seno do valor |
sinh | Retorna o seno hiperbólico do valor |
sqrt | Retorna a raiz quadrada do valor |
stddev | Retorna o desvio padrão do valor |
sttdev_pop | Retorna o desvio padrão da população do valor |
stddev_samp | Retorna o desvio padrão de exemplo do valor |
sum | Retorna a soma dos valores |
tan | Retorna a tangente do valor |
tanh | Retorna a tangente hiperbólica do valor |
var_pop | Retorna a variação de população calculada |
var_samp, variance | Retorna a variação da amostra calculada |
Operadores e funções lógicos
| Operador/Função | Descrição |
|---|---|
! ou not | Not lógico |
< | Menor que |
<= | Menor que ou igual a |
= | Igual a |
> | Maior que |
>= | Maior que ou igual a |
^ | Exclusivo ou bit a bit |
| | Ou bit a bit |
~ | Não em nível de bits |
arrays_overlap | Retorna os elementos comuns |
assert_true | Afirma se a expressão é verdadeira |
if | Se a expressão for avaliada como verdadeira, retorna a segunda expressão. Caso contrário, retorne a terceira expressão. |
ifnull | Se a expressão for nula, ela retornará a segunda expressão. Caso contrário, retornará a primeira expressão. |
in | Retorna verdadeiro se a primeira expressão estiver em qualquer uma das expressões subsequentes. |
isnan | Retorna verdadeiro se o valor não for um número |
isnotnull | Retorna verdadeiro se o valor não for nulo |
isnull | Retorna verdadeiro se o valor for nulo |
nanvl | Retorna a primeira expressão se não for um número; caso contrário, retorna a segunda expressão |
or | Ou lógico |
when | Quando o pode ser usado para criar condições de ramificação para comparação |
xpath_boolean | Retorna verdadeiro se a expressão XPath for avaliada como verdadeira ou se um nó correspondente for encontrado |
Funções de data/hora
| Função | Descrição |
|---|---|
add_months | Adicionar meses à data |
date_add | Adicionar dias à data |
date_format | Modificar formato de data |
date_sub | Subtrair dias da data |
date_trunc | Retorna a data truncada na unidade especificada |
datediff | Retorna a diferença entre datas em dias |
day, dayofmonth | Retorna o dia do mês |
dayofweek | Retorna o dia da semana (1-7) |
dayofyear | Retorna o dia do ano |
from_unixtime | Retorna a data no horário UNIX® |
from_utc_timestamp | Retorna a data UTC |
hour | Retorna a hora da entrada |
last_day | Retorna o último dia do mês ao qual a data pertence |
minute | Retorna o minuto da entrada |
month | Retorna o mês da entrada |
months_between | Número de meses entre |
next_day | Retorna o primeiro dia após a entrada |
quarter | Retorna o trimestre da entrada |
second | Retorna o segundo da cadeira de caracteres |
to_date | Converte a cadeia de caracteres em uma data. Observação: a cadeia de caracteres deve estar no formato yyyy-mm-ddTHH24:MM:SS. |
to_timestamp | Converte a cadeia de caracteres em um carimbo de data e hora. Observação: a cadeia de caracteres deve estar no formato yyyy-mm-ddTHH24:MM:SS. |
to_unix_timestamp | Converte a string em um carimbo de data e hora UNIX® |
to_utc_timestamp | Converte a cadeia de caracteres em um carimbo de data e hora UTC |
trunc | Trunca a data |
unix_timestamp | Retorna o carimbo de data e hora UNIX® |
weekday | Dia da semana (0-6) |
weekofyear | Retorna a semana do ano de uma determinada data |
year | Retorna o ano da cadeira de caracteres |
Matrizes
| Função | Descrição |
|---|---|
array | Cria uma matriz com os elementos fornecidos |
array_contains | Verifica se a matriz contém o valor |
array_distinct | Remove valores duplicados da matriz |
array_except | Retorna uma matriz dos elementos na primeira matriz, mas não na segunda |
array_intersect | Retorna a interseção das duas matrizes |
array_join | Une dois arrays |
array_max | Retorna o valor máximo da matriz |
array_min | Retorna o valor mínimo da matriz |
array_position | Retorna a posição do elemento com base em 1 |
array_remove | Remove todos os elementos iguais ao elemento |
array_repeat | Cria uma matriz contendo o valor contado vezes |
array_sort | Classifica a matriz |
array_union | Une o array sem duplicatas |
arrays_zip | Combina os valores de matrizes fornecidas com os valores da coleção original em um determinado índice |
cardinality | Retorna o tamanho da matriz |
element_at | Retornar o elemento na posição |
explode | Separar elementos da matriz em várias linhas, excluindo nulos |
explode_outer | Separar elementos da matriz em várias linhas, incluindo nulo |
find_in_set | Retorna a posição de base 1 da matriz |
flatten | Nivela um conjunto de arrays |
inline | Separar a matriz de structs em uma tabela, excluindo null |
inline_outer | Separar a matriz de structs em uma tabela, incluindo null |
posexplode | Separar elementos de uma matriz em várias linhas com posições, excluindo valores nulos |
reverse | Inverter elementos da matriz |
shuffle | Retorna uma permutação aleatória da matriz |
slice | Subconjuntos de uma matriz |
sort_array | Classificar uma matriz, dada uma ordem |
zip_with | Mescla as duas matrizes em uma única matriz antes de aplicar uma função |
Funções de conversão do tipo de dados
| Função | Descrição |
|---|---|
bigint | Alterar o tipo de dados para bigint |
binary | Alterar o tipo de dados para binário |
boolean | Alterar o tipo de dados para booleano |
type | Alterar o tipo de dados para o tipo especificado |
date | Alterar o tipo de dados para data |
decimal | Alterar o tipo de dados para decimal |
double | Alterar o tipo de dados para duplo |
float | Alterar o tipo de dados para flutuante |
int | Alterar o tipo de dados para int |
smallint | Alterar o tipo de dados para smallint |
str_to_map | Criar um mapa a partir de uma cadeia de caracteres |
string | Alterar o tipo de dados para cadeia de caracteres |
struct | Criar uma estrutura |
tinyint | Alterar o tipo de dados para tinyint |
Funções de conversão e formatação
| Função | Descrição |
|---|---|
ascii | Retorna o valor numérico (ASCII) |
base64 | Altere o argumento para uma string base64 |
bin | Alterar o argumento para um valor binário |
bit_length | Retornar o comprimento de bits |
char, chr | Retorna o caractere ASCII |
char_length, character_length | Retorna o tamanho da string |
crc32 | Retorna o valor de verificação de redundância cíclica |
degrees | Converter radianos em graus |
format_number | Alterar o formato do número |
from_json, get_json_object | Obter dados do JSON |
hash | Retornar o valor de hash |
hex | Converter o argumento em um valor hexadecimal |
initcap | Altera a string para letras maiúsculas e minúsculas |
lcase, lower | Altera a cadeia de caracteres para ficar totalmente em minúsculas |
lpad | Preenche o lado esquerdo de uma cadeira de caracteres |
map | Criar um mapa |
map_from_arrays | Criar um mapa a partir de uma matriz |
map_from_entries | Criar um mapa a partir de uma matriz de estruturas |
md5 | Retornar o valor md5 |
rpad | Preenche o lado direito de uma cadeira de caracteres |
rtrim | Remove espaços à direita |
sha, sha1 | Retornar o valor SHA1 |
sha2 | Retornar o valor SHA2 |
soundex | Retornar o código soundex |
stack | Separar valores em linhas |
substr, substring | Retornar a subcadeia de caracteres |
to_json | Retorna uma string JSON |
translate | Substituir valores na cadeia de caracteres |
trim | Remover caracteres à esquerda e à direita |
ucase, upper | Alterar a cadeia de caracteres para ficar totalmente em maiúsculas |
unbase64 | Converter a sequência de caracteres base64 em binária |
unhex | Converter o hexadecimal em binário |
uuid | Retornar uma UUID |
Avaliação de dados
| Função | Descrição |
|---|---|
coalesce | Retorna o primeiro argumento não nulo |
collect_list | Retornar uma lista de elementos não exclusivos |
collect_set | Retorna um conjunto de elementos únicos |
concat | Concatenação |
concat_ws | Concatenação com separador |
count | Retorna a contagem total de linhas |
decode | Decodificar usando um conjunto de caracteres |
elt | Retornar a nª entrada |
encode | Codificar usando um conjunto de caracteres |
first, first_value | Retorna o primeiro valor |
grouping | Indica se uma coluna está agrupada |
grouping_id | Retorna o nível de agrupamento |
instr | Retorna um índice de ocorrência de caracteres com base em 1 |
json_tuple | Retorna uma tupla de uma entrada JSON |
lag, lead | Retorna o valor antes do deslocamento |
last, last_value | Retorna o último valor |
left | Retorna os primeiros n caracteres |
length | Retorna o comprimento da cadeira de caracteres |
levenshtein | Retorna a distância de Levenshtein entre as cadeias de caracteres |
locate, position | Retorna a posição da primeira ocorrência de uma substring |
map_concat | Concatenar um mapa |
map_keys | Retornar as chaves de um mapa |
map_values | Retornar os valores de um mapa |
ntile | Dividir linhas em partições |
nullif | Retorna nulo se verdadeiro |
nvl | Retorna o valor se for nulo |
nvl2 | Retorna o valor se não for nulo |
parse_url | Extrai parte de um URL |
rank | Calcula a classificação de um valor |
regexp_extract | Extrai algo que corresponde ao regex |
regex_replace | Substitui algo que corresponde ao regex |
repeat | Retorna uma string que se repete |
replace | Substituir todas as instâncias de uma cadeia de caracteres |
rollup | Criar um rollup multidimensional |
row_number | Atribui um número de linha exclusivo |
schema_of_json | Retorna o esquema do JSON |
sentences | Divide a string em uma matriz de palavras |
sequence | Gera uma matriz de elementos |
shiftleft | Deslocamento bit a bit assinado para a esquerda |
shiftright | Deslocamento bit a bit assinado para a direita |
shiftrightunsigned | Deslocamento bit a bit sem sinal para a direita |
size | Retorna o tamanho da matriz |
space | Retornar uma cadeia de caracteres com n espaços |
split | Dividir string |
substring_index | Índice de retorno da substring |
window | Janela |
xpath | Analisar nós XML |
xpath_double, xpath_number | Analisar nós XML para duplo |
xpath_float | Analisar nós XML para flutuação |
xpath_int | Analisar nós XML para inteiro |
xpath_long | Analisar nós XML por muito tempo |
xpath_short | Analisar nós XML para inteiro curto |
xpath_string | Analisar nós XML para cadeia de caracteres |