O Adobe Experience Platform Query Service fornece várias funções Spark SQL incorporadas para estender a funcionalidade SQL. Este documento lista as funções do Spark SQL compatíveis com o Serviço de consulta.
Para obter informações mais detalhadas sobre as funções, incluindo sintaxe, uso e exemplos, leia a Documentação da função Spark SQL.
Nem todas as funções na documentação externa são compatíveis.
Operador/Função | Descrição |
---|---|
% |
Retorna o restante dos dois números |
* |
Multiplica os dois números |
+ |
Adiciona os dois números |
- |
Subtrai os dois números |
/ |
Divide os dois números |
abs |
Retorna o valor absoluto da entrada |
acos |
Retorna o valor inverso do cosseno |
approx_count_distinct |
Retorna a cardinalidade estimada por HyperLogLog++ |
approx_percentile |
Retorna o valor do percentil aproximado na porcentagem especificada |
asin |
Retorna o valor do seno inverso |
atan |
Retorna o valor da tangente inversa |
atan2 |
Retorna o ângulo entre o plano positivo do eixo x e os pontos fornecidos pelas coordenadas |
avg |
Retorna o valor médio |
cbrt |
Retorna a raiz do cubo |
ceil ou ceiling |
Retorna o menor inteiro não maior que o valor inserido |
conv |
Converter de uma base para outra |
corr |
Retorna o coeficiente Pearson entre os números |
cos |
Retorna o valor do cosseno |
cosh |
Retorna o valor do cosseno hiperbólico |
cot |
Retorna o valor cotangente |
dense_rank |
Retorna a classificação de um valor em um grupo de valores |
e |
Retorna o número de Euler |
exp |
Retorna e à potência do valor |
expm1 |
Retorna e à potência do valor menos 1 |
factorial |
Retorna o fatorial do valor |
floor |
Retorna o maior inteiro não menor que o valor |
greatest |
Retorna o maior valor de todos os parâmetros |
hypot |
Retorna a hipotenusa dos dois valores fornecidos |
kurtosis |
Retorna o valor de curtose do grupo |
least |
Retorna o menor valor de todos os parâmetros |
ln |
Retorna o logaritmo natural do valor |
log |
Retorna o logaritmo do valor |
log10 |
Retorna o logaritmo do valor na base 10 |
log1p |
Retorna o logaritmo do valor mais 1 |
log2 |
Retorna o logaritmo do valor na base 2 |
max |
Retorna o valor máximo da expressão |
mean |
Retorna a média calculada dos valores |
min |
Retorna o valor mínimo da expressão |
monotonically_increasing_id |
Retorna IDs monotonicamente crescentes |
negative |
Retorna o valor negado |
percent_rank |
Retorna a classificação de porcentagem de um valor |
percentile |
Retorna o percentil exato em uma determinada porcentagem |
percentile_approx |
Retorna o percentil aproximado em uma determinada porcentagem |
pi |
Retorna pi |
pmod |
Retorna o módulo positivo entre dois valores |
positive |
Retorna o saldo positivo |
pow , power |
Retorna o primeiro valor à potência do segundo valor |
radians |
Converte o valor em radianos |
rand |
Retorna um número aleatório entre 0 e 1 |
randn |
Retorna um valor aleatório |
rint |
Retorna o valor duplo mais próximo |
round |
Retorna o valor arredondado mais próximo |
sign , signum |
Retorna o sinal do número |
sin |
Retorna o seno do valor |
sinh |
Retorna o seno hiperbólico do valor |
sqrt |
Retorna a raiz quadrada do valor |
stddev |
Retorna o desvio padrão do valor |
sttdev_pop |
Retorna o desvio padrão da população do valor |
stddev_samp |
Retorna o desvio padrão de exemplo do valor |
sum |
Retorna a soma dos valores |
tan |
Retorna a tangente do valor |
tanh |
Retorna a tangente hiperbólica do valor |
var_pop |
Retorna a variação de população calculada |
var_samp , variance |
Retorna a variação da amostra calculada |
Operador/Função | Descrição |
---|---|
! ou not |
Not lógico |
< |
Menos que |
<= |
Less than or equal to |
= |
Equal to |
> |
Greater than |
>= |
Maior que ou igual a |
^ |
Exclusivo ou bit a bit |
| |
Ou bit a bit |
~ |
Não em nível de bits |
arrays_overlap |
Retorna os elementos comuns |
assert_true |
Afirma se a expressão é verdadeira |
if |
Se a expressão for avaliada como verdadeira, retorna a segunda expressão. Caso contrário, retorne a terceira expressão. |
ifnull |
Se a expressão for nula, ela retornará a segunda expressão. Caso contrário, retornará a primeira expressão. |
in |
Retorna verdadeiro se a primeira expressão estiver em qualquer uma das expressões subsequentes. |
isnan |
Retorna verdadeiro se o valor não for um número |
isnotnull |
Retorna verdadeiro se o valor não for nulo |
isnull |
Retorna verdadeiro se o valor for nulo |
nanvl |
Retorna a primeira expressão se não for um número; caso contrário, retorna a segunda expressão |
or |
Ou lógico |
when |
Quando o pode ser usado para criar condições de ramificação para comparação |
xpath_boolean |
Retorna verdadeiro se a expressão XPath for avaliada como verdadeira ou se um nó correspondente for encontrado |
Função | Descrição |
---|---|
add_months |
Adicionar meses à data |
date_add |
Adicionar dias à data |
date_format |
Modificar formato de data |
date_sub |
Subtrair dias da data |
date_trunc |
Retorna a data truncada na unidade especificada |
datediff |
Retorna a diferença entre datas em dias |
day , dayofmonth |
Retorna o dia do mês |
dayofweek |
Retorna o dia da semana (1-7) |
dayofyear |
Retorna o dia do ano |
from_unixtime |
Retorna a data em hora Unix |
from_utc_timestamp |
Retorna a data UTC |
hour |
Retorna a hora da entrada |
last_day |
Retorna o último dia do mês ao qual a data pertence |
minute |
Retorna o minuto da entrada |
month |
Retorna o mês da entrada |
months_between |
Número de meses entre |
next_day |
Retorna o primeiro dia após a entrada |
quarter |
Retorna o trimestre da entrada |
second |
Retorna o segundo da cadeira de caracteres |
to_date |
Converte a cadeia de caracteres em uma data. Nota: A string deve estar no formato yyyy-mm-ddTHH24:MM:SS . |
to_timestamp |
Converte a cadeia de caracteres em um carimbo de data e hora. Nota: A string deve estar no formato yyyy-mm-ddTHH24:MM:SS . |
to_unix_timestamp |
Converte a cadeia de caracteres em um carimbo de data e hora Unix |
to_utc_timestamp |
Converte a cadeia de caracteres em um carimbo de data e hora UTC |
trunc |
Trunca a data |
unix_timestamp |
Retorna o carimbo de data e hora Unix |
weekday |
Dia da semana (0-6) |
weekofyear |
Retorna a semana do ano de uma determinada data |
year |
Retorna o ano da cadeira de caracteres |
Função | Descrição |
---|---|
array |
Cria uma matriz com os elementos fornecidos |
array_contains |
Verifica se a matriz contém o valor |
array_distinct |
Remove valores duplicados da matriz |
array_except |
Retorna uma matriz dos elementos na primeira matriz, mas não na segunda |
array_intersect |
Retorna a interseção das duas matrizes |
array_join |
Une dois arrays |
array_max |
Retorna o valor máximo da matriz |
array_min |
Retorna o valor mínimo da matriz |
array_position |
Retorna a posição do elemento com base em 1 |
array_remove |
Remove todos os elementos iguais ao elemento |
array_repeat |
Cria uma matriz contendo o valor contado vezes |
array_sort |
Classifica a matriz |
array_union |
Une o array sem duplicatas |
arrays_zip |
Combina os valores de matrizes fornecidas com os valores da coleção original em um determinado índice |
cardinality |
Retorna o tamanho da matriz |
element_at |
Retornar o elemento na posição |
explode |
Separar elementos da matriz em várias linhas, excluindo nulos |
explode_outer |
Separar elementos da matriz em várias linhas, incluindo nulo |
find_in_set |
Retorna a posição de base 1 da matriz |
flatten |
Nivela um conjunto de arrays |
inline |
Separar a matriz de structs em uma tabela, excluindo null |
inline_outer |
Separar a matriz de structs em uma tabela, incluindo null |
posexplode |
Separar elementos da matriz em várias linhas com posições, excluindo valores nulos |
reverse |
Inverter elementos da matriz |
shuffle |
Retorna uma permutação aleatória da matriz |
slice |
Subconjuntos de uma matriz |
sort_array |
Classificar uma matriz, dada uma ordem |
zip_with |
Mescla as duas matrizes em uma única matriz antes de aplicar uma função |
Função | Descrição |
---|---|
bigint |
Alterar o tipo de dados para bigint |
binary |
Alterar o tipo de dados para binário |
boolean |
Alterar o tipo de dados para booleano |
type |
Alterar o tipo de dados para o tipo especificado |
date |
Alterar o tipo de dados para data |
decimal |
Alterar o tipo de dados para decimal |
double |
Alterar o tipo de dados para duplo |
float |
Alterar o tipo de dados para flutuante |
int |
Alterar o tipo de dados para int |
smallint |
Alterar o tipo de dados para smallint |
str_to_map |
Criar um mapa a partir de uma cadeia de caracteres |
string |
Alterar o tipo de dados para cadeia de caracteres |
struct |
Criar uma estrutura |
tinyint |
Alterar o tipo de dados para tinyint |
Função | Descrição |
---|---|
ascii |
Retorna o valor numérico (ASCII) |
base64 |
Altere o argumento para uma string base64 |
bin |
Alterar o argumento para um valor binário |
bit_length |
Retornar o comprimento de bits |
char , chr |
Retorna o caractere ASCII |
char_length , character_length |
Retorna o tamanho da string |
crc32 |
Retorna o valor de verificação de redundância cíclica |
degrees |
Converter radianos em graus |
format_number |
Alterar o formato do número |
from_json , get_json_object |
Obter dados do JSON |
hash |
Retornar o valor de hash |
hex |
Converter o argumento em um valor hexadecimal |
initcap |
Altera a string para letras maiúsculas e minúsculas |
lcase , lower |
Altera a cadeia de caracteres para ficar totalmente em minúsculas |
lpad |
Preenche o lado esquerdo de uma cadeira de caracteres |
map |
Criar um mapa |
map_from_arrays |
Criar um mapa a partir de uma matriz |
map_from_entries |
Criar um mapa a partir de uma matriz de estruturas |
md5 |
Retornar o valor md5 |
rpad |
Preenche o lado direito de uma cadeira de caracteres |
rtrim |
Remove espaços à direita |
sha , sha1 |
Retornar o valor SHA1 |
sha2 |
Retornar o valor SHA2 |
soundex |
Retornar o código soundex |
stack |
Separar valores em linhas |
substr , substring |
Retornar a subcadeia de caracteres |
to_json |
Retorna uma string JSON |
translate |
Substituir valores na cadeia de caracteres |
trim |
Remover caracteres à esquerda e à direita |
ucase , upper |
Alterar a cadeia de caracteres para ficar totalmente em maiúsculas |
unbase64 |
Converter a sequência de caracteres base64 em binária |
unhex |
Converter o hexadecimal em binário |
uuid |
Retornar uma UUID |
Função | Descrição |
---|---|
coalesce |
Retorna o primeiro argumento não nulo |
collect_list |
Retornar uma lista de elementos não exclusivos |
collect_set |
Retorna um conjunto de elementos únicos |
concat |
Concatenação |
concat_ws |
Concatenação com separador |
count |
Retorna a contagem total de linhas |
decode |
Decodificar usando um conjunto de caracteres |
elt |
Retorne o n a entrada |
encode |
Codificar usando um conjunto de caracteres |
first , first_value |
Retorna o primeiro valor |
grouping |
Indica se uma coluna está agrupada |
grouping_id |
Retorna o nível de agrupamento |
instr |
Retorna um índice de ocorrência de caracteres com base em 1 |
json_tuple |
Retorna uma tupla de uma entrada JSON |
lag , lead |
Retorna o valor antes do deslocamento |
last , last_value |
Retorna o último valor |
left |
Retorna o primeiro n caracteres |
length |
Retorna o comprimento da cadeira de caracteres |
levenshtein |
Retorna a distância de Levenshtein entre as cadeias de caracteres |
locate , position |
Retorna a posição da primeira ocorrência de uma substring |
map_concat |
Concatenar um mapa |
map_keys |
Retornar as chaves de um mapa |
map_values |
Retornar os valores de um mapa |
ntile |
Dividir linhas em partições |
nullif |
Retorna nulo se verdadeiro |
nvl |
Retorna o valor se for nulo |
nvl2 |
Retorna o valor se não for nulo |
parse_url |
Extrai parte de um URL |
rank |
Calcula a classificação de um valor |
regexp_extract |
Extrai algo que corresponde ao regex |
regex_replace |
Substitui algo que corresponde ao regex |
repeat |
Retorna uma string que se repete |
replace |
Substituir todas as instâncias de uma cadeia de caracteres |
rollup |
Criar um rollup multidimensional |
row_number |
Atribui um número de linha exclusivo |
schema_of_json |
Retorna o esquema do JSON |
sentences |
Divide a string em uma matriz de palavras |
sequence |
Gera uma matriz de elementos |
shiftleft |
Deslocamento bit a bit assinado para a esquerda |
shiftright |
Deslocamento bit a bit assinado para a direita |
shiftrightunsigned |
Deslocamento bit a bit sem sinal para a direita |
size |
Retorna o tamanho da matriz |
space |
Retornar uma string com n espaços |
split |
Dividir string |
substring_index |
Índice de retorno da substring |
window |
Janela |
xpath |
Analisar nós XML |
xpath_double , xpath_number |
Analisar nós XML para duplo |
xpath_float |
Analisar nós XML para flutuação |
xpath_int |
Analisar nós XML para inteiro |
xpath_long |
Analisar nós XML por muito tempo |
xpath_short |
Analisar nós XML para inteiro curto |
xpath_string |
Analisar nós XML para cadeia de caracteres |
Função | Descrição |
---|---|
current_database |
Retorna o banco de dados atual |
current_date |
Retorna a data atual |
current_timestamp , now |
Retorna o carimbo de data e hora atual |
Função | Descrição |
---|---|
transform |
Transformar elementos em uma matriz |
exists |
Verificar se o elemento existe |
filter |
Filtrar a matriz de entrada |
aggregate |
Aplicar um operador binário a todos os elementos |