Documentação Experience Platform Guia do Serviço de consulta

Spark funções SQL

Última atualização: 16 de julho de 2024

Tópicos:

Criado para:

Usuário
Desenvolvedor

Você pode usar várias funções Spark SQL incorporadas para estender a funcionalidade SQL com o Serviço de consulta da Adobe Experience Platform. Este documento lista as funções do Spark SQL compatíveis com o Serviço de consulta.

Para obter informações mais detalhadas sobre as funções, incluindo sintaxe, uso e exemplos, leia a documentação da função Spark SQL.

NOTE

Nem todas as funções na documentação externa são compatíveis.

Operadores e funções matemáticos e estatísticos

Operador/Função	Descrição
`%`	Retorna o restante dos dois números
`*`	Multiplica os dois números
`+`	Adiciona os dois números
`-`	Subtrai os dois números
`/`	Divide os dois números
`abs`	Retorna o valor absoluto da entrada
`acos`	Retorna o valor inverso do cosseno
`approx_count_distinct`	Retorna a cardinalidade estimada por HyperLogLog++
`approx_percentile`	Retorna o valor do percentil aproximado na porcentagem especificada
`asin`	Retorna o valor do seno inverso
`atan`	Retorna o valor da tangente inversa
`atan2`	Retorna o ângulo entre o plano positivo do eixo x e os pontos fornecidos pelas coordenadas
`avg`	Retorna o valor médio
`cbrt`	Retorna a raiz do cubo
`ceil` ou `ceiling`	Retorna o menor inteiro não maior que o valor inserido
`conv`	Converter de uma base para outra
`corr`	Retorna o coeficiente Pearson entre os números
`cos`	Retorna o valor do cosseno
`cosh`	Retorna o valor do cosseno hiperbólico
`cot`	Retorna o valor cotangente
`dense_rank`	Retorna a classificação de um valor em um grupo de valores
`e`	Retorna o número de Euler
`exp`	Retorna e à potência do valor
`expm1`	Retorna e à potência do valor menos 1
`factorial`	Retorna o fatorial do valor
`floor`	Retorna o maior inteiro não menor que o valor
`greatest`	Retorna o maior valor de todos os parâmetros
`hypot`	Retorna a hipotenusa dos dois valores fornecidos
`kurtosis`	Retorna o valor de curtose do grupo
`least`	Retorna o menor valor de todos os parâmetros
`ln`	Retorna o logaritmo natural do valor
`log`	Retorna o logaritmo do valor
`log10`	Retorna o logaritmo do valor na base 10
`log1p`	Retorna o logaritmo do valor mais 1
`log2`	Retorna o logaritmo do valor na base 2
`max`	Retorna o valor máximo da expressão
`mean`	Retorna a média calculada dos valores
`min`	Retorna o valor mínimo da expressão
`monotonically_increasing_id`	Retorna IDs monotonicamente crescentes
`negative`	Retorna o valor negado
`percent_rank`	Retorna a classificação de porcentagem de um valor
`percentile`	Retorna o percentil exato em uma determinada porcentagem
`percentile_approx`	Retorna o percentil aproximado em uma determinada porcentagem
`pi`	Retorna pi
`pmod`	Retorna o módulo positivo entre dois valores
`positive`	Retorna o valor positivo
`pow`, `power`	Retorna o primeiro valor à potência do segundo valor
`radians`	Converte o valor em radianos
`rand`	Retorna um número aleatório de 0 a 1
`randn`	Retorna um valor aleatório
`rint`	Retorna o valor duplo mais próximo
`round`	Retorna o valor arredondado mais próximo
`sign`, `signum`	Retorna o sinal do número
`sin`	Retorna o seno do valor
`sinh`	Retorna o seno hiperbólico do valor
`sqrt`	Retorna a raiz quadrada do valor
`stddev`	Retorna o desvio padrão do valor
`sttdev_pop`	Retorna o desvio padrão da população do valor
`stddev_samp`	Retorna o desvio padrão de exemplo do valor
`sum`	Retorna a soma dos valores
`tan`	Retorna a tangente do valor
`tanh`	Retorna a tangente hiperbólica do valor
`var_pop`	Retorna a variação de população calculada
`var_samp`, `variance`	Retorna a variação da amostra calculada

Operadores e funções lógicos

Operador/Função	Descrição
`!` ou `not`	Not lógico
`<`	Menor que
`<=`	Menor que ou igual a
`=`	Igual a
`>`	Maior que
`>=`	Maior que ou igual a
`^`	Exclusivo ou bit a bit
`\|`	Ou bit a bit
`~`	Não em nível de bits
`arrays_overlap`	Retorna os elementos comuns
`assert_true`	Afirma se a expressão é verdadeira
`if`	Se a expressão for avaliada como verdadeira, retorna a segunda expressão. Caso contrário, retorne a terceira expressão.
`ifnull`	Se a expressão for nula, ela retornará a segunda expressão. Caso contrário, retornará a primeira expressão.
`in`	Retorna verdadeiro se a primeira expressão estiver em qualquer uma das expressões subsequentes.
`isnan`	Retorna verdadeiro se o valor não for um número
`isnotnull`	Retorna verdadeiro se o valor não for nulo
`isnull`	Retorna verdadeiro se o valor for nulo
`nanvl`	Retorna a primeira expressão se não for um número; caso contrário, retorna a segunda expressão
`or`	Ou lógico
`when`	Quando o pode ser usado para criar condições de ramificação para comparação
`xpath_boolean`	Retorna verdadeiro se a expressão XPath for avaliada como verdadeira ou se um nó correspondente for encontrado

Funções de data/hora

Função	Descrição
`add_months`	Adicionar meses à data
`date_add`	Adicionar dias à data
`date_format`	Modificar formato de data
`date_sub`	Subtrair dias da data
`date_trunc`	Retorna a data truncada na unidade especificada
`datediff`	Retorna a diferença entre datas em dias
`day`, `dayofmonth`	Retorna o dia do mês
`dayofweek`	Retorna o dia da semana (1-7)
`dayofyear`	Retorna o dia do ano
`from_unixtime`	Retorna a data no horário UNIX®
`from_utc_timestamp`	Retorna a data UTC
`hour`	Retorna a hora da entrada
`last_day`	Retorna o último dia do mês ao qual a data pertence
`minute`	Retorna o minuto da entrada
`month`	Retorna o mês da entrada
`months_between`	Número de meses entre
`next_day`	Retorna o primeiro dia após a entrada
`quarter`	Retorna o trimestre da entrada
`second`	Retorna o segundo da cadeira de caracteres
`to_date`	Converte a cadeia de caracteres em uma data. Observação: a cadeia de caracteres deve estar no formato `yyyy-mm-ddTHH24:MM:SS`.
`to_timestamp`	Converte a cadeia de caracteres em um carimbo de data e hora. Observação: a cadeia de caracteres deve estar no formato `yyyy-mm-ddTHH24:MM:SS`.
`to_unix_timestamp`	Converte a string em um carimbo de data e hora UNIX®
`to_utc_timestamp`	Converte a cadeia de caracteres em um carimbo de data e hora UTC
`trunc`	Trunca a data
`unix_timestamp`	Retorna o carimbo de data e hora UNIX®
`weekday`	Dia da semana (0-6)
`weekofyear`	Retorna a semana do ano de uma determinada data
`year`	Retorna o ano da cadeira de caracteres

Matrizes

Função	Descrição
`array`	Cria uma matriz com os elementos fornecidos
`array_contains`	Verifica se a matriz contém o valor
`array_distinct`	Remove valores duplicados da matriz
`array_except`	Retorna uma matriz dos elementos na primeira matriz, mas não na segunda
`array_intersect`	Retorna a interseção das duas matrizes
`array_join`	Une dois arrays
`array_max`	Retorna o valor máximo da matriz
`array_min`	Retorna o valor mínimo da matriz
`array_position`	Retorna a posição do elemento com base em 1
`array_remove`	Remove todos os elementos iguais ao elemento
`array_repeat`	Cria uma matriz contendo o valor contado vezes
`array_sort`	Classifica a matriz
`array_union`	Une o array sem duplicatas
`arrays_zip`	Combina os valores de matrizes fornecidas com os valores da coleção original em um determinado índice
`cardinality`	Retorna o tamanho da matriz
`element_at`	Retornar o elemento na posição
`explode`	Separar elementos da matriz em várias linhas, excluindo nulos
`explode_outer`	Separar elementos da matriz em várias linhas, incluindo nulo
`find_in_set`	Retorna a posição de base 1 da matriz
`flatten`	Nivela um conjunto de arrays
`inline`	Separar a matriz de structs em uma tabela, excluindo null
`inline_outer`	Separar a matriz de structs em uma tabela, incluindo null
`posexplode`	Separar elementos de uma matriz em várias linhas com posições, excluindo valores nulos
`reverse`	Inverter elementos da matriz
`shuffle`	Retorna uma permutação aleatória da matriz
`slice`	Subconjuntos de uma matriz
`sort_array`	Classificar uma matriz, dada uma ordem
`zip_with`	Mescla as duas matrizes em uma única matriz antes de aplicar uma função

Funções de conversão do tipo de dados

Função	Descrição
`bigint`	Alterar o tipo de dados para bigint
`binary`	Alterar o tipo de dados para binário
`boolean`	Alterar o tipo de dados para booleano
`type`	Alterar o tipo de dados para o tipo especificado
`date`	Alterar o tipo de dados para data
`decimal`	Alterar o tipo de dados para decimal
`double`	Alterar o tipo de dados para duplo
`float`	Alterar o tipo de dados para flutuante
`int`	Alterar o tipo de dados para int
`smallint`	Alterar o tipo de dados para smallint
`str_to_map`	Criar um mapa a partir de uma cadeia de caracteres
`string`	Alterar o tipo de dados para cadeia de caracteres
`struct`	Criar uma estrutura
`tinyint`	Alterar o tipo de dados para tinyint

Funções de conversão e formatação

Função

Descrição

ascii

Retorna o valor numérico (ASCII)

base64

Altere o argumento para uma string base64

bin

Alterar o argumento para um valor binário

bit_length

Retornar o comprimento de bits

char, chr

Retorna o caractere ASCII

char_length, character_length

Retorna o tamanho da string

crc32

Retorna o valor de verificação de redundância cíclica

degrees

Converter radianos em graus

format_number

Alterar o formato do número

from_json, get_json_object

Obter dados do JSON

hash

Retornar o valor de hash

hex

Converter o argumento em um valor hexadecimal

initcap

Altera a string para letras maiúsculas e minúsculas

lcase, lower

Altera a cadeia de caracteres para ficar totalmente em minúsculas

lpad

Preenche o lado esquerdo de uma cadeira de caracteres

map

Criar um mapa

map_from_arrays

Criar um mapa a partir de uma matriz

map_from_entries

Criar um mapa a partir de uma matriz de estruturas

md5

Retornar o valor md5

rpad

Preenche o lado direito de uma cadeira de caracteres

rtrim

Remove espaços à direita

sha, sha1

Retornar o valor SHA1

sha2

Retornar o valor SHA2

soundex

Retornar o código soundex

stack

Separar valores em linhas

substr, substring

Retornar a subcadeia de caracteres

to_json

Retorna uma string JSON

translate

Substituir valores na cadeia de caracteres

trim

Remover caracteres à esquerda e à direita

ucase, upper

Alterar a cadeia de caracteres para ficar totalmente em maiúsculas

unbase64

Converter a sequência de caracteres base64 em binária

unhex

Converter o hexadecimal em binário

uuid

Retornar uma UUID

Avaliação de dados

Função

Descrição

coalesce

Retorna o primeiro argumento não nulo

collect_list

Retornar uma lista de elementos não exclusivos

collect_set

Retorna um conjunto de elementos únicos

concat

Concatenação

concat_ws

Concatenação com separador

count

Retorna a contagem total de linhas

decode

Decodificar usando um conjunto de caracteres

elt

Retornar a nª entrada

encode

Codificar usando um conjunto de caracteres

first, first_value

Retorna o primeiro valor

grouping

Indica se uma coluna está agrupada

grouping_id

Retorna o nível de agrupamento

instr

Retorna um índice de ocorrência de caracteres com base em 1

json_tuple

Retorna uma tupla de uma entrada JSON

lag, lead

Retorna o valor antes do deslocamento

last, last_value

Retorna o último valor

left

Retorna os primeiros n caracteres

length

Retorna o comprimento da cadeira de caracteres

levenshtein

Retorna a distância de Levenshtein entre as cadeias de caracteres

locate, position

Retorna a posição da primeira ocorrência de uma substring

map_concat

Concatenar um mapa

map_keys

Retornar as chaves de um mapa

map_values

Retornar os valores de um mapa

ntile

Dividir linhas em partições

nullif

Retorna nulo se verdadeiro

nvl

Retorna o valor se for nulo

nvl2

Retorna o valor se não for nulo

parse_url

Extrai parte de um URL

rank

Calcula a classificação de um valor

regexp_extract

Extrai algo que corresponde ao regex

regex_replace

Substitui algo que corresponde ao regex

repeat

Retorna uma string que se repete

replace

Substituir todas as instâncias de uma cadeia de caracteres

rollup

Criar um rollup multidimensional

row_number

Atribui um número de linha exclusivo

schema_of_json

Retorna o esquema do JSON

sentences

Divide a string em uma matriz de palavras

sequence

Gera uma matriz de elementos

shiftleft

Deslocamento bit a bit assinado para a esquerda

shiftright

Deslocamento bit a bit assinado para a direita

shiftrightunsigned

Deslocamento bit a bit sem sinal para a direita

size

Retorna o tamanho da matriz

space

Retornar uma cadeia de caracteres com n espaços

split

Dividir string

substring_index

Índice de retorno da substring

window

Janela

xpath

Analisar nós XML

xpath_double, xpath_number

Analisar nós XML para duplo

xpath_float

Analisar nós XML para flutuação

xpath_int

Analisar nós XML para inteiro

xpath_long

Analisar nós XML por muito tempo

xpath_short

Analisar nós XML para inteiro curto

xpath_string

Analisar nós XML para cadeia de caracteres

Informações atuais

Função

Descrição

current_database

Retorna o banco de dados atual

current_date

Retorna a data atual

current_timestamp, now

Retorna o carimbo de data e hora atual

Funções de ordem superior

Função

Descrição

transform

Transformar elementos em uma matriz

exists

Verificar se o elemento existe

filter

Filtrar a matriz de entrada

aggregate

Aplicar um operador binário a todos os elementos

recommendation-more-help