Spark Funções SQL

O Adobe Experience Platform Query Service fornece várias funções Spark SQL incorporadas para estender a funcionalidade SQL. Este documento lista as funções do Spark SQL compatíveis com o Serviço de consulta.

Para obter informações mais detalhadas sobre as funções, incluindo sintaxe, uso e exemplos, leia a Documentação da função Spark SQL.

OBSERVAÇÃO

Nem todas as funções na documentação externa são compatíveis.

Operadores e funções matemáticos e estatísticos

Operador/Função	Descrição
`%`	Retorna o restante dos dois números
`*`	Multiplica os dois números
`+`	Adiciona os dois números
`-`	Subtrai os dois números
`/`	Divide os dois números
`abs`	Retorna o valor absoluto da entrada
`acos`	Retorna o valor inverso do cosseno
`approx_count_distinct`	Retorna a cardinalidade estimada por HyperLogLog++
`approx_percentile`	Retorna o valor do percentil aproximado na porcentagem especificada
`asin`	Retorna o valor do seno inverso
`atan`	Retorna o valor da tangente inversa
`atan2`	Retorna o ângulo entre o plano positivo do eixo x e os pontos fornecidos pelas coordenadas
`avg`	Retorna o valor médio
`cbrt`	Retorna a raiz do cubo
`ceil` ou `ceiling`	Retorna o menor inteiro não maior que o valor inserido
`conv`	Converter de uma base para outra
`corr`	Retorna o coeficiente Pearson entre os números
`cos`	Retorna o valor do cosseno
`cosh`	Retorna o valor do cosseno hiperbólico
`cot`	Retorna o valor cotangente
`dense_rank`	Retorna a classificação de um valor em um grupo de valores
`e`	Retorna o número de Euler
`exp`	Retorna e à potência do valor
`expm1`	Retorna e à potência do valor menos 1
`factorial`	Retorna o fatorial do valor
`floor`	Retorna o maior inteiro não menor que o valor
`greatest`	Retorna o maior valor de todos os parâmetros
`hypot`	Retorna a hipotenusa dos dois valores fornecidos
`kurtosis`	Retorna o valor de curtose do grupo
`least`	Retorna o menor valor de todos os parâmetros
`ln`	Retorna o logaritmo natural do valor
`log`	Retorna o logaritmo do valor
`log10`	Retorna o logaritmo do valor na base 10
`log1p`	Retorna o logaritmo do valor mais 1
`log2`	Retorna o logaritmo do valor na base 2
`max`	Retorna o valor máximo da expressão
`mean`	Retorna a média calculada dos valores
`min`	Retorna o valor mínimo da expressão
`monotonically_increasing_id`	Retorna IDs monotonicamente crescentes
`negative`	Retorna o valor negado
`percent_rank`	Retorna a classificação de porcentagem de um valor
`percentile`	Retorna o percentil exato em uma determinada porcentagem
`percentile_approx`	Retorna o percentil aproximado em uma determinada porcentagem
`pi`	Retorna pi
`pmod`	Retorna o módulo positivo entre dois valores
`positive`	Retorna o saldo positivo
`pow`, `power`	Retorna o primeiro valor à potência do segundo valor
`radians`	Converte o valor em radianos
`rand`	Retorna um número aleatório entre 0 e 1
`randn`	Retorna um valor aleatório
`rint`	Retorna o valor duplo mais próximo
`round`	Retorna o valor arredondado mais próximo
`sign`, `signum`	Retorna o sinal do número
`sin`	Retorna o seno do valor
`sinh`	Retorna o seno hiperbólico do valor
`sqrt`	Retorna a raiz quadrada do valor
`stddev`	Retorna o desvio padrão do valor
`sttdev_pop`	Retorna o desvio padrão da população do valor
`stddev_samp`	Retorna o desvio padrão de exemplo do valor
`sum`	Retorna a soma dos valores
`tan`	Retorna a tangente do valor
`tanh`	Retorna a tangente hiperbólica do valor
`var_pop`	Retorna a variação de população calculada
`var_samp`, `variance`	Retorna a variação da amostra calculada

Operadores e funções lógicos

Operador/Função	Descrição
`!` ou `not`	Not lógico
`<`	Menos que
`<=`	Less than or equal to
`=`	Equal to
`>`	Greater than
`>=`	Maior que ou igual a
`^`	Exclusivo ou bit a bit
`\|`	Ou bit a bit
`~`	Não em nível de bits
`arrays_overlap`	Retorna os elementos comuns
`assert_true`	Afirma se a expressão é verdadeira
`if`	Se a expressão for avaliada como verdadeira, retorna a segunda expressão. Caso contrário, retorne a terceira expressão.
`ifnull`	Se a expressão for nula, ela retornará a segunda expressão. Caso contrário, retornará a primeira expressão.
`in`	Retorna verdadeiro se a primeira expressão estiver em qualquer uma das expressões subsequentes.
`isnan`	Retorna verdadeiro se o valor não for um número
`isnotnull`	Retorna verdadeiro se o valor não for nulo
`isnull`	Retorna verdadeiro se o valor for nulo
`nanvl`	Retorna a primeira expressão se não for um número; caso contrário, retorna a segunda expressão
`or`	Ou lógico
`when`	Quando o pode ser usado para criar condições de ramificação para comparação
`xpath_boolean`	Retorna verdadeiro se a expressão XPath for avaliada como verdadeira ou se um nó correspondente for encontrado

Funções de data/hora

Função	Descrição
`add_months`	Adicionar meses à data
`date_add`	Adicionar dias à data
`date_format`	Modificar formato de data
`date_sub`	Subtrair dias da data
`date_trunc`	Retorna a data truncada na unidade especificada
`datediff`	Retorna a diferença entre datas em dias
`day`, `dayofmonth`	Retorna o dia do mês
`dayofweek`	Retorna o dia da semana (1-7)
`dayofyear`	Retorna o dia do ano
`from_unixtime`	Retorna a data em hora Unix
`from_utc_timestamp`	Retorna a data UTC
`hour`	Retorna a hora da entrada
`last_day`	Retorna o último dia do mês ao qual a data pertence
`minute`	Retorna o minuto da entrada
`month`	Retorna o mês da entrada
`months_between`	Número de meses entre
`next_day`	Retorna o primeiro dia após a entrada
`quarter`	Retorna o trimestre da entrada
`second`	Retorna o segundo da cadeira de caracteres
`to_date`	Converte a cadeia de caracteres em uma data. Nota: A string deve estar no formato `yyyy-mm-ddTHH24:MM:SS`.
`to_timestamp`	Converte a cadeia de caracteres em um carimbo de data e hora. Nota: A string deve estar no formato `yyyy-mm-ddTHH24:MM:SS`.
`to_unix_timestamp`	Converte a cadeia de caracteres em um carimbo de data e hora Unix
`to_utc_timestamp`	Converte a cadeia de caracteres em um carimbo de data e hora UTC
`trunc`	Trunca a data
`unix_timestamp`	Retorna o carimbo de data e hora Unix
`weekday`	Dia da semana (0-6)
`weekofyear`	Retorna a semana do ano de uma determinada data
`year`	Retorna o ano da cadeira de caracteres

Matrizes

Função	Descrição
`array`	Cria uma matriz com os elementos fornecidos
`array_contains`	Verifica se a matriz contém o valor
`array_distinct`	Remove valores duplicados da matriz
`array_except`	Retorna uma matriz dos elementos na primeira matriz, mas não na segunda
`array_intersect`	Retorna a interseção das duas matrizes
`array_join`	Une dois arrays
`array_max`	Retorna o valor máximo da matriz
`array_min`	Retorna o valor mínimo da matriz
`array_position`	Retorna a posição do elemento com base em 1
`array_remove`	Remove todos os elementos iguais ao elemento
`array_repeat`	Cria uma matriz contendo o valor contado vezes
`array_sort`	Classifica a matriz
`array_union`	Une o array sem duplicatas
`arrays_zip`	Combina os valores de matrizes fornecidas com os valores da coleção original em um determinado índice
`cardinality`	Retorna o tamanho da matriz
`element_at`	Retornar o elemento na posição
`explode`	Separar elementos da matriz em várias linhas, excluindo nulos
`explode_outer`	Separar elementos da matriz em várias linhas, incluindo nulo
`find_in_set`	Retorna a posição de base 1 da matriz
`flatten`	Nivela um conjunto de arrays
`inline`	Separar a matriz de structs em uma tabela, excluindo null
`inline_outer`	Separar a matriz de structs em uma tabela, incluindo null
`posexplode`	Separar elementos da matriz em várias linhas com posições, excluindo valores nulos
`reverse`	Inverter elementos da matriz
`shuffle`	Retorna uma permutação aleatória da matriz
`slice`	Subconjuntos de uma matriz
`sort_array`	Classificar uma matriz, dada uma ordem
`zip_with`	Mescla as duas matrizes em uma única matriz antes de aplicar uma função

Funções de conversão do tipo de dados

Função	Descrição
`bigint`	Alterar o tipo de dados para bigint
`binary`	Alterar o tipo de dados para binário
`boolean`	Alterar o tipo de dados para booleano
`type`	Alterar o tipo de dados para o tipo especificado
`date`	Alterar o tipo de dados para data
`decimal`	Alterar o tipo de dados para decimal
`double`	Alterar o tipo de dados para duplo
`float`	Alterar o tipo de dados para flutuante
`int`	Alterar o tipo de dados para int
`smallint`	Alterar o tipo de dados para smallint
`str_to_map`	Criar um mapa a partir de uma cadeia de caracteres
`string`	Alterar o tipo de dados para cadeia de caracteres
`struct`	Criar uma estrutura
`tinyint`	Alterar o tipo de dados para tinyint

Funções de conversão e formatação

Função	Descrição
`ascii`	Retorna o valor numérico (ASCII)
`base64`	Altere o argumento para uma string base64
`bin`	Alterar o argumento para um valor binário
`bit_length`	Retornar o comprimento de bits
`char`, `chr`	Retorna o caractere ASCII
`char_length`, `character_length`	Retorna o tamanho da string
`crc32`	Retorna o valor de verificação de redundância cíclica
`degrees`	Converter radianos em graus
`format_number`	Alterar o formato do número
`from_json`, `get_json_object`	Obter dados do JSON
`hash`	Retornar o valor de hash
`hex`	Converter o argumento em um valor hexadecimal
`initcap`	Altera a string para letras maiúsculas e minúsculas
`lcase`, `lower`	Altera a cadeia de caracteres para ficar totalmente em minúsculas
`lpad`	Preenche o lado esquerdo de uma cadeira de caracteres
`map`	Criar um mapa
`map_from_arrays`	Criar um mapa a partir de uma matriz
`map_from_entries`	Criar um mapa a partir de uma matriz de estruturas
`md5`	Retornar o valor md5
`rpad`	Preenche o lado direito de uma cadeira de caracteres
`rtrim`	Remove espaços à direita
`sha`, `sha1`	Retornar o valor SHA1
`sha2`	Retornar o valor SHA2
`soundex`	Retornar o código soundex
`stack`	Separar valores em linhas
`substr`, `substring`	Retornar a subcadeia de caracteres
`to_json`	Retorna uma string JSON
`translate`	Substituir valores na cadeia de caracteres
`trim`	Remover caracteres à esquerda e à direita
`ucase`, `upper`	Alterar a cadeia de caracteres para ficar totalmente em maiúsculas
`unbase64`	Converter a sequência de caracteres base64 em binária
`unhex`	Converter o hexadecimal em binário
`uuid`	Retornar uma UUID

Avaliação de dados

Função	Descrição
`coalesce`	Retorna o primeiro argumento não nulo
`collect_list`	Retornar uma lista de elementos não exclusivos
`collect_set`	Retorna um conjunto de elementos únicos
`concat`	Concatenação
`concat_ws`	Concatenação com separador
`count`	Retorna a contagem total de linhas
`decode`	Decodificar usando um conjunto de caracteres
`elt`	Retorne o `n`a entrada
`encode`	Codificar usando um conjunto de caracteres
`first`, `first_value`	Retorna o primeiro valor
`grouping`	Indica se uma coluna está agrupada
`grouping_id`	Retorna o nível de agrupamento
`instr`	Retorna um índice de ocorrência de caracteres com base em 1
`json_tuple`	Retorna uma tupla de uma entrada JSON
`lag`, `lead`	Retorna o valor antes do deslocamento
`last`, `last_value`	Retorna o último valor
`left`	Retorna o primeiro `n` caracteres
`length`	Retorna o comprimento da cadeira de caracteres
`levenshtein`	Retorna a distância de Levenshtein entre as cadeias de caracteres
`locate`, `position`	Retorna a posição da primeira ocorrência de uma substring
`map_concat`	Concatenar um mapa
`map_keys`	Retornar as chaves de um mapa
`map_values`	Retornar os valores de um mapa
`ntile`	Dividir linhas em partições
`nullif`	Retorna nulo se verdadeiro
`nvl`	Retorna o valor se for nulo
`nvl2`	Retorna o valor se não for nulo
`parse_url`	Extrai parte de um URL
`rank`	Calcula a classificação de um valor
`regexp_extract`	Extrai algo que corresponde ao regex
`regex_replace`	Substitui algo que corresponde ao regex
`repeat`	Retorna uma string que se repete
`replace`	Substituir todas as instâncias de uma cadeia de caracteres
`rollup`	Criar um rollup multidimensional
`row_number`	Atribui um número de linha exclusivo
`schema_of_json`	Retorna o esquema do JSON
`sentences`	Divide a string em uma matriz de palavras
`sequence`	Gera uma matriz de elementos
`shiftleft`	Deslocamento bit a bit assinado para a esquerda
`shiftright`	Deslocamento bit a bit assinado para a direita
`shiftrightunsigned`	Deslocamento bit a bit sem sinal para a direita
`size`	Retorna o tamanho da matriz
`space`	Retornar uma string com `n` espaços
`split`	Dividir string
`substring_index`	Índice de retorno da substring
`window`	Janela
`xpath`	Analisar nós XML
`xpath_double`, `xpath_number`	Analisar nós XML para duplo
`xpath_float`	Analisar nós XML para flutuação
`xpath_int`	Analisar nós XML para inteiro
`xpath_long`	Analisar nós XML por muito tempo
`xpath_short`	Analisar nós XML para inteiro curto
`xpath_string`	Analisar nós XML para cadeia de caracteres

Informações atuais

Função	Descrição
`current_database`	Retorna o banco de dados atual
`current_date`	Retorna a data atual
`current_timestamp`, `now`	Retorna o carimbo de data e hora atual

Funções de ordem superior

Função	Descrição
`transform`	Transformar elementos em uma matriz
`exists`	Verificar se o elemento existe
`filter`	Filtrar a matriz de entrada
`aggregate`	Aplicar um operador binário a todos os elementos