Spark Funciones SQL

El servicio de consulta de Adobe Experience Platform proporciona varias funciones SQL de Spark integradas para ampliar la funcionalidad SQL. Este documento enumera las funciones Spark SQL que admite Query Service.

Para obtener información más detallada sobre las funciones, incluida su sintaxis, uso y ejemplos, lea la documentación de la función Spark SQL.

NOTA

No todas las funciones de la documentación externa son compatibles.

Categorías

Operadores y funciones matemáticas y estadísticas

Operador/función Descripción
% Devuelve el resto de los dos números
* Multiplica los dos números
+ Agrega los dos números
- Resta los dos números
/ Divide los dos números
abs Devuelve el valor absoluto de la entrada
acos Devuelve el valor de coseno inverso
approx_count_distinct Devuelve la cardinalidad estimada por HyperLogLog++
approx_percentile Devuelve el valor del percentil aproximado en un porcentaje determinado
asin Devuelve el valor de seno inverso
atan Devuelve el valor de tangente inverso
atan2 Devuelve el ángulo entre el plano positivo del eje x y los puntos dados por las coordenadas
avg Devuelve el valor promedio
cbrt Devuelve la raíz del cubo
ceil O bien ceiling Devuelve el menor entero que no sea mayor que el valor introducido
conv Convertir de una base a otra
corr Devuelve el coeficiente de Pearson entre los números
cos Devuelve el valor de coseno
cosh Devuelve el valor de coseno hiperbólico
cot Devuelve el valor de cotangente
dense_rank Devuelve la clasificación de un valor en un grupo de valores
e Devuelve el número de Euler
exp Devuelve e a la potencia del valor
expm1 Devuelve e a la potencia del valor menos 1
factorial Devuelve el factorial del valor
floor Devuelve el mayor entero igual o menor que el valor
greatest Devuelve el valor mayor de todos los parámetros
hypot Devuelve la hipotensión de los dos valores dados
kurtosis Devuelve el valor de kurtosis del grupo
least Devuelve el menor valor de todos los parámetros
ln Devuelve el logaritmo natural del valor
log Devuelve el logaritmo del valor
log10 Devuelve el logaritmo, en base 10, del valor
log1p Devuelve el logaritmo del valor más 1
log2 Devuelve el logaritmo, en base 2, del valor
max Devuelve el valor máximo de la expresión
mean Devuelve la media calculada a partir de los valores
min Devuelve el valor mínimo de la expresión
monotonically_increasing_id Devuelve ID que aumentan monotónicamente
negative Devuelve el valor negado
percent_rank Devuelve la clasificación porcentual de un valor
percentile Devuelve el percentil exacto en un porcentaje determinado
percentile_approx Devuelve el percentil aproximado a un porcentaje determinado
pi Devuelve pi
pmod Devuelve el módulo positivo entre dos valores
positive Devuelve el valor positivo
pow, power Devuelve el primer valor a la potencia del segundo valor
radians Convierte el valor en radianes
rand Devuelve un número aleatorio entre 0 y 1
randn Devuelve un valor aleatorio
rint Devuelve el valor doble más cercano
round Devuelve el valor redondeado más cercano
sign, signum Devuelve el signo del número
sin Devuelve el seno del valor
sinh Devuelve el seno hiperbólico del valor
sqrt Devuelve la raíz cuadrada del valor
stddev Devuelve la desviación estándar del valor
sttdev_pop Devuelve la desviación estándar de la población del valor
stddev_samp Devuelve la desviación estándar de ejemplo del valor
sum Devuelve la suma de los valores
tan Devuelve una tangente del valor
tanh Devuelve una tangente hiperbólica del valor
var_pop Devuelve la varianza de población calculada
var_samp, variance Devuelve la variación de muestra calculada

Operadores lógicos y funciones

Operador/función Descripción
! O bien not No lógico
< Less than
<= Less than or equal to
= Equal to
> Greater than
>= Greater than or equal to
^ Exclusivo o en forma de bits o
>= Bueno que o igual a
[` `](https://spark.apache.org/docs/latest/api/sql/index.html#_15)
~ En el sentido de bits no
arrays_overlap Devuelve los elementos comunes
assert_true Asegura si la expresión es verdadera
if Si la expresión se evalúa como verdadera, devuelve la segunda expresión. De lo contrario, devuelve la tercera expresión.
ifnull Si la expresión es nula, devuelve la segunda expresión. De lo contrario, devuelve la primera expresión.
in Devuelve true si la primera expresión está en cualquiera de las expresiones posteriores.
isnan Devuelve verdadero si el valor no es un número
isnotnull Devuelve verdadero si el valor no es nulo
isnull Devuelve verdadero si el valor es nulo
nanvl Devuelve la primera expresión si no es un número, devuelve la segunda expresión en caso contrario
or Lógico o
when Cuándo se puede utilizar para crear condiciones de rama para la comparación
xpath_boolean Devuelve true si la expresión XPath se evalúa como true o si se encuentra un nodo coincidente

Funciones de fecha y hora

Función Descripción
add_months Agregar meses a la fecha
date_add Agregar días a la fecha
date_format Modificar el formato de fecha
date_sub Restar días desde fecha
date_trunc Devuelve la fecha truncada a la unidad especificada
datediff Devuelve la diferencia entre fechas en días
day, dayofmonth Devuelve el día del mes
dayofweek Devuelve el día de la semana (1-7)
dayofyear Devuelve el día del año
from_unixtime Devuelve la fecha en hora Unix
from_utc_timestamp Devuelve la fecha en hora UTC
hour Devuelve la hora de la entrada
last_day Devuelve el último día del mes al que pertenece la fecha
minute Devuelve el minuto de la entrada
month Devuelve el mes de la entrada
months_between Número de meses entre
next_day Devuelve el primer día después de la entrada
quarter Devuelve el trimestre de la entrada
second Devuelve el segundo de la cadena
to_date Convierte la cadena en una fecha. Nota: La cadena ​​debe tener el formato yyyy-mm-ddTHH24:MM:SS.
to_timestamp Convierte la cadena en una marca de tiempo. Nota: La cadena ​​debe tener el formato yyyy-mm-ddTHH24:MM:SS.
to_unix_timestamp Convierte la cadena en una marca de tiempo Unix
to_utc_timestamp Convierte la cadena en una marca de tiempo UTC
trunc Trunca la fecha
unix_timestamp Devuelve la marca de tiempo Unix
weekday Día de la semana (0-6)
weekofyear Devuelve la semana del año de una fecha determinada
year Devuelve el año de la cadena

Matrices

Función Descripción
array Crea una matriz con los elementos dados
array_contains Comprueba si la matriz contiene el valor
array_distinct Elimina los valores duplicados de la matriz
array_except Devuelve una matriz de los elementos de la primera matriz, pero no la segunda
array_intersect Devuelve la intersección de las dos matrices
array_join Une dos arreglos de discos
array_max Devuelve el valor máximo de la matriz
array_min Devuelve el valor mínimo de la matriz
array_position Devuelve la posición del elemento basada en 1
array_remove Elimina todos los elementos que son iguales al elemento
array_repeat Crea una matriz que contiene el valor de tiempos contados
array_sort Ordena la matriz
array_union Une la matriz, sin duplicados
array_zip Código postal
cardinality Devuelve el tamaño de la matriz
element_at Devolver el elemento en la posición
explode Separe los elementos de la matriz en varias filas, excluyendo null
explode_outer Separe los elementos de la matriz en varias filas, incluido null
find_in_set Devuelve la posición de matriz basada en 1
flatten Aplana una matriz de arreglos de discos
inline Matriz separada de estructuras en una tabla, excluyendo null
inline_outer Matriz separada de estructuras en una tabla, incluido null
posexplod Separe los elementos de la matriz en varias filas con posiciones, excluyendo null
posexplod Separe los elementos de la matriz en varias filas con posiciones, incluido null
reverse Invertir elementos de la matriz
shuffle Devuelve una permutación aleatoria de la matriz
slice Subestablece una matriz
sort_array Ordenar una matriz, dado un pedido
zip_with Combina las dos matrices en una única matriz antes de aplicar una función

Funciones de conversión de tipos de datos

Función Descripción
bigint Cambiar el tipo de datos a bigint
binary Cambiar el tipo de datos a binario
boolean Cambiar el tipo de datos a booleano
type Cambiar el tipo de datos al tipo especificado
date Cambio del tipo de datos a la fecha
decimal Cambiar el tipo de datos a decimal
double Cambiar el tipo de datos a doble
float Cambiar el tipo de datos a flotante
int Cambiar el tipo de datos a int
smallint Cambiar el tipo de datos a smallint
str_to_map Creación de un mapa a partir de una cadena
string Cambiar el tipo de datos a cadena
struct Crear una estructura
tinyint Cambiar el tipo de datos a tinyint

Funciones de conversión y formato

Función Descripción
ascii Devuelve el valor numérico (ASCII)
base64 Cambiar el argumento a una cadena base64
bin Cambiar el argumento a un valor binario
bit_length Devolver la longitud de bits
char, chr Devuelve el carácter ASCII
char_length, character_length Devolver la longitud de la cadena
crc32 Devuelve el valor de comprobación de redundancia cíclica
degrees Convertir radianes a grados
format_number Cambiar el formato del número
from_json, get_json_object Obtención de datos de JSON
hash Devolver el valor hash
hex Convertir el argumento en un valor hexadecimal
initcap Cambia la cadena a título
lcase, lower Cambia la cadena a minúscula
lpad Añade el lado izquierdo de una cadena
map Creación de un mapa
map_from_arrays Crear un mapa a partir de una matriz
map_from_entries Crear un mapa a partir de una matriz de estructuras
md5 Devuelve el valor de md5
rpad Añade el lado derecho de una cadena
rtrim Elimina los espacios finales
sha, sha1 Devolver el valor SHA1
sha2 Devolver el valor SHA2
soundex Devolver el código soundex
stack Separe los valores en filas
substr, substring Devolver la subcadena
to_json Devuelve una cadena JSON
translate Reemplazar valores en una cadena
trim Eliminación de caracteres iniciales y finales
ucase, upper Cambiar la cadena a mayúsculas
unbase64 Convertir la cadena base64 en binaria
unhex Convertir el hexadecimal a binario
uuid Devolver un UUID

Evaluación de datos

Función Descripción
coalesce Devolver el primer argumento no nulo
collect_list Devolver una lista de elementos no únicos
collect_set Devolver un conjunto de elementos únicos
concat Concatenación
concat_ws Concatenación con separador
count Devuelve el recuento total de filas
decode Descodificar con un conjunto de caracteres
elt Devuelve la entrada nth
encode Codificación mediante un conjunto de caracteres
first, first_value Devuelve el primer valor
grouping Indica si una columna está agrupada
grouping_id Devuelve el nivel de agrupación
instr Devuelve un índice de incidencia de caracteres basado en 1
json_tuple Devuelve un tuple desde una entrada JSON
lag, lead Devuelve el valor antes del desplazamiento
last, last_value Devuelve el último valor
left Devuelve los primeros n caracteres
length Devuelve la longitud de la cadena
levenshtein Devuelve la distancia de Levenshtein entre cadenas
locate, position Devuelve la posición de la primera incidencia de una subcadena
map_concat Concatenar un mapa
map_keys Devolver las claves de un mapa
map_values Devolver los valores de un mapa
ntile Dividir filas en particiones
nullif Devuelve null si es true
nvl Devuelve el valor si es nulo
nvl2 Devuelve el valor si no es nulo
parse_url Extrae parte de una dirección URL
rank Calcula la clasificación de un valor
regexp_extract Extrae algo que coincida con el regex
regex_replace Reemplaza algo que coincida con el regex
repeat Devuelve una cadena que se repite
replace Reemplazar todas las instancias de una cadena
rollup Crear un resumen multidimensional
row_number Asigna un número de fila único
schema_of_json Devuelve el esquema del JSON
sentences Divide la cadena en una matriz de palabras
sequence Genera una matriz de elementos
shiftleft Giro a la izquierda
shiftright Giro a la derecha en el sentido de las cejas con signo
shiftrightunsigned Desplazamiento a la derecha en el sentido de bits sin signo
size Devuelve el tamaño de la matriz
space Devolver una cadena con espacios n
split Cadena dividida
substring_index Devolver índice de subcadena
window Ventana
xpath Analizar nodos XML
xpath_double, xpath_number Analizar nodos XML para doble
xpath_float Analizar nodos XML para flotar
xpath_int Analizar nodos XML para entero
xpath_long Analizar nodos XML durante mucho tiempo
xpath_short Analizar nodos XML para número entero corto
xpath_string Analizar nodos XML para cadena

Información actual

Función Descripción
current_database Devuelve la base de datos actual
current_date Devuelve la fecha actual
current_timestamp, now Devuelve la marca de tiempo actual

Funciones de orden superior

Función Descripción
transform Transformar elementos en una matriz
exists Comprobar si existe un elemento
filter Filtrar la matriz de entrada
aggregate Aplicar un operador binario a todos los elementos

En esta página