Spark Funciones SQL

El servicio de consultas de Adobe Experience Platform proporciona varias funciones SQL de Spark integradas para ampliar la funcionalidad SQL. Este documento enumera las funciones SQL de Spark que admite el servicio de consultas.

Para obtener información más detallada sobre las funciones, incluida su sintaxis, uso y ejemplos, lea la Documentación de la función Spark SQL.

NOTA

No se admiten todas las funciones de la documentación externa.

Operadores y funciones matemáticos y estadísticos

Operador/Función Descripción
% Devuelve el resto de los dos números
* Multiplica los dos números
+ Suma los dos números
- Resta los dos números
/ Divide los dos números
abs Devuelve el valor absoluto de la entrada
acos Devuelve el valor del coseno inverso
approx_count_distinct Devuelve la cardinalidad estimada por HyperLogLog++
approx_percentile Devuelve el valor de percentil aproximado en un porcentaje determinado
asin Devuelve el valor del seno inverso
atan Devuelve el valor de tangente inverso
atan2 Devuelve el ángulo entre el plano positivo del eje x y los puntos dados por las coordenadas
avg Devuelve el valor promedio
cbrt Devuelve la raíz de cubo
ceil O bien ceiling Devuelve el menor entero igual o menor al valor introducido
conv Convertir de una base a otra
corr Devuelve el coeficiente de Pearson entre los números
cos Devuelve el valor del coseno
cosh Devuelve el valor del coseno hiperbólico
cot Devuelve el valor de la cotangente
dense_rank Devuelve la clasificación de un valor en un grupo de valores
e Devuelve el número de Euler
exp Devuelve e a la potencia del valor
expm1 Devuelve e a la potencia del valor menos 1
factorial Devuelve el factorial del valor
floor Devuelve el mayor entero igual o menor al valor
greatest Devuelve el mayor valor de todos los parámetros
hypot Devuelve la hipotenusa de los dos valores dados
kurtosis Devuelve el valor de curtosis del grupo
least Devuelve el menor valor de todos los parámetros
ln Devuelve el logaritmo natural del valor
log Devuelve el logaritmo del valor
log10 Devuelve el logaritmo en base 10 del valor
log1p Devuelve el logaritmo del valor más 1
log2 Devuelve el logaritmo, en base 2, del valor
max Devuelve el valor máximo de la expresión
mean Devuelve la media calculada a partir de los valores
min Devuelve el valor mínimo de la expresión
monotonically_increasing_id Devuelve ID que aumentan monotónicamente
negative Devuelve el valor negado
percent_rank Devuelve la clasificación porcentual de un valor
percentile Devuelve el percentil exacto en un porcentaje determinado
percentile_approx Devuelve el percentil aproximado en un porcentaje determinado
pi Devuelve pi
pmod Devuelve el módulo positivo entre dos valores
positive Devuelve el valor positivo
pow, power Devuelve el primer valor a la potencia del segundo valor
radians Convierte el valor en radianes
rand Devuelve un número aleatorio entre 0 y 1
randn Devuelve un valor aleatorio
rint Devuelve el valor doble más cercano
round Devuelve el valor redondeado más cercano
sign, signum Devuelve el signo del número
sin Devuelve el seno del valor
sinh Devuelve el seno hiperbólico del valor
sqrt Devuelve la raíz cuadrada del valor
stddev Devuelve la desviación estándar del valor
sttdev_pop Devuelve la desviación estándar de la población del valor
stddev_samp Devuelve la desviación estándar de muestra del valor
sum Devuelve la suma de los valores
tan Devuelve la tangente del valor
tanh Devuelve la tangente hiperbólica del valor
var_pop Devuelve la varianza de población calculada
var_samp, variance Devuelve la varianza de muestra calculada

Operadores lógicos y funciones

Operador/Función Descripción
! O bien not No lógico
< Menos de
<= Less than or equal to
= Equal to
> Greater than
>= Mayor o igual que
^ Exclusivo o bit a bit
| OR bit a bit
~ No bit a bit
arrays_overlap Devuelve los elementos comunes
assert_true Afirma si la expresión es verdadera
if Si la expresión se evalúa como verdadera, devuelva la segunda expresión. De lo contrario, devuelva la tercera expresión.
ifnull Si la expresión es nula, devuelve la segunda expresión. De lo contrario, devuelve la primera expresión.
in Devuelve true si la primera expresión se encuentra en cualquiera de las expresiones siguientes.
isnan Devuelve verdadero si el valor no es un número
isnotnull Devuelve verdadero si el valor no es nulo
isnull Devuelve verdadero si el valor es nulo
nanvl Devuelve la primera expresión si no es un número; en caso contrario, devuelve la segunda expresión
or Lógico o
when Cuándo se puede utilizar para crear condiciones de rama para la comparación
xpath_boolean Devuelve true si la expresión XPath se evalúa como true o si se encuentra un nodo coincidente

Funciones de fecha y hora

Función Descripción
add_months Agregar meses a la fecha
date_add Añadir días a la fecha
date_format Modificar formato de fecha
date_sub Restar días de la fecha
date_trunc Devuelve la fecha truncada a la unidad especificada
datediff Devuelve la diferencia entre fechas en días
day, dayofmonth Devuelve el día del mes
dayofweek Devuelve el día de la semana (1-7)
dayofyear Devuelve el día del año
from_unixtime Devuelve la fecha en hora Unix
from_utc_timestamp Devuelve la fecha en hora UTC
hour Devuelve la hora de la entrada
last_day Devuelve el último día del mes al que pertenece la fecha
minute Devuelve el minuto de la entrada
month Devuelve el mes de la entrada
months_between Número de meses entre
next_day Devuelve el primer día después de la entrada
quarter Devuelve el trimestre de la entrada
second Devuelve el segundo de la cadena
to_date Convierte la cadena en una fecha. Nota: La cadena debe estar en el formato yyyy-mm-ddTHH24:MM:SS.
to_timestamp Convierte la cadena en una marca de tiempo. Nota: La cadena debe estar en el formato yyyy-mm-ddTHH24:MM:SS.
to_unix_timestamp Convierte la cadena en una marca de tiempo Unix
to_utc_timestamp Convierte la cadena en una marca de tiempo UTC
trunc Trunca la fecha
unix_timestamp Devuelve la marca de tiempo Unix
weekday Día de la semana (0-6)
weekofyear Devuelve la semana del año de una fecha determinada
year Devuelve el año de la cadena

Matrices

Función Descripción
array Crea una matriz con los elementos dados
array_contains Comprueba si la matriz contiene el valor
array_distinct Quita los valores duplicados de la matriz
array_except Devuelve una matriz de los elementos de la primera matriz, pero no la segunda
array_intersect Devuelve la intersección de las dos matrices
array_join Une dos conjuntos
array_max Devuelve el valor máximo de la matriz
array_min Devuelve el valor mínimo de la matriz
array_position Devuelve la posición basada en 1 del elemento
array_remove Quita todos los elementos iguales al elemento
array_repeat Crea una matriz que contiene el valor contabilizado veces
array_sort Ordena la matriz
array_union Une la matriz, sin duplicados
arrays_zip Combina los valores de matrices dadas con los valores de la colección original en un índice determinado
cardinality Devuelve el tamaño de la matriz
element_at Devolver el elemento en la posición
explode Separar elementos de una matriz en varias filas, excluyendo nulo
explode_outer Separe los elementos de la matriz en varias filas, incluido el valor nulo
find_in_set Devuelve la posición basada en 1 de la matriz
flatten Acople una matriz de matrices
inline Separar matriz de estructuras en una tabla, excluyendo nulo
inline_outer Separe la matriz de estructuras en una tabla, incluido el cero
posexplode Separe los elementos de la matriz en varias filas con posiciones, excluyendo nulo
reverse Invertir elementos de la matriz
shuffle Devuelve una permutación aleatoria de la matriz
slice Subconjuntos de una matriz
sort_array Ordenar una matriz, dado un orden
zip_with Combina las dos matrices en una sola matriz, antes de aplicar una función

Funciones de conversión de tipos de datos

Función Descripción
bigint Cambie el tipo de datos a bigint
binary Cambiar el tipo de datos a binario
boolean Cambiar el tipo de datos a booleano
type Cambiar el tipo de datos al tipo especificado
date Cambiar el tipo de datos a fecha
decimal Cambiar el tipo de datos a decimal
double Cambiar el tipo de datos a doble
float Cambiar el tipo de datos a flotante
int Cambie el tipo de datos a int
smallint Cambie el tipo de datos a smallint
str_to_map Creación de un mapa a partir de una cadena
string Cambiar el tipo de datos a cadena
struct Creación de una estructura
tinyint Cambiar el tipo de datos a tinyint

Funciones de conversión y formato

Función Descripción
ascii Devuelve el valor numérico (ASCII)
base64 Cambie el argumento a una cadena base64
bin Cambie el argumento a un valor binario
bit_length Devolver la longitud de bits
char, chr Devuelve el carácter ASCII
char_length, character_length Devuelve la longitud de la cadena
crc32 Devuelve el valor de comprobación de redundancia cíclica
degrees Convertir radianes a grados
format_number Cambiar el formato del número
from_json, get_json_object Obtener datos de JSON
hash Devolver el valor hash
hex Convertir el argumento en un valor hexadecimal
initcap Cambia la cadena a la clase de título
lcase, lower Cambia la cadena para que esté en minúscula
lpad Rellena el lado izquierdo de una cadena
map Creación de un mapa
map_from_arrays Creación de un mapa a partir de una matriz
map_from_entries Creación de un mapa a partir de una matriz de estructuras
md5 Devuelve el valor md5
rpad Rellena el lado derecho de una cadena
rtrim Elimina los espacios finales
sha, sha1 Devuelve el valor SHA1
sha2 Devuelve el valor SHA2
soundex Devolver el código soundex
stack Separe los valores en filas
substr, substring Devuelve la subcadena
to_json Devuelve una cadena JSON
translate Reemplazar valores dentro de una cadena
trim Eliminar caracteres iniciales y finales
ucase, upper Cambie la cadena para que esté en mayúsculas
unbase64 Convertir la cadena base64 en binaria
unhex Convertir el hexadecimal en binario
uuid Devolver un UUID

Evaluación de datos

Función Descripción
coalesce Devolver el primer argumento no nulo
collect_list Devuelve una lista de elementos no únicos
collect_set Devuelve un conjunto de elementos únicos
concat Concatenación
concat_ws Concatenación con separador
count Devuelve el recuento total de filas
decode Descodificar mediante un conjunto de caracteres
elt Devuelva el nla entrada
encode Codificar con un conjunto de caracteres
first, first_value Devuelve el primer valor
grouping Indica si una columna está agrupada
grouping_id Devuelve el nivel de agrupación
instr Devuelve un índice de ocurrencia de caracteres basado en 1
json_tuple Devuelve una tupla desde una entrada JSON
lag, lead Devuelve el valor antes del desplazamiento
last, last_value Devuelve el último valor
left Devuelve el primero n caracteres
length Devuelve la longitud de la cadena
levenshtein Devuelve la distancia entre cadenas de Levenshtein
locate, position Devuelve la posición de la primera aparición de una subcadena
map_concat Concatenación de un mapa
map_keys Devolver las claves de un mapa
map_values Devolver los valores de un mapa
ntile Dividir filas en particiones
nullif Devuelve nulo si es verdadero
nvl Devuelve el valor si es nulo
nvl2 Devuelve un valor si no es nulo
parse_url Extrae parte de una dirección URL
rank Calcula la clasificación de un valor
regexp_extract Extrae algo que coincide con la regex
regex_replace Reemplaza algo que coincide con la regex
repeat Devuelve una cadena que se repite
replace Reemplazar todas las instancias de una cadena
rollup Creación de un resumen multidimensional
row_number Asigna un número de fila único
schema_of_json Devuelve el esquema del JSON
sentences Divide una cadena en una matriz de palabras
sequence Genera una matriz de elementos
shiftleft Desplazamiento hacia la izquierda bit firmado
shiftright Desplazamiento hacia la derecha bit firmado
shiftrightunsigned Desplazamiento hacia la derecha bit sin signo
size Devuelve el tamaño de la matriz
space Devuelve una cadena con n espacios
split Cadena dividida
substring_index Devolver índice de subcadena
window Ventana
xpath Analizar nodos XML
xpath_double, xpath_number Analizar nodos XML para el doble
xpath_float Analizar nodos XML para float
xpath_int Analizar nodos XML para enteros
xpath_long Analizar nodos XML durante mucho tiempo
xpath_short Analizar nodos XML para entero corto
xpath_string Analizar nodos XML para la cadena

Información actual

Función Descripción
current_database Devuelve la base de datos actual
current_date Devuelve fecha actual
current_timestamp, now Devuelve la marca de tiempo actual

Funciones de orden superior

Función Descripción
transform Transformación de elementos en una matriz
exists Comprobar si el elemento existe
filter Filtrado de la matriz de entrada
aggregate Aplicar un operador binario a todos los elementos

En esta página