DocumentaciónExperience PlatformGuía del servicio de consultas

Spark funciones SQL

16 de julio de 2024
  • Temas:
  • Consultas

Creado para:

  • Usuario
  • Desarrollador

Puede utilizar varias funciones SQL de Spark integradas para ampliar la funcionalidad SQL con Adobe Experience Platform Query Service. Este documento enumera las funciones SQL de Spark que admite el servicio de consultas.

Para obtener información más detallada sobre las funciones, incluida su sintaxis, uso y ejemplos, lea la documentación de la función Spark SQL.

NOTE
No se admiten todas las funciones de la documentación externa.

Operadores y funciones matemáticos y estadísticos

Operador/FunciónDescripción
%Devuelve el resto de los dos números
*Multiplica los dos números
+Suma los dos números
-Resta los dos números
/Divide los dos números
absDevuelve el valor absoluto de la entrada
acosDevuelve el valor del coseno inverso
approx_count_distinctDevuelve la cardinalidad estimada por HyperLogLog++
approx_percentileDevuelve el valor de percentil aproximado en un porcentaje determinado
asinDevuelve el valor del seno inverso
atanDevuelve el valor de tangente inverso
atan2Devuelve el ángulo entre el plano positivo del eje x y los puntos dados por las coordenadas
avgDevuelve el valor promedio
cbrtDevuelve la raíz de cubo
ceil o ceilingDevuelve el menor entero igual o menor al valor introducido
convConvertir de una base a otra
corrDevuelve el coeficiente de Pearson entre los números
cosDevuelve el valor del coseno
coshDevuelve el valor del coseno hiperbólico
cotDevuelve el valor de la cotangente
dense_rankDevuelve la clasificación de un valor en un grupo de valores
eDevuelve el número de Euler
expDevuelve e a la potencia del valor
expm1Devuelve e a la potencia del valor menos 1
factorialDevuelve el factorial del valor
floorDevuelve el mayor entero igual o menor al valor
greatestDevuelve el mayor valor de todos los parámetros
hypotDevuelve la hipotenusa de los dos valores dados
kurtosisDevuelve el valor de curtosis del grupo
leastDevuelve el menor valor de todos los parámetros
lnDevuelve el logaritmo natural del valor
logDevuelve el logaritmo del valor
log10Devuelve el logaritmo en base 10 del valor
log1pDevuelve el logaritmo del valor más 1
log2Devuelve el logaritmo, en base 2, del valor
maxDevuelve el valor máximo de la expresión
meanDevuelve la media calculada a partir de los valores
minDevuelve el valor mínimo de la expresión
monotonically_increasing_idDevuelve ID que aumentan monotónicamente
negativeDevuelve el valor negado
percent_rankDevuelve la clasificación porcentual de un valor
percentileDevuelve el percentil exacto en un porcentaje determinado
percentile_approxDevuelve el percentil aproximado en un porcentaje determinado
piDevuelve pi
pmodDevuelve el módulo positivo entre dos valores
positiveDevuelve el valor positivo
pow, powerDevuelve el primer valor a la potencia del segundo valor
radiansConvierte el valor en radianes
randDevuelve un número aleatorio del 0 al 1
randnDevuelve un valor aleatorio
rintDevuelve el valor doble más cercano
roundDevuelve el valor redondeado más cercano
sign, signumDevuelve el signo del número
sinDevuelve el seno del valor
sinhDevuelve el seno hiperbólico del valor
sqrtDevuelve la raíz cuadrada del valor
stddevDevuelve la desviación estándar del valor
sttdev_popDevuelve la desviación estándar de la población del valor
stddev_sampDevuelve la desviación estándar de muestra del valor
sumDevuelve la suma de los valores
tanDevuelve la tangente del valor
tanhDevuelve la tangente hiperbólica del valor
var_popDevuelve la varianza de población calculada
var_samp, varianceDevuelve la varianza de muestra calculada

Operadores lógicos y funciones

Operador/FunciónDescripción
! o notNo lógico
<Menor que
<=Menor o igual que
=Igual a
>Mayor que
>=Mayor o igual que
^Exclusivo o bit a bit
|OR bit a bit
~No bit a bit
arrays_overlapDevuelve los elementos comunes
assert_trueAfirma si la expresión es verdadera
ifSi la expresión se evalúa como verdadera, devuelva la segunda expresión. De lo contrario, devuelva la tercera expresión.
ifnullSi la expresión es nula, devuelve la segunda expresión. De lo contrario, devuelve la primera expresión.
inDevuelve true si la primera expresión se encuentra en cualquiera de las expresiones siguientes.
isnanDevuelve verdadero si el valor no es un número
isnotnullDevuelve verdadero si el valor no es nulo
isnullDevuelve verdadero si el valor es nulo
nanvlDevuelve la primera expresión si no es un número; en caso contrario, devuelve la segunda expresión
orLógico o
whenCuándo se puede utilizar para crear condiciones de rama para la comparación
xpath_booleanDevuelve true si la expresión XPath se evalúa como true o si se encuentra un nodo coincidente

Funciones de fecha y hora

Función
Descripción
add_months
Agregar meses a la fecha
date_add
Añadir días a la fecha
date_format
Modificar formato de fecha
date_sub
Restar días de la fecha
date_trunc
Devuelve la fecha truncada a la unidad especificada
datediff
Devuelve la diferencia entre fechas en días
day, dayofmonth
Devuelve el día del mes
dayofweek
Devuelve el día de la semana (1-7)
dayofyear
Devuelve el día del año
from_unixtime
Devuelve la fecha en UNIX® hora
from_utc_timestamp
Devuelve la fecha en hora UTC
hour
Devuelve la hora de la entrada
last_day
Devuelve el último día del mes al que pertenece la fecha
minute
Devuelve el minuto de la entrada
month
Devuelve el mes de la entrada
months_between
Número de meses entre
next_day
Devuelve el primer día después de la entrada
quarter
Devuelve el trimestre de la entrada
second
Devuelve el segundo de la cadena
to_date
Convierte la cadena en una fecha. Nota: La cadena debe tener el formato yyyy-mm-ddTHH24:MM:SS.
to_timestamp
Convierte la cadena en una marca de tiempo. Nota: La cadena debe tener el formato yyyy-mm-ddTHH24:MM:SS.
to_unix_timestamp
Convierte la cadena en una marca de tiempo UNIX®
to_utc_timestamp
Convierte la cadena en una marca de tiempo UTC
trunc
Trunca la fecha
unix_timestamp
Devuelve la marca de tiempo UNIX®
weekday
Día de la semana (0-6)
weekofyear
Devuelve la semana del año de una fecha determinada
year
Devuelve el año de la cadena

Matrices

Función
Descripción
array
Crea una matriz con los elementos dados
array_contains
Comprueba si la matriz contiene el valor
array_distinct
Quita los valores duplicados de la matriz
array_except
Devuelve una matriz de los elementos de la primera matriz, pero no la segunda
array_intersect
Devuelve la intersección de las dos matrices
array_join
Une dos conjuntos
array_max
Devuelve el valor máximo de la matriz
array_min
Devuelve el valor mínimo de la matriz
array_position
Devuelve la posición basada en 1 del elemento
array_remove
Quita todos los elementos iguales al elemento
array_repeat
Crea una matriz que contiene el valor contabilizado veces
array_sort
Ordena la matriz
array_union
Une la matriz, sin duplicados
arrays_zip
Combina los valores de matrices dadas con los valores de la colección original en un índice determinado
cardinality
Devuelve el tamaño de la matriz
element_at
Devolver el elemento en la posición
explode
Separar elementos de una matriz en varias filas, excluyendo nulo
explode_outer
Separe los elementos de la matriz en varias filas, incluido el valor nulo
find_in_set
Devuelve la posición basada en 1 de la matriz
flatten
Acople una matriz de matrices
inline
Separar matriz de estructuras en una tabla, excluyendo nulo
inline_outer
Separe la matriz de estructuras en una tabla, incluido el cero
posexplode
Separar elementos de una matriz en varias filas con posiciones, excluyendo nulo
reverse
Invertir elementos de la matriz
shuffle
Devuelve una permutación aleatoria de la matriz
slice
Subconjuntos de una matriz
sort_array
Ordenar una matriz, dado un orden
zip_with
Combina las dos matrices en una sola matriz, antes de aplicar una función

Funciones de conversión de tipos de datos

Función
Descripción
bigint
Cambie el tipo de datos a bigint
binary
Cambiar el tipo de datos a binario
boolean
Cambiar el tipo de datos a booleano
type
Cambiar el tipo de datos al tipo especificado
date
Cambiar el tipo de datos a fecha
decimal
Cambiar el tipo de datos a decimal
double
Cambiar el tipo de datos a doble
float
Cambiar el tipo de datos a flotante
int
Cambie el tipo de datos a int
smallint
Cambie el tipo de datos a smallint
str_to_map
Creación de un mapa a partir de una cadena
string
Cambiar el tipo de datos a cadena
struct
Creación de una estructura
tinyint
Cambiar el tipo de datos a tinyint

Funciones de conversión y formato

Función
Descripción
ascii
Devuelve el valor numérico (ASCII)
base64
Cambie el argumento a una cadena base64
bin
Cambie el argumento a un valor binario
bit_length
Devolver la longitud de bits
char, chr
Devuelve el carácter ASCII
char_length, character_length
Devuelve la longitud de la cadena
crc32
Devuelve el valor de comprobación de redundancia cíclica
degrees
Convertir radianes a grados
format_number
Cambiar el formato del número
from_json, get_json_object
Obtener datos de JSON
hash
Devolver el valor hash
hex
Convertir el argumento en un valor hexadecimal
initcap
Cambia la cadena para que sea un caso de título
lcase, lower
Cambia la cadena para que esté en minúscula
lpad
Rellena el lado izquierdo de una cadena
map
Creación de un mapa
map_from_arrays
Creación de un mapa a partir de una matriz
map_from_entries
Creación de un mapa a partir de una matriz de estructuras
md5
Devuelve el valor md5
rpad
Rellena el lado derecho de una cadena
rtrim
Elimina los espacios finales
sha, sha1
Devuelve el valor SHA1
sha2
Devuelve el valor SHA2
soundex
Devolver el código soundex
stack
Separe los valores en filas
substr, substring
Devuelve la subcadena
to_json
Devuelve una cadena JSON
translate
Reemplazar valores dentro de una cadena
trim
Eliminar caracteres iniciales y finales
ucase, upper
Cambie la cadena para que esté en mayúsculas
unbase64
Convertir la cadena base64 en binaria
unhex
Convertir el hexadecimal en binario
uuid
Devolver un UUID

Evaluación de datos

Función
Descripción
coalesce
Devolver el primer argumento no nulo
collect_list
Devuelve una lista de elementos no únicos
collect_set
Devuelve un conjunto de elementos únicos
concat
Concatenación
concat_ws
Concatenación con separador
count
Devuelve el recuento total de filas
decode
Descodificar mediante un conjunto de caracteres
elt
Devolver la entrada nth
encode
Codificar con un conjunto de caracteres
first, first_value
Devuelve el primer valor
grouping
Indica si una columna está agrupada
grouping_id
Devuelve el nivel de agrupación
instr
Devuelve un índice de ocurrencia de caracteres basado en 1
json_tuple
Devuelve una tupla desde una entrada JSON
lag, lead
Devuelve el valor antes del desplazamiento
last, last_value
Devuelve el último valor
left
Devuelve los primeros n caracteres
length
Devuelve la longitud de la cadena
levenshtein
Devuelve la distancia entre cadenas de Levenshtein
locate, position
Devuelve la posición de la primera aparición de una subcadena
map_concat
Concatenación de un mapa
map_keys
Devolver las claves de un mapa
map_values
Devolver los valores de un mapa
ntile
Dividir filas en particiones
nullif
Devuelve nulo si es verdadero
nvl
Devuelve el valor si es nulo
nvl2
Devuelve un valor si no es nulo
parse_url
Extrae parte de una dirección URL
rank
Calcula la clasificación de un valor
regexp_extract
Extrae algo que coincide con la regex
regex_replace
Reemplaza algo que coincide con la regex
repeat
Devuelve una cadena que se repite
replace
Reemplazar todas las instancias de una cadena
rollup
Creación de un resumen multidimensional
row_number
Asigna un número de fila único
schema_of_json
Devuelve el esquema del JSON
sentences
Divide una cadena en una matriz de palabras
sequence
Genera una matriz de elementos
shiftleft
Desplazamiento hacia la izquierda bit firmado
shiftright
Desplazamiento hacia la derecha bit firmado
shiftrightunsigned
Desplazamiento hacia la derecha bit sin signo
size
Devuelve el tamaño de la matriz
space
Devuelve una cadena con n espacios
split
Cadena dividida
substring_index
Devolver índice de subcadena
window
Ventana
xpath
Analizar nodos XML
xpath_double, xpath_number
Analizar nodos XML para el doble
xpath_float
Analizar nodos XML para float
xpath_int
Analizar nodos XML para enteros
xpath_long
Analizar nodos XML durante mucho tiempo
xpath_short
Analizar nodos XML para entero corto
xpath_string
Analizar nodos XML para la cadena

Información actual

Función
Descripción
current_database
Devuelve la base de datos actual
current_date
Devuelve fecha actual
current_timestamp, now
Devuelve la marca de tiempo actual

Funciones de orden superior

Función
Descripción
transform
Transformación de elementos en una matriz
exists
Comprobar si el elemento existe
filter
Filtrado de la matriz de entrada
aggregate
Aplicar un operador binario a todos los elementos
recommendation-more-help
ccf2b369-4031-483f-af63-a93b5ae5e3fb