Spark funciones SQL
Puede utilizar varias funciones SQL de Spark integradas para ampliar la funcionalidad SQL con Adobe Experience Platform Query Service. Este documento enumera las funciones SQL de Spark que admite el servicio de consultas.
Para obtener información más detallada sobre las funciones, incluida su sintaxis, uso y ejemplos, lea la documentación de la función Spark SQL.
NOTENo se admiten todas las funciones de la documentación externa.
Operadores y funciones matemáticos y estadísticos
| Operador/Función | Descripción |
|---|---|
% | Devuelve el resto de los dos números |
* | Multiplica los dos números |
+ | Suma los dos números |
- | Resta los dos números |
/ | Divide los dos números |
abs | Devuelve el valor absoluto de la entrada |
acos | Devuelve el valor del coseno inverso |
approx_count_distinct | Devuelve la cardinalidad estimada por HyperLogLog++ |
approx_percentile | Devuelve el valor de percentil aproximado en un porcentaje determinado |
asin | Devuelve el valor del seno inverso |
atan | Devuelve el valor de tangente inverso |
atan2 | Devuelve el ángulo entre el plano positivo del eje x y los puntos dados por las coordenadas |
avg | Devuelve el valor promedio |
cbrt | Devuelve la raíz de cubo |
ceil o ceiling | Devuelve el menor entero igual o menor al valor introducido |
conv | Convertir de una base a otra |
corr | Devuelve el coeficiente de Pearson entre los números |
cos | Devuelve el valor del coseno |
cosh | Devuelve el valor del coseno hiperbólico |
cot | Devuelve el valor de la cotangente |
dense_rank | Devuelve la clasificación de un valor en un grupo de valores |
e | Devuelve el número de Euler |
exp | Devuelve e a la potencia del valor |
expm1 | Devuelve e a la potencia del valor menos 1 |
factorial | Devuelve el factorial del valor |
floor | Devuelve el mayor entero igual o menor al valor |
greatest | Devuelve el mayor valor de todos los parámetros |
hypot | Devuelve la hipotenusa de los dos valores dados |
kurtosis | Devuelve el valor de curtosis del grupo |
least | Devuelve el menor valor de todos los parámetros |
ln | Devuelve el logaritmo natural del valor |
log | Devuelve el logaritmo del valor |
log10 | Devuelve el logaritmo en base 10 del valor |
log1p | Devuelve el logaritmo del valor más 1 |
log2 | Devuelve el logaritmo, en base 2, del valor |
max | Devuelve el valor máximo de la expresión |
mean | Devuelve la media calculada a partir de los valores |
min | Devuelve el valor mínimo de la expresión |
monotonically_increasing_id | Devuelve ID que aumentan monotónicamente |
negative | Devuelve el valor negado |
percent_rank | Devuelve la clasificación porcentual de un valor |
percentile | Devuelve el percentil exacto en un porcentaje determinado |
percentile_approx | Devuelve el percentil aproximado en un porcentaje determinado |
pi | Devuelve pi |
pmod | Devuelve el módulo positivo entre dos valores |
positive | Devuelve el valor positivo |
pow, power | Devuelve el primer valor a la potencia del segundo valor |
radians | Convierte el valor en radianes |
rand | Devuelve un número aleatorio del 0 al 1 |
randn | Devuelve un valor aleatorio |
rint | Devuelve el valor doble más cercano |
round | Devuelve el valor redondeado más cercano |
sign, signum | Devuelve el signo del número |
sin | Devuelve el seno del valor |
sinh | Devuelve el seno hiperbólico del valor |
sqrt | Devuelve la raíz cuadrada del valor |
stddev | Devuelve la desviación estándar del valor |
sttdev_pop | Devuelve la desviación estándar de la población del valor |
stddev_samp | Devuelve la desviación estándar de muestra del valor |
sum | Devuelve la suma de los valores |
tan | Devuelve la tangente del valor |
tanh | Devuelve la tangente hiperbólica del valor |
var_pop | Devuelve la varianza de población calculada |
var_samp, variance | Devuelve la varianza de muestra calculada |
Operadores lógicos y funciones
| Operador/Función | Descripción |
|---|---|
! o not | No lógico |
< | Menor que |
<= | Menor o igual que |
= | Igual a |
> | Mayor que |
>= | Mayor o igual que |
^ | Exclusivo o bit a bit |
| | OR bit a bit |
~ | No bit a bit |
arrays_overlap | Devuelve los elementos comunes |
assert_true | Afirma si la expresión es verdadera |
if | Si la expresión se evalúa como verdadera, devuelva la segunda expresión. De lo contrario, devuelva la tercera expresión. |
ifnull | Si la expresión es nula, devuelve la segunda expresión. De lo contrario, devuelve la primera expresión. |
in | Devuelve true si la primera expresión se encuentra en cualquiera de las expresiones siguientes. |
isnan | Devuelve verdadero si el valor no es un número |
isnotnull | Devuelve verdadero si el valor no es nulo |
isnull | Devuelve verdadero si el valor es nulo |
nanvl | Devuelve la primera expresión si no es un número; en caso contrario, devuelve la segunda expresión |
or | Lógico o |
when | Cuándo se puede utilizar para crear condiciones de rama para la comparación |
xpath_boolean | Devuelve true si la expresión XPath se evalúa como true o si se encuentra un nodo coincidente |
Funciones de fecha y hora
| Función | Descripción |
|---|---|
add_months | Agregar meses a la fecha |
date_add | Añadir días a la fecha |
date_format | Modificar formato de fecha |
date_sub | Restar días de la fecha |
date_trunc | Devuelve la fecha truncada a la unidad especificada |
datediff | Devuelve la diferencia entre fechas en días |
day, dayofmonth | Devuelve el día del mes |
dayofweek | Devuelve el día de la semana (1-7) |
dayofyear | Devuelve el día del año |
from_unixtime | Devuelve la fecha en UNIX® hora |
from_utc_timestamp | Devuelve la fecha en hora UTC |
hour | Devuelve la hora de la entrada |
last_day | Devuelve el último día del mes al que pertenece la fecha |
minute | Devuelve el minuto de la entrada |
month | Devuelve el mes de la entrada |
months_between | Número de meses entre |
next_day | Devuelve el primer día después de la entrada |
quarter | Devuelve el trimestre de la entrada |
second | Devuelve el segundo de la cadena |
to_date | Convierte la cadena en una fecha. Nota: La cadena debe tener el formato yyyy-mm-ddTHH24:MM:SS. |
to_timestamp | Convierte la cadena en una marca de tiempo. Nota: La cadena debe tener el formato yyyy-mm-ddTHH24:MM:SS. |
to_unix_timestamp | Convierte la cadena en una marca de tiempo UNIX® |
to_utc_timestamp | Convierte la cadena en una marca de tiempo UTC |
trunc | Trunca la fecha |
unix_timestamp | Devuelve la marca de tiempo UNIX® |
weekday | Día de la semana (0-6) |
weekofyear | Devuelve la semana del año de una fecha determinada |
year | Devuelve el año de la cadena |
Matrices
| Función | Descripción |
|---|---|
array | Crea una matriz con los elementos dados |
array_contains | Comprueba si la matriz contiene el valor |
array_distinct | Quita los valores duplicados de la matriz |
array_except | Devuelve una matriz de los elementos de la primera matriz, pero no la segunda |
array_intersect | Devuelve la intersección de las dos matrices |
array_join | Une dos conjuntos |
array_max | Devuelve el valor máximo de la matriz |
array_min | Devuelve el valor mínimo de la matriz |
array_position | Devuelve la posición basada en 1 del elemento |
array_remove | Quita todos los elementos iguales al elemento |
array_repeat | Crea una matriz que contiene el valor contabilizado veces |
array_sort | Ordena la matriz |
array_union | Une la matriz, sin duplicados |
arrays_zip | Combina los valores de matrices dadas con los valores de la colección original en un índice determinado |
cardinality | Devuelve el tamaño de la matriz |
element_at | Devolver el elemento en la posición |
explode | Separar elementos de una matriz en varias filas, excluyendo nulo |
explode_outer | Separe los elementos de la matriz en varias filas, incluido el valor nulo |
find_in_set | Devuelve la posición basada en 1 de la matriz |
flatten | Acople una matriz de matrices |
inline | Separar matriz de estructuras en una tabla, excluyendo nulo |
inline_outer | Separe la matriz de estructuras en una tabla, incluido el cero |
posexplode | Separar elementos de una matriz en varias filas con posiciones, excluyendo nulo |
reverse | Invertir elementos de la matriz |
shuffle | Devuelve una permutación aleatoria de la matriz |
slice | Subconjuntos de una matriz |
sort_array | Ordenar una matriz, dado un orden |
zip_with | Combina las dos matrices en una sola matriz, antes de aplicar una función |
Funciones de conversión de tipos de datos
| Función | Descripción |
|---|---|
bigint | Cambie el tipo de datos a bigint |
binary | Cambiar el tipo de datos a binario |
boolean | Cambiar el tipo de datos a booleano |
type | Cambiar el tipo de datos al tipo especificado |
date | Cambiar el tipo de datos a fecha |
decimal | Cambiar el tipo de datos a decimal |
double | Cambiar el tipo de datos a doble |
float | Cambiar el tipo de datos a flotante |
int | Cambie el tipo de datos a int |
smallint | Cambie el tipo de datos a smallint |
str_to_map | Creación de un mapa a partir de una cadena |
string | Cambiar el tipo de datos a cadena |
struct | Creación de una estructura |
tinyint | Cambiar el tipo de datos a tinyint |
Funciones de conversión y formato
| Función | Descripción |
|---|---|
ascii | Devuelve el valor numérico (ASCII) |
base64 | Cambie el argumento a una cadena base64 |
bin | Cambie el argumento a un valor binario |
bit_length | Devolver la longitud de bits |
char, chr | Devuelve el carácter ASCII |
char_length, character_length | Devuelve la longitud de la cadena |
crc32 | Devuelve el valor de comprobación de redundancia cíclica |
degrees | Convertir radianes a grados |
format_number | Cambiar el formato del número |
from_json, get_json_object | Obtener datos de JSON |
hash | Devolver el valor hash |
hex | Convertir el argumento en un valor hexadecimal |
initcap | Cambia la cadena para que sea un caso de título |
lcase, lower | Cambia la cadena para que esté en minúscula |
lpad | Rellena el lado izquierdo de una cadena |
map | Creación de un mapa |
map_from_arrays | Creación de un mapa a partir de una matriz |
map_from_entries | Creación de un mapa a partir de una matriz de estructuras |
md5 | Devuelve el valor md5 |
rpad | Rellena el lado derecho de una cadena |
rtrim | Elimina los espacios finales |
sha, sha1 | Devuelve el valor SHA1 |
sha2 | Devuelve el valor SHA2 |
soundex | Devolver el código soundex |
stack | Separe los valores en filas |
substr, substring | Devuelve la subcadena |
to_json | Devuelve una cadena JSON |
translate | Reemplazar valores dentro de una cadena |
trim | Eliminar caracteres iniciales y finales |
ucase, upper | Cambie la cadena para que esté en mayúsculas |
unbase64 | Convertir la cadena base64 en binaria |
unhex | Convertir el hexadecimal en binario |
uuid | Devolver un UUID |
Evaluación de datos
| Función | Descripción |
|---|---|
coalesce | Devolver el primer argumento no nulo |
collect_list | Devuelve una lista de elementos no únicos |
collect_set | Devuelve un conjunto de elementos únicos |
concat | Concatenación |
concat_ws | Concatenación con separador |
count | Devuelve el recuento total de filas |
decode | Descodificar mediante un conjunto de caracteres |
elt | Devolver la entrada nth |
encode | Codificar con un conjunto de caracteres |
first, first_value | Devuelve el primer valor |
grouping | Indica si una columna está agrupada |
grouping_id | Devuelve el nivel de agrupación |
instr | Devuelve un índice de ocurrencia de caracteres basado en 1 |
json_tuple | Devuelve una tupla desde una entrada JSON |
lag, lead | Devuelve el valor antes del desplazamiento |
last, last_value | Devuelve el último valor |
left | Devuelve los primeros n caracteres |
length | Devuelve la longitud de la cadena |
levenshtein | Devuelve la distancia entre cadenas de Levenshtein |
locate, position | Devuelve la posición de la primera aparición de una subcadena |
map_concat | Concatenación de un mapa |
map_keys | Devolver las claves de un mapa |
map_values | Devolver los valores de un mapa |
ntile | Dividir filas en particiones |
nullif | Devuelve nulo si es verdadero |
nvl | Devuelve el valor si es nulo |
nvl2 | Devuelve un valor si no es nulo |
parse_url | Extrae parte de una dirección URL |
rank | Calcula la clasificación de un valor |
regexp_extract | Extrae algo que coincide con la regex |
regex_replace | Reemplaza algo que coincide con la regex |
repeat | Devuelve una cadena que se repite |
replace | Reemplazar todas las instancias de una cadena |
rollup | Creación de un resumen multidimensional |
row_number | Asigna un número de fila único |
schema_of_json | Devuelve el esquema del JSON |
sentences | Divide una cadena en una matriz de palabras |
sequence | Genera una matriz de elementos |
shiftleft | Desplazamiento hacia la izquierda bit firmado |
shiftright | Desplazamiento hacia la derecha bit firmado |
shiftrightunsigned | Desplazamiento hacia la derecha bit sin signo |
size | Devuelve el tamaño de la matriz |
space | Devuelve una cadena con n espacios |
split | Cadena dividida |
substring_index | Devolver índice de subcadena |
window | Ventana |
xpath | Analizar nodos XML |
xpath_double, xpath_number | Analizar nodos XML para el doble |
xpath_float | Analizar nodos XML para float |
xpath_int | Analizar nodos XML para enteros |
xpath_long | Analizar nodos XML durante mucho tiempo |
xpath_short | Analizar nodos XML para entero corto |
xpath_string | Analizar nodos XML para la cadena |