Spark SQL 함수

Adobe Experience Platform 쿼리 서비스는 SQL 기능을 확장하기 위해 내장된 여러 Spark SQL 기능을 제공합니다. 이 문서에는 쿼리 서비스에서 지원되는 Spark SQL 함수가 나와 있습니다.

함수 구문, 사용 방법, 예 등 함수에 대한 자세한 내용은 Spark SQL 함수 설명서를 참조하십시오.

노트

외부 설명서의 일부 기능이 지원되지 않습니다.

카테고리

수학 및 통계 연산자 및 함수

연산자/함수 설명
% 두 숫자 중 나머지 숫자를 반환합니다.
* 두 숫자를 곱합니다.
+ 두 숫자를 추가합니다.
- 두 숫자 빼기
/ 두 숫자 나누기
abs 입력의 절대값을 반환합니다.
acos 역코사인 값을 반환합니다.
approx_count_distinct HyperLogLog++의 예상 기수를 반환합니다.
approx_percentile 주어진 백분율로 대략적인 백분위수 값을 반환합니다.
asin 역사인 값을 반환합니다.
atan 역접선 값을 반환합니다.
atan2 양수 x축 평면과 좌표로 지정된 점 사이의 각도를 반환합니다.
avg 평균 값을 반환합니다.
cbrt 큐브 루트를 반환합니다.
ceil 또는 ceiling 입력 값보다 크지 않은 가장 작은 정수를 반환합니다.
conv 한 베이스에서 다른 베이스로 변환
corr 숫자 사이의 피어슨 계수를 반환합니다.
cos 코사인 값을 반환합니다.
cosh 쌍곡코사인 값을 반환합니다.
cot 컨텐츠 값을 반환합니다.
dense_rank 값 그룹의 값 등급을 반환합니다.
e Euler의 번호를 반환합니다.
exp e를 값의 거듭제곱 반환
expm1 e를 값 빼기 1의 거듭제곱으로 반환합니다.
factorial 값의 조합을 반환합니다.
floor 값보다 작지 않은 가장 큰 정수를 반환합니다.
greatest 모든 매개 변수의 가장 큰 값을 반환합니다.
hypot 주어진 두 값의 가설을 반환합니다.
kurtosis 그룹의 첨자 값을 반환합니다.
least 모든 매개 변수의 가장 작은 값을 반환합니다.
ln 값의 자연 로그를 반환합니다.
log 값의 로그를 반환합니다.
log10 값의 밑이 10인 로그를 반환합니다.
log1p 값의 로그 더하기 1을 반환합니다.
log2 값의 밑이 2인 로그를 반환합니다.
max 표현식의 최대값을 반환합니다.
mean 값에서 계산된 평균을 반환합니다.
min 표현식의 최소값을 반환합니다.
monotonically_increasing_id 단색으로 증가하는 ID를 반환합니다.
negative 무효화된 값을 반환합니다.
percent_rank 값의 백분율 등급을 반환합니다.
percentile 지정된 백분율로 정확한 백분위수를 반환합니다.
percentile_approx 지정된 백분율로 대략적인 백분위수를 반환합니다.
pi pi 반환
pmod 두 값 사이의 양의 모듈을 반환합니다.
positive 양의 값을 반환합니다.
pow, power 두 번째 값의 성능에 첫 번째 값을 반환합니다.
radians 값을 라디안으로 변환합니다.
rand 0과 1 사이의 난수를 반환합니다.
randn 임의 값을 반환합니다.
rint 가장 가까운 이중 값을 반환합니다.
round 가장 근접한 반올림값을 반환합니다.
sign, signum 숫자 기호를 반환합니다.
sin 값의 사인을 반환합니다.
sinh 값의 쌍곡사인을 반환합니다.
sqrt 값의 제곱근을 반환합니다.
stddev 값의 표준 편차를 반환합니다.
sttdev_pop 값의 모집단 표준 편차를 반환합니다.
stddev_samp 값의 샘플 표준 편차를 반환합니다.
sum 값의 합계를 반환합니다.
tan 값의 탄젠트를 반환합니다.
tanh 값의 쌍곡탄젠트를 반환합니다.
var_pop 계산된 인구 변화를 반환합니다.
var_samp, variance 계산된 샘플 변화를 반환합니다.

논리 연산자 및 함수

연산자/함수 설명
! 또는 not 논리 NOT
< 보다 작음
<= 작거나 같음
= 같음
> 보다 큼
>= 크거나 같음
^ 비트 전용 또는
>= 크거나 같음
[` `](https://spark.apache.org/docs/latest/api/sql/index.html#_15)
~ 비트 전송되지 않음
arrays_overlap 공통 요소를 반환합니다.
assert_true 표현식이 true인 경우 어설션
if 표현식이 true로 평가되면 두 번째 표현식을 반환합니다. 그렇지 않으면 세 번째 표현식을 반환합니다.
ifnull 식이 null이면 두 번째 식을 반환합니다. 그렇지 않으면 첫 번째 표현식을 반환합니다.
in 다음 표현식에 첫 번째 표현식이 있으면 true를 반환합니다.
isnan 값이 숫자가 아닌 경우 true를 반환합니다.
isnotnull 값이 null이 아니면 true를 반환합니다.
isnull 값이 null이면 true를 반환합니다.
nanvl 숫자가 아닌 경우 첫 번째 표현식을 반환하고 두 번째 표현식을 반환합니다.
or 논리 또는
when 비교할 분기 조건을 만드는 데 사용할 수 있는 시기
xpath_boolean XPath 표현식이 true로 평가되거나 일치하는 노드가 발견되면 true를 반환합니다.

날짜/시간 함수

함수 설명
add_months 날짜에 월 추가
date_add 날짜에 일 추가
date_format 날짜 형식 수정
date_sub 날짜로부터 일 빼기
date_trunc 지정된 단위로 잘린 날짜를 반환합니다.
datediff 일 단위 날짜 간의 차이를 반환합니다.
day, dayofmonth 해당 월의 날짜를 반환합니다.
dayofweek 요일을 반환합니다(1-7).
dayofyear 일 수를 반환합니다.
from_unixtime Unix 시간으로 날짜를 반환합니다.
from_utc_timestamp 날짜를 UTC 시간으로 반환합니다.
hour 입력 시간을 반환합니다.
last_day 날짜가 속하는 월의 마지막 날을 반환합니다.
minute 입력 시간을 반환합니다.
month 입력 월을 반환합니다.
months_between 다음 사이의 개월 수
next_day 입력보다 늦은 첫 번째 날을 반환합니다.
quarter 입력 분기를 반환합니다.
second 문자열의 두 번째 값을 반환합니다.
to_date 문자열을 날짜로 변환합니다.
to_timestamp 문자열을 타임스탬프로 변환합니다.
to_unix_timestamp 문자열을 Unix 타임스탬프로 변환합니다.
to_utc_timestamp 문자열을 UTC 타임스탬프로 변환합니다.
trunc 날짜를 자릅니다.
unix_timestamp Unix 타임스탬프를 반환합니다.
weekday 요일(0-6)
weekofyear 지정된 날짜에 대한 연도의 주를 반환합니다.
year 문자열의 연도를 반환합니다.

배열

함수 설명
array 지정된 요소가 있는 배열을 만듭니다.
array_contains 배열에 값이 포함되어 있는지 확인합니다.
array_distinct 배열에서 중복 값을 제거합니다.
array_except 첫 번째 배열에 있는 요소의 배열을 반환하지만 두 번째 배열은 반환합니다.
array_intersect 두 배열의 교차를 반환합니다.
array_join 두 개의 스토리지를 함께 연결
array_max 배열의 최대값을 반환합니다.
array_min 배열의 최소 값을 반환합니다.
array_position 요소의 1 기반 위치를 반환합니다.
array_remove 요소와 같은 모든 요소를 제거합니다.
array_repeat 계산 시간이 포함된 배열을 만듭니다.
array_sort 배열을 정렬합니다.
array_union 중복 없이 배열을 함께 결합합니다.
array_zip Zip
cardinality 배열의 크기를 반환합니다.
element_at 요소의 위치를 반환합니다.
explode 배열 요소를 여러 행으로 분리(null 제외)
explode_outer 배열 요소를 null을 포함하여 여러 행으로 분리
find_in_set 배열의 1기반 위치를 반환합니다.
flatten 배열 병합
inline null을 제외하고 별도의 구조체 배열을 테이블로 지정합니다.
inline_outer null을 포함하여 별도의 구조체 배열
posexplod 배열 요소를 위치가 있는 여러 행으로 분리(null 제외)
posexplod 배열 요소를 null을 포함하여 위치가 있는 여러 행으로 분리
reverse 배열의 요소 반전
shuffle 배열의 임의 순차를 반환합니다.
slice 배열의 하위 세트
sort_array 순서가 지정된 배열 정렬
zip_with 함수를 적용하기 전에 두 배열을 단일 배열로 병합합니다.

데이터 형식 변환 함수

함수 설명
bigint 데이터 유형을 bigint로 변경
binary 데이터 형식을 이진 형식으로 변경
boolean 데이터 유형을 부울로 변경
type 데이터 유형을 지정된 유형으로 변경
date 데이터 유형을 날짜로 변경
decimal 데이터 유형을 십진수로 변경
double 데이터 유형을 두 배로 변경
float 데이터 유형을 부동 항목으로 변경
int 데이터 유형을 int로 변경
smallint 데이터 유형을 smallint로 변경
str_to_map 문자열에서 맵 만들기
string 데이터 유형을 문자열로 변경
struct 구조체 만들기
tinyint 데이터 유형을 tinyint로 변경

변환 및 서식 함수

함수 설명
ascii 숫자(ASCII) 값을 반환합니다.
base64 base64 문자열로 인수 변경
bin 인수를 이진 값으로 변경
bit_length 비트 길이를 반환합니다.
char, chr ASCII 문자 반환
char_length, character_length 문자열 길이를 반환합니다.
crc32 순환 중복 검사 값을 반환합니다.
degrees 라디안을 도로 변환
format_number 숫자 형식 변경
from_json, get_json_object JSON에서 데이터 가져오기
hash 해시 값을 반환합니다.
hex 인수를 16진수 값으로 변환
initcap 제목을 지정할 문자열을 변경합니다.
lcase, lower 문자열을 모두 소문자로 변경합니다.
lpad 문자열의 왼쪽에 패드를 넣습니다.
map 지도 만들기
map_from_arrays 배열에서 지도 만들기
map_from_entries 일련의 구조에서 지도 만들기
md5 md5 값 반환
rpad 문자열의 오른쪽에 패드를 넣습니다.
rtrim 후행 공백 제거
sha, sha1 SHA1 값 반환
sha2 SHA2 값 반환
soundex 사운드 덱스 코드 반환
stack 값을 행으로 구분
substr, substring 하위 문자열 반환
to_json JSON 문자열을 반환합니다.
translate 문자열 내의 값 바꾸기
trim 행간 및 후행 문자 제거
ucase, upper 문자열을 모두 대문자로 변경합니다.
unbase64 base64 문자열을 바이너리로 변환
unhex 16진수를 이진 파일로 변환
uuid UUID 반환

데이터 평가

함수 설명
coalesce null이 아닌 첫 번째 인수를 반환합니다.
collect_list 고유하지 않은 요소 목록 반환
collect_set 고유한 요소 집합 반환
concat 연결
concat_ws 구분 기호를 사용한 연결
count 행의 총 개수를 반환합니다.
decode 문자 집합을 사용하여 디코딩
elt n번째 입력을 반환합니다.
encode 문자 집합을 사용하여 인코딩
first, first_value 첫 번째 값을 반환합니다.
grouping 열을 그룹화했는지 여부를 나타냅니다.
grouping_id 그룹화 수준을 반환합니다.
instr 문자 발생 1부터 시작하는 인덱스를 반환합니다.
json_tuple JSON 입력에서 튜플을 반환합니다.
lag, lead 오프셋 앞에 값을 반환합니다.
last, last_value 마지막 값을 반환합니다.
left 첫 번째 n 문자를 반환합니다.
length 문자열의 길이를 반환합니다.
levenshtein 문자열 사이의 레벨 간격 거리를 반환합니다.
locate, position 하위 문자열의 첫 번째 발생 위치를 반환합니다.
map_concat 지도 연결
map_keys 지도 키 반환
map_values 지도 값 반환
ntile 행을 파티션으로 나누기
nullif true이면 null을 반환합니다.
nvl null인 경우 값을 반환합니다.
nvl2 null이 아닌 경우 값을 반환합니다.
parse_url URL의 일부를 추출합니다.
rank 값의 등급 계산
regexp_extract regex와 일치하는 항목을 추출합니다.
regex_replace regex와 일치하는 항목을 바꿉니다.
repeat 반복되는 문자열을 반환합니다.
replace 문자열의 모든 인스턴스 바꾸기
rollup 다차원 롤업 만들기
row_number 고유 행 번호를 할당합니다.
schema_of_json JSON의 스키마를 반환합니다.
sentences 문자열을 단어 배열로 분할
sequence 요소의 배열을 생성합니다.
shiftleft 서명된 비트 시프트 왼쪽
shiftright 서명된 비트 시프트 오른쪽
shiftrightunsigned 부호 없는 비트 시프트 오른쪽
size 배열의 크기를 반환합니다.
space n 공백이 있는 문자열 반환
split 문자열 분할
substring_index 하위 문자열의 인덱스 반환
window
xpath XML 노드 구문 분석
xpath_double, xpath_number XML 노드를 두 배로 구문 분석
xpath_float XML 노드에서 부동 소수점
xpath_int XML 노드에서 정수를 구문 분석합니다.
xpath_long XML 노드를 오랫동안 구문 분석합니다.
xpath_short XML 노드에서 짧은 정수를 구문 분석합니다.
xpath_string XML 노드에서 문자열을 구문 분석합니다.

현재 정보

함수 설명
current_database 현재 데이터베이스를 반환합니다.
current_date 현재 날짜를 반환합니다.
current_timestamp, now 현재 타임스탬프를 반환합니다.

높은 주문 함수

함수 설명
transform 배열의 요소 변형
exists 요소가 있는지 확인
filter 입력 배열 필터링
aggregate 모든 요소에 이진 연산자 적용

이 페이지에서는