Spark SQL 함수

여러 기본 제공 Spark SQL 함수를 사용하여 Adobe Experience Platform Query Service로 SQL 기능을 확장할 수 있습니다. 이 문서에서는 쿼리 서비스에서 지원하는 Spark SQL 함수를 나열합니다.

구문, 사용 방법 및 예를 포함하여 함수에 대한 자세한 내용은 Spark SQL 함수 설명서.

NOTE
외부 설명서의 모든 기능이 지원되는 것은 아닙니다.

수학 및 통계 연산자 및 함수 math

연산자/함수
설명
%
두 숫자의 나머지 반환
*
두 숫자를 곱합니다
+
두 숫자를 추가합니다.
-
두 숫자를 뺍니다.
/
두 숫자를 나눕니다.
abs
입력의 절대값 반환
acos
역 코사인 값 반환
approx_count_distinct
HyperLogLog에 의한 예상 카디널리티를 반환합니다++
approx_percentile
주어진 백분율로 대략적인 백분위수 값 반환
asin
역 사인 값 반환
atan
역탄젠트 값 반환
atan2
양의 x축 평면과 좌표로 지정된 점 사이의 각도 반환
avg
평균 값 반환
cbrt
세제곱근 반환
ceil 또는 ceiling
입력한 값보다 크지 않은 가장 작은 정수 반환
conv
한 베이스에서 다른 베이스로 변환
corr
숫자 사이의 피어슨 계수 반환
cos
코사인 값 반환
cosh
쌍곡코사인 값 반환
cot
코탄젠트 값 반환
dense_rank
값 그룹의 값 순위 반환
e
오일러 숫자 반환
exp
값의 거듭제곱으로 e 반환
expm1
e에서 1을 뺀 값의 거듭제곱 반환
factorial
값의 계승 반환
floor
값보다 작지 않은 가장 큰 정수 반환
greatest
모든 매개 변수 중 가장 큰 값을 반환합니다.
hypot
주어진 두 값의 빗변 반환
kurtosis
그룹에서 첨도 값 반환
least
모든 매개 변수 중 가장 작은 값을 반환합니다.
ln
값의 자연 로그 반환
log
값의 로그 반환
log10
밑이 10인 값의 로그 반환
log1p
값에 1을 더한 로그 반환
log2
밑이 2인 값의 로그 반환
max
표현식의 최대값 반환
mean
값에서 계산된 평균을 반환합니다.
min
표현식의 최소값 반환
monotonically_increasing_id
단조롭게 증가하는 ID 반환
negative
부정된 값 반환
percent_rank
값의 백분율 순위 반환
percentile
지정된 백분율로 정확한 백분위수 반환
percentile_approx
주어진 백분율로 대략적인 백분위수를 반환합니다.
pi
pi 반환
pmod
두 값 사이의 양의 모듈로 반환
positive
양수 값 반환
pow, power
첫 번째 값을 두 번째 값의 거듭제곱으로 반환합니다.
radians
값을 라디안으로 변환
rand
0에서 1까지의 난수 반환
randn
임의 값 반환
rint
가장 가까운 double 값 반환
round
가장 가까운 반올림된 값 반환
sign, signum
숫자 기호 반환
sin
값의 사인 반환
sinh
값의 쌍곡사인 반환
sqrt
값의 제곱근 반환
stddev
값의 표준 편차 반환
sttdev_pop
값의 모집단 표준 편차 반환
stddev_samp
값의 샘플 표준 편차 반환
sum
값의 합계 반환
tan
값의 탄젠트 반환
tanh
값의 쌍곡탄젠트 반환
var_pop
계산된 모집단 변량 반환
var_samp, variance
계산된 샘플 분산 반환

논리 연산자 및 함수 logical-operators

연산자/함수
설명
! 또는 not
논리적 아님
<
보다 작음
<=
작거나 같음
=
다음과 같음
>
보다 큼
>=
크거나 같음
^
비트 전용 또는
|
비트 OR
~
비트 아님
arrays_overlap
일반 요소 반환
assert_true
표현식이 true인지 어설션
if
표현식이 true로 평가되면 두 번째 표현식을 반환합니다. 그렇지 않으면 세 번째 표현식을 반환합니다.
ifnull
표현식이 null이면 두 번째 표현식을 반환합니다. 그렇지 않으면 첫 번째 표현식을 반환합니다.
in
첫 번째 표현식이 후속 표현식 중 하나이면 true를 반환합니다.
isnan
값이 숫자가 아닌 경우 true 반환
isnotnull
값이 null이 아니면 true 반환
isnull
값이 null이면 true 반환
nanvl
숫자가 아닌 경우 첫 번째 표현식 반환, 그렇지 않은 경우 두 번째 표현식 반환
or
논리적 또는
when
를 사용하여 비교할 분기 조건을 작성할 수 있습니다.
xpath_boolean
XPath 표현식이 true로 평가되거나 일치하는 노드가 발견되면 true를 반환합니다.

날짜/시간 함수 datetime-functions

함수
설명
add_months
일자에 월 추가
date_add
일자에 일 추가
date_format
날짜 형식 수정
date_sub
날짜에서 일 빼기
date_trunc
지정한 단위로 잘린 날짜 반환
datediff
일자 간 차이값(일) 반환
day, dayofmonth
날짜를 반환합니다.
dayofweek
요일 반환(1-7)
dayofyear
일(한 해 기준) 반환
from_unixtime
날짜를 UNIX® 시간으로 반환
from_utc_timestamp
날짜를 UTC 시간으로 반환
hour
입력 시간 반환
last_day
날짜가 속한 달의 마지막 날짜를 반환합니다.
minute
입력 시간(분) 반환
month
입력 월 반환
months_between
다음 기간 사이의 개월 수
next_day
입력보다 1일 늦게 반환
quarter
입력의 사분기를 반환합니다.
second
문자열의 초 반환
to_date
문자열을 날짜로 변환합니다. 참고: 문자열 필수 형식이어야 합니다. yyyy-mm-ddTHH24:MM:SS.
to_timestamp
문자열을 타임스탬프로 변환합니다. 참고: 문자열 필수 형식이어야 합니다. yyyy-mm-ddTHH24:MM:SS.
to_unix_timestamp
문자열을 UNIX® 타임스탬프로 변환합니다.
to_utc_timestamp
문자열을 UTC 타임스탬프로 변환
trunc
날짜 자르기
unix_timestamp
UNIX® 타임스탬프 반환
weekday
요일 (0-6)
weekofyear
지정된 일자의 주를 반환합니다.
year
문자열의 연도 반환

배열 arrays

함수
설명
array
지정된 요소로 배열을 만듭니다.
array_contains
배열에 값이 포함되어 있는지 확인합니다.
array_distinct
배열에서 중복 값 제거
array_except
첫 번째 배열에 있는 요소의 배열을 반환하지만 두 번째 배열은 반환하지 않습니다.
array_intersect
두 배열의 교차를 반환합니다.
array_join
두 배열을 함께 연결
array_max
배열의 최대값 반환
array_min
배열의 최소값 반환
array_position
요소의 1부터 시작하는 위치 반환
array_remove
요소와 동일한 모든 요소를 제거합니다.
array_repeat
계산 시간 값을 포함하는 배열 만들기
array_sort
배열 정렬
array_union
중복 없이 어레이를 함께 결합합니다.
arrays_zip
지정된 배열의 값을 지정된 인덱스의 원래 컬렉션 값과 결합합니다.
cardinality
배열 크기 반환
element_at
위치에 요소 반환
explode
배열의 요소를 여러 행으로 구분(null 제외)
explode_outer
배열의 요소를 null을 포함하여 여러 행으로 구분
find_in_set
배열의 1부터 시작하는 위치를 반환합니다.
flatten
배열 배열 병합
inline
null을 제외하고 구조체 배열을 테이블로 구분
inline_outer
null을 포함하여 별도의 구조체 배열을 테이블로
posexplode
배열의 요소를 null을 제외하고 위치가 있는 여러 행으로 구분
reverse
배열의 요소 반전
shuffle
배열의 임의 순열 반환
slice
배열 하위 집합
sort_array
주어진 순서로 배열을 정렬합니다.
zip_with
함수를 적용하기 전에 두 배열을 단일 배열로 병합합니다.

데이터 유형 캐스팅 함수 datatype-casting

함수
설명
bigint
데이터 유형을 bigint로 변경
binary
데이터 형식을 이진으로 변경
boolean
데이터 유형을 부울로 변경
type
데이터 형식을 지정된 형식으로 변경합니다.
date
데이터 유형을 날짜로 변경
decimal
데이터 형식을 십진수로 변경
double
데이터 유형을 double로 변경
float
데이터 형식을 float으로 변경
int
데이터 유형을 int로 변경
smallint
데이터 유형을 smallint로 변경
str_to_map
문자열에서 맵 만들기
string
데이터 유형을 문자열로 변경
struct
구조 만들기
tinyint
데이터 유형을 tinyint로 변경

변환 및 서식 함수 conversion

함수
설명
ascii
숫자(ASCII) 값 반환
base64
인수를 base64 문자열로 변경합니다.
bin
인수를 이진 값으로 변경합니다.
bit_length
비트 길이 반환
char, chr
ASCII 문자 반환
char_length, character_length
문자열 길이 반환
crc32
순환 중복 검사 값 반환
degrees
라디안을 도로 변환
format_number
숫자 형식 변경
from_json, get_json_object
JSON에서 데이터 가져오기
hash
해시 값 반환
hex
인수를 16진수 값으로 변환
initcap
문자열을 제목 대/소문자로 변경합니다.
lcase, lower
문자열을 모두 소문자로 변경합니다.
lpad
문자열의 왼쪽에 패드 달기
map
맵 만들기
map_from_arrays
배열에서 맵 만들기
map_from_entries
구조체 배열에서 맵 만들기
md5
md5 값 반환
rpad
문자열의 오른쪽에 패드 추가
rtrim
후행 공백 제거
sha, sha1
SHA1 값 반환
sha2
SHA2 값 반환
soundex
Soundex 코드 반환
stack
값을 행으로 구분
substr, substring
하위 문자열 반환
to_json
JSON 문자열 반환
translate
문자열 내의 값 바꾸기
trim
선행 및 후행 문자 제거
ucase, upper
문자열을 모두 대문자로 변경합니다.
unbase64
base64 문자열을 이진으로 변환
unhex
16진수를 바이너리로 변환
uuid
UUID 반환

데이터 평가 data-evaluation

함수
설명
coalesce
null이 아닌 첫 번째 인수 반환
collect_list
고유하지 않은 요소 목록 반환
collect_set
고유 요소 집합 반환
concat
연결
concat_ws
분리자와 연결
count
행의 총 개수 반환
decode
문자 집합을 사용하여 디코딩
elt
반환 n번째 입력
encode
문자 집합을 사용하여 인코딩
first, first_value
첫 번째 값 반환
grouping
열이 그룹화되었는지 보여 줍니다.
grouping_id
그룹화 수준 반환
instr
문자 발생에 대한 1부터 시작하는 인덱스 반환
json_tuple
JSON 입력에서 튜플 반환
lag, lead
오프셋 이전 값 반환
last, last_value
마지막 값 반환
left
첫 번째 반환 n
length
문자열의 길이 반환
levenshtein
문자열 간 Levenshtein 거리 반환
locate, position
하위 문자열의 첫 번째 발생 위치 반환
map_concat
맵 연결
map_keys
맵의 키 반환
map_values
맵 값 반환
ntile
행을 분할 영역으로 분할
nullif
true인 경우 null 반환
nvl
null인 경우 값 반환
nvl2
null이 아닌 경우 값 반환
parse_url
URL의 일부 추출
rank
값의 순위 계산
regexp_extract
정규 표현식과 일치하는 것을 추출합니다
regex_replace
정규 표현식과 일치하는 것을 대체합니다.
repeat
반복하는 문자열 반환
replace
문자열의 모든 인스턴스 바꾸기
rollup
다차원 롤업 만들기
row_number
고유한 행 번호 할당
schema_of_json
JSON 스키마 반환
sentences
문자열을 단어 배열로 분할합니다.
sequence
요소 배열 생성
shiftleft
부호 있는 비트 시프트 왼쪽
shiftright
부호 있는 비트 시프트 오른쪽
shiftrightunsigned
부호 없는 비트 시프트 오른쪽
size
배열 크기 반환
space
다음을 사용하여 문자열 반환 n 공백
split
문자열 분할
substring_index
하위 문자열의 인덱스 반환
window
xpath
XML 노드 구문 분석
xpath_double, xpath_number
XML 노드를 double로 구문 분석
xpath_float
부동 소수점에 대한 XML 노드 구문 분석
xpath_int
정수에 대한 XML 노드 구문 분석
xpath_long
XML 노드를 길게 구문 분석
xpath_short
짧은 정수에 대한 XML 노드 구문 분석
xpath_string
문자열에 대한 XML 노드 구문 분석

현재 정보 current-information

함수
설명
current_database
현재 데이터베이스를 반환합니다.
current_date
현재 날짜 반환
current_timestamp, now
현재 타임스탬프 반환

고차 함수 higher-order

함수
설명
transform
배열의 요소 변형
exists
요소가 있는지 확인
filter
입력 배열 필터링
aggregate
모든 요소에 이진 연산자 적용
recommendation-more-help
ccf2b369-4031-483f-af63-a93b5ae5e3fb