Spark SQL 함수

Adobe Experience Platform Query Service는 SQL 기능을 확장하기 위한 몇 가지 내장 Spark SQL 기능을 제공합니다. 이 문서에서는 쿼리 서비스에서 지원하는 Spark SQL 함수를 나열합니다.

구문, 사용 방법 및 예를 포함하여 함수에 대한 자세한 내용은 Spark SQL 함수 설명서.

노트

외부 설명서의 모든 기능이 지원되는 것은 아닙니다.

수학 및 통계 연산자 및 함수

연산자/함수 설명
% 두 숫자의 나머지 반환
* 두 숫자를 곱합니다
+ 두 숫자를 추가합니다.
- 두 숫자를 뺍니다.
/ 두 숫자를 나눕니다.
abs 입력의 절대값 반환
acos 역 코사인 값 반환
approx_count_distinct HyperLogLog에 의한 예상 카디널리티를 반환합니다++
approx_percentile 주어진 백분율로 대략적인 백분위수 값 반환
asin 역 사인 값 반환
atan 역탄젠트 값 반환
atan2 양의 x축 평면과 좌표로 지정된 점 사이의 각도 반환
avg 평균 값 반환
cbrt 세제곱근 반환
ceil 또는 ceiling 입력한 값보다 크지 않은 가장 작은 정수 반환
conv 한 베이스에서 다른 베이스로 변환
corr 숫자 사이의 피어슨 계수 반환
cos 코사인 값 반환
cosh 쌍곡코사인 값 반환
cot 코탄젠트 값 반환
dense_rank 값 그룹의 값 순위 반환
e 오일러 숫자 반환
exp 값의 거듭제곱으로 e 반환
expm1 e에서 1을 뺀 값의 거듭제곱 반환
factorial 값의 계승 반환
floor 값보다 작지 않은 가장 큰 정수 반환
greatest 모든 매개 변수 중 가장 큰 값을 반환합니다.
hypot 주어진 두 값의 빗변 반환
kurtosis 그룹에서 첨도 값 반환
least 모든 매개 변수 중 가장 작은 값을 반환합니다.
ln 값의 자연 로그 반환
log 값의 로그 반환
log10 밑이 10인 값의 로그 반환
log1p 값에 1을 더한 로그 반환
log2 밑이 2인 값의 로그 반환
max 표현식의 최대값 반환
mean 값에서 계산된 평균을 반환합니다.
min 표현식의 최소값 반환
monotonically_increasing_id 단조롭게 증가하는 ID 반환
negative 부정된 값 반환
percent_rank 값의 백분율 순위 반환
percentile 지정된 백분율로 정확한 백분위수 반환
percentile_approx 주어진 백분율로 대략적인 백분위수를 반환합니다.
pi pi 반환
pmod 두 값 사이의 양의 모듈로 반환
positive 양수 값 반환
pow, power 첫 번째 값을 두 번째 값의 거듭제곱으로 반환합니다.
radians 값을 라디안으로 변환
rand 0과 1 사이의 난수를 반환합니다.
randn 임의 값 반환
rint 가장 가까운 double 값 반환
round 가장 가까운 반올림된 값 반환
sign, signum 숫자 기호 반환
sin 값의 사인 반환
sinh 값의 쌍곡사인 반환
sqrt 값의 제곱근 반환
stddev 값의 표준 편차 반환
sttdev_pop 값의 모집단 표준 편차 반환
stddev_samp 값의 샘플 표준 편차 반환
sum 값의 합계 반환
tan 값의 탄젠트 반환
tanh 값의 쌍곡탄젠트 반환
var_pop 계산된 모집단 변량 반환
var_samp, variance 계산된 샘플 분산 반환

논리 연산자 및 함수

연산자/함수 설명
! 또는 not 논리적 아님
< 미만
<= 작거나 같음
= 같음
> 보다 큼
>= 크거나 같음
^ 비트 전용 또는
| 비트 OR
~ 비트 아님
arrays_overlap 일반 요소 반환
assert_true 표현식이 true인지 어설션
if 표현식이 true로 평가되면 두 번째 표현식을 반환합니다. 그렇지 않으면 세 번째 표현식을 반환합니다.
ifnull 표현식이 null이면 두 번째 표현식을 반환합니다. 그렇지 않으면 첫 번째 표현식을 반환합니다.
in 첫 번째 표현식이 후속 표현식 중 하나이면 true를 반환합니다.
isnan 값이 숫자가 아닌 경우 true 반환
isnotnull 값이 null이 아니면 true 반환
isnull 값이 null이면 true 반환
nanvl 숫자가 아닌 경우 첫 번째 표현식 반환, 그렇지 않은 경우 두 번째 표현식 반환
or 논리적 또는
when 를 사용하여 비교할 분기 조건을 작성할 수 있습니다.
xpath_boolean XPath 표현식이 true로 평가되거나 일치하는 노드가 발견되면 true를 반환합니다.

날짜/시간 함수

함수 설명
add_months 일자에 월 추가
date_add 일자에 일 추가
date_format 날짜 형식 수정
date_sub 날짜에서 일 빼기
date_trunc 지정한 단위로 잘린 날짜 반환
datediff 일자 간 차이값(일) 반환
day, dayofmonth 날짜를 반환합니다.
dayofweek 요일 반환(1-7)
dayofyear 일(한 해 기준) 반환
from_unixtime 날짜를 Unix 시간으로 반환
from_utc_timestamp 날짜를 UTC 시간으로 반환
hour 입력 시간 반환
last_day 날짜가 속한 달의 말일을 반환합니다.
minute 입력 시간(분) 반환
month 입력 월 반환
months_between 다음 기간 사이의 개월 수
next_day 입력보다 1일 늦게 반환
quarter 입력의 사분기를 반환합니다.
second 문자열의 초 반환
to_date 문자열을 날짜로 변환합니다. 참고: 문자열 필수 형식이어야 합니다. yyyy-mm-ddTHH24:MM:SS.
to_timestamp 문자열을 타임스탬프로 변환합니다. 참고: 문자열 필수 형식이어야 합니다. yyyy-mm-ddTHH24:MM:SS.
to_unix_timestamp 문자열을 Unix 타임스탬프로 변환합니다.
to_utc_timestamp 문자열을 UTC 타임스탬프로 변환
trunc 날짜 자르기
unix_timestamp Unix 타임스탬프 반환
weekday 요일 (0-6)
weekofyear 지정된 일자의 주를 반환합니다.
year 문자열의 연도 반환

배열

함수 설명
array 지정된 요소로 배열을 만듭니다.
array_contains 배열에 값이 포함되어 있는지 확인합니다.
array_distinct 배열에서 중복 값 제거
array_except 첫 번째 배열에 있는 요소의 배열을 반환하지만 두 번째 배열은 반환하지 않습니다.
array_intersect 두 배열의 교차를 반환합니다.
array_join 두 배열을 함께 연결
array_max 배열의 최대값 반환
array_min 배열의 최소값 반환
array_position 요소의 1부터 시작하는 위치 반환
array_remove 요소와 동일한 모든 요소를 제거합니다.
array_repeat 계산 시간 값을 포함하는 배열 만들기
array_sort 배열 정렬
array_union 중복 없이 어레이를 함께 결합합니다.
arrays_zip 지정된 배열의 값을 지정된 인덱스의 원래 컬렉션 값과 결합합니다.
cardinality 배열 크기 반환
element_at 위치에 요소 반환
explode 배열의 요소를 여러 행으로 구분(null 제외)
explode_outer 배열의 요소를 null을 포함하여 여러 행으로 구분
find_in_set 배열의 1부터 시작하는 위치를 반환합니다.
flatten 배열 배열 병합
inline null을 제외하고 구조체 배열을 테이블로 구분
inline_outer null을 포함하여 별도의 구조체 배열을 테이블로
posexplode 배열의 요소를 null을 제외하고 위치가 있는 여러 행으로 구분
reverse 배열의 요소 반전
shuffle 배열의 임의 순열 반환
slice 배열 하위 집합
sort_array 주어진 순서로 배열을 정렬합니다.
zip_with 함수를 적용하기 전에 두 배열을 단일 배열로 병합합니다.

데이터 유형 캐스팅 함수

함수 설명
bigint 데이터 유형을 bigint로 변경
binary 데이터 형식을 이진으로 변경
boolean 데이터 유형을 부울로 변경
type 데이터 형식을 지정된 형식으로 변경합니다.
date 데이터 유형을 날짜로 변경
decimal 데이터 형식을 십진수로 변경
double 데이터 유형을 double로 변경
float 데이터 형식을 float으로 변경
int 데이터 유형을 int로 변경
smallint 데이터 유형을 smallint로 변경
str_to_map 문자열에서 맵 만들기
string 데이터 유형을 문자열로 변경
struct 구조 만들기
tinyint 데이터 유형을 tinyint로 변경

변환 및 서식 함수

함수 설명
ascii 숫자(ASCII) 값 반환
base64 인수를 base64 문자열로 변경합니다.
bin 인수를 이진 값으로 변경합니다.
bit_length 비트 길이 반환
char, chr ASCII 문자 반환
char_length, character_length 문자열 길이 반환
crc32 순환 중복 검사 값 반환
degrees 라디안을 도로 변환
format_number 숫자 형식 변경
from_json, get_json_object JSON에서 데이터 가져오기
hash 해시 값 반환
hex 인수를 16진수 값으로 변환
initcap 문자열을 제목 케이스로 변경합니다.
lcase, lower 문자열을 모두 소문자로 변경합니다.
lpad 문자열의 왼쪽에 패드 달기
map 맵 만들기
map_from_arrays 배열에서 맵 만들기
map_from_entries 구조체 배열에서 맵 만들기
md5 md5 값 반환
rpad 문자열의 오른쪽에 패드 추가
rtrim 후행 공백 제거
sha, sha1 SHA1 값 반환
sha2 SHA2 값 반환
soundex Soundex 코드 반환
stack 값을 행으로 구분
substr, substring 하위 문자열 반환
to_json JSON 문자열 반환
translate 문자열 내의 값 바꾸기
trim 선행 및 후행 문자 제거
ucase, upper 문자열을 모두 대문자로 변경합니다.
unbase64 base64 문자열을 이진으로 변환
unhex 16진수를 바이너리로 변환
uuid UUID 반환

데이터 평가

함수 설명
coalesce null이 아닌 첫 번째 인수 반환
collect_list 고유하지 않은 요소 목록 반환
collect_set 고유 요소 집합 반환
concat 연결
concat_ws 분리자와 연결
count 행의 총 개수 반환
decode 문자 집합을 사용하여 디코딩
elt 반환 n번째 입력
encode 문자 집합을 사용하여 인코딩
first, first_value 첫 번째 값 반환
grouping 열이 그룹화되었는지 보여 줍니다.
grouping_id 그룹화 수준 반환
instr 문자 발생에 대한 1부터 시작하는 인덱스 반환
json_tuple JSON 입력에서 튜플 반환
lag, lead 오프셋 이전 값 반환
last, last_value 마지막 값 반환
left 첫 번째 반환 n 자
length 문자열의 길이 반환
levenshtein 문자열 간 Levenshtein 거리 반환
locate, position 하위 문자열의 첫 번째 발생 위치 반환
map_concat 맵 연결
map_keys 맵의 키 반환
map_values 맵 값 반환
ntile 행을 분할 영역으로 분할
nullif true인 경우 null 반환
nvl null인 경우 값 반환
nvl2 null이 아닌 경우 값 반환
parse_url URL의 일부 추출
rank 값의 순위 계산
regexp_extract 정규 표현식과 일치하는 것을 추출합니다
regex_replace 정규 표현식과 일치하는 것을 대체합니다.
repeat 반복하는 문자열 반환
replace 문자열의 모든 인스턴스 바꾸기
rollup 다차원 롤업 만들기
row_number 고유한 행 번호 할당
schema_of_json JSON 스키마 반환
sentences 문자열을 단어 배열로 분할합니다.
sequence 요소 배열 생성
shiftleft 부호 있는 비트 시프트 왼쪽
shiftright 부호 있는 비트 시프트 오른쪽
shiftrightunsigned 부호 없는 비트 시프트 오른쪽
size 배열 크기 반환
space 다음을 사용하여 문자열 반환 n 공백
split 문자열 분할
substring_index 하위 문자열의 인덱스 반환
window 창
xpath XML 노드 구문 분석
xpath_double, xpath_number XML 노드를 double로 구문 분석
xpath_float 부동 소수점에 대한 XML 노드 구문 분석
xpath_int 정수에 대한 XML 노드 구문 분석
xpath_long XML 노드를 길게 구문 분석
xpath_short 짧은 정수에 대한 XML 노드 구문 분석
xpath_string 문자열에 대한 XML 노드 구문 분석

현재 정보

함수 설명
current_database 현재 데이터베이스를 반환합니다.
current_date 현재 날짜 반환
current_timestamp, now 현재 타임스탬프 반환

고차 함수

함수 설명
transform 배열의 요소 변형
exists 요소가 있는지 확인
filter 입력 배열 필터링
aggregate 모든 요소에 이진 연산자 적용

이 페이지에서는