Spark SQL 함수

Adobe Experience Platform Query Service는 SQL 기능을 확장하기 위해 내장된 여러 Spark SQL 함수를 제공합니다. 이 문서에서는 Query Service에서 지원하는 Spark SQL 함수를 나열합니다.

구문, 사용, 예제 등 함수에 대한 자세한 내용은 Spark SQL 함수 설명서를 참조하십시오.

노트

외부 설명서의 모든 기능이 지원되는 것은 아닙니다.

카테고리

수학 및 통계 연산자 및 함수

연산자/함수 설명
% 두 숫자 중 나머지 숫자 반환
* 두 숫자를 곱합니다
+ 두 숫자를 추가합니다
- 두 숫자 빼기
/ 두 숫자를 나눕니다
abs 입력의 절대값 반환
acos 역 코사인 값 반환
approx_count_distinct HyperLogLog++로 예상 카디널리티를 반환합니다.
approx_percentile 지정된 백분율로 대략적인 백분위수 값 반환
asin 역 사인 값 반환
atan 역탄젠트 값 반환
atan2 양수 x축 평면과 좌표에서 지정한 점 사이의 각도 반환
avg 평균 값 반환
cbrt 큐브 루트 반환
ceil 또는 ceiling 입력한 값보다 크지 않은 최소 정수 반환
conv 한 베이스에서 다른 베이스로 변환
corr 숫자 사이의 Pearson 계수를 반환합니다.
cos 코사인 값 반환
cosh 쌍곡코사인 값 반환
cot 컨텍스트 값 반환
dense_rank 값 그룹의 값 등급 반환
e 오일러의 숫자 반환
exp 값의 거듭제곱 반환
expm1 값 -1의 전원으로 e 반환
factorial 값의 계승 반환
floor 값보다 크지 않은 가장 큰 정수 반환
greatest 모든 매개 변수의 가장 큰 값 반환
hypot 제공된 두 값의 가설 값 반환
kurtosis 그룹에서 첨자 값 반환
least 모든 매개 변수의 가장 작은 값 반환
ln 값의 자연 로그를 반환합니다.
log 값의 로그 반환
log10 값의 밑 10으로 로그를 반환합니다.
log1p 값의 로그 반환 및 1
log2 값의 밑 2에 있는 로그를 반환합니다.
max 표현식의 최대값 반환
mean 값에서 계산된 평균 반환
min 표현식의 최소값 반환
monotonically_increasing_id 단조롭게 증가하는 ID 반환
negative 음수 값 반환
percent_rank 값의 백분율 등급 반환
percentile 지정된 백분율로 정확한 백분위수 반환
percentile_approx 지정된 백분율로 대략적인 백분위수 반환
pi pi 반환
pmod 두 값 사이의 양수 모듈 반환
positive 양수 값 반환
pow, power 두 번째 값의 전원에 첫 번째 값 반환
radians 값을 라디안으로 변환
rand 0에서 1 사이의 임의 숫자 반환
randn 임의 값 반환
rint 가장 가까운 이중 값 반환
round 가장 가까운 반올림된 값 반환
sign, signum 숫자 기호 반환
sin 값의 사인 반환
sinh 값의 쌍곡사인 반환
sqrt 값의 제곱근 반환
stddev 값의 표준 편차 반환
sttdev_pop 값의 모집단 표준 편차 반환
stddev_samp 값의 샘플 표준 편차 반환
sum 값의 합계 반환
tan 값의 탄젠트 반환
tanh 값의 쌍곡탄젠트 반환
var_pop 계산된 모집단 분산 반환
var_samp, variance 계산된 샘플 분산 반환

논리 연산자 및 함수

연산자/함수 설명
! 또는 not 논리적이지 않음
< 보다 작음
<= 작거나 같음
= 같음
> 보다 큼
>= 크거나 같음
^ 비트 전용 또는
>= 크거나 같음
[` `](https://spark.apache.org/docs/latest/api/sql/index.html#_15)
~ 비트 아님
arrays_overlap 일반 요소 반환
assert_true 표현식이 true이면 어설션
if 표현식이 true로 평가되면 두 번째 표현식을 반환합니다. 그렇지 않으면 세 번째 표현식을 반환합니다.
ifnull 표현식이 null이면 두 번째 표현식을 반환합니다. 그렇지 않으면 첫 번째 표현식을 반환합니다.
in 첫 번째 표현식이 후속 표현식에 있으면 true를 반환합니다.
isnan 값이 숫자가 아니면 true 반환
isnotnull 값이 null이 아니면 true 반환
isnull 값이 null이면 true 반환
nanvl 숫자가 아닌 경우 첫 번째 표현식을 반환하고, 그렇지 않으면 두 번째 표현식을 반환합니다
or 논리 또는
when 비교할 분기 조건을 만드는 데 사용할 수 있는 시기
xpath_boolean XPath 식이 true로 평가되거나 일치하는 노드가 발견되면 true를 반환합니다

날짜/시간 함수

함수 설명
add_months 날짜에 개월 추가
date_add 날짜에 일 추가
date_format 날짜 형식 수정
date_sub 날짜에서 일수 빼기
date_trunc 지정된 단위로 잘린 날짜 반환
datediff 날짜 간의 차이 반환(일 단위)
day, dayofmonth 월의 날짜 반환
dayofweek 요일 반환(1-7)
dayofyear 일(한 해 기준) 반환
from_unixtime Unix 시간으로 날짜 반환
from_utc_timestamp UTC 시간으로 날짜 반환
hour 입력 시간 반환
last_day 날짜가 속하는 월의 마지막 날 반환
minute 입력의 분 반환
month 입력 월 반환
months_between 사이의 개월 수
next_day 입력보다 첫 번째 날 후 반환
quarter 입력의 분기 반환
second 문자열의 두 번째 반환
to_date 문자열을 날짜로 변환합니다. 참고: 문자열 ​은 형식이어야 yyyy-mm-ddTHH24:MM:SS합니다.
to_timestamp 문자열을 타임스탬프로 변환합니다. 참고: 문자열 ​은 형식이어야 yyyy-mm-ddTHH24:MM:SS합니다.
to_unix_timestamp 문자열을 Unix 타임스탬프로 변환
to_utc_timestamp 문자열을 UTC 타임스탬프로 변환
trunc 날짜를 자릅니다
unix_timestamp Unix 타임스탬프를 반환합니다.
weekday 요일(0-6)
weekofyear 주어진 날짜에 대한 연도의 주 반환
year 문자열의 연도 반환

배열

함수 설명
array 지정된 요소를 사용하여 배열을 만듭니다
array_contains 배열에 값이 포함되어 있는지 확인합니다
array_distinct 배열에서 중복 값 제거
array_except 첫 번째 배열에 있는 요소의 배열을 반환하지만 두 번째 배열은 반환하지 않습니다
array_intersect 두 배열의 교차 반환
array_join 두 개의 스토리지를 함께 연결
array_max 배열의 최대값 반환
array_min 배열의 최소값 반환
array_position 요소의 1기반 위치 반환
array_remove 요소와 동일한 모든 요소를 제거합니다
array_repeat 계산 시간 값이 포함된 배열을 만듭니다.
array_sort 배열을 정렬합니다.
array_union 중복 없이 어레이를 함께 결합합니다.
array_zip Zip
cardinality 배열 크기 반환
element_at 요소를 위치에 반환
explode 배열 요소를 여러 행으로 구분하고 null 제외
explode_outer 배열 요소를 null을 포함하여 여러 행으로 구분
find_in_set 배열의 1기반 위치 반환
flatten 어레이 배열 병합
inline null을 제외하고 별도의 구조 배열을 테이블로 지정합니다.
inline_outer null을 포함하여 별도의 구조 배열을 테이블로 지정합니다.
posexplod 배열 요소를 Null을 제외하고 Position이 있는 여러 행으로 분리
posexplod 배열 요소를 null을 포함하여 위치가 있는 여러 행으로 분리
reverse 배열의 역방향 요소
shuffle 배열의 임의 순차 반환
slice 배열을 하위 설정합니다.
sort_array 순서가 지정된 배열 정렬
zip_with 함수를 적용하기 전에 두 배열을 단일 배열로 병합합니다

데이터 형식 변환 함수

함수 설명
bigint 데이터 유형을 bigint로 변경합니다.
binary 데이터 형식을 바이너리로 변경
boolean 데이터 유형을 부울로 변경
type 데이터 형식을 지정된 형식으로 변경합니다
date 데이터 유형을 날짜로 변경
decimal 데이터 유형을 십진수로 변경
double 데이터 유형을 두 번 변경합니다
float 데이터 유형을 실수로 변경
int 데이터 유형을 int로 변경합니다.
smallint 데이터 형식을 smallint로 변경합니다.
str_to_map 문자열에서 맵 만들기
string 데이터 유형을 문자열로 변경
struct 구조체 만들기
tinyint 데이터 유형을 tinyint로 변경합니다.

변환 및 서식 함수

함수 설명
ascii 숫자(ASCII) 값 반환
base64 인수를 base64 문자열로 변경합니다.
bin 인수를 이진 값으로 변경합니다.
bit_length 비트 길이 반환
char, chr ASCII 문자 반환
char_length, character_length 문자열 길이 반환
crc32 순환 중복 검사 값 반환
degrees 라디안을 도로 변환
format_number 숫자 형식 변경
from_json, get_json_object JSON에서 데이터 가져오기
hash 해시 값 반환
hex 인수를 16진수 값으로 변환
initcap 문자열을 제목 대/소문자로 변경합니다.
lcase, lower 문자열을 모두 소문자로 변경합니다.
lpad 문자열의 왼쪽에 패드합니다.
map 맵 만들기
map_from_arrays 배열에서 맵 만들기
map_from_entries 일련의 구조에서 맵 만들기
md5 md5 값 반환
rpad 문자열 오른쪽을 패드합니다.
rtrim 후행 공백 제거
sha, sha1 SHA1 값 반환
sha2 SHA2 값 반환
soundex Soundex 코드 반환
stack 값을 행으로 구분
substr, substring 하위 문자열 반환
to_json JSON 문자열 반환
translate 문자열 내 값 바꾸기
trim 선행 및 후행 문자 제거
ucase, upper 문자열을 대문자로 변경합니다.
unbase64 base64 문자열을 바이너리로 변환
unhex 16진수를 바이너리로 변환
uuid UUID 반환

데이터 평가

함수 설명
coalesce null이 아닌 첫 번째 인수 반환
collect_list 고유하지 않은 요소 목록 반환
collect_set 고유한 요소 집합 반환
concat 연결
concat_ws 구분자와 연결
count 행에 대한 총 개수 반환
decode 문자 집합을 사용하여 디코딩
elt n입력 반환
encode 문자 집합을 사용하여 인코딩
first, first_value 첫 번째 값 반환
grouping 열을 그룹화하는지 여부를 나타냅니다
grouping_id 그룹화 수준 반환
instr 문자 발생 인덱스 1기반 반환
json_tuple JSON 입력에서 튜플 반환
lag, lead 오프셋 앞에 있는 값 반환
last, last_value 마지막 값 반환
left 첫 번째 n 문자 반환
length 문자열 길이 반환
levenshtein 문자열 사이의 간격 반환
locate, position 하위 문자열에서 첫 번째 항목의 위치를 반환합니다.
map_concat 맵 연결
map_keys 맵 키 반환
map_values 맵 값 반환
ntile 행을 파티션으로 나누기
nullif true이면 null 반환
nvl null이면 값 반환
nvl2 null이 아닌 경우 값 반환
parse_url URL의 일부 추출
rank 값의 등급 계산
regexp_extract regex와 일치하는 항목을 추출합니다
regex_replace regex와 일치하는 항목을 바꿉니다
repeat 반복된 문자열 반환
replace 문자열의 모든 인스턴스 바꾸기
rollup 다차원 롤업 만들기
row_number 고유한 행 번호 할당
schema_of_json JSON의 스키마 반환
sentences 문자열을 단어 배열로 분할합니다.
sequence 요소 배열을 생성합니다
shiftleft 서명된 비트 시프트 왼쪽
shiftright 서명된 비트 시프트 오른쪽
shiftrightunsigned 부호 없는 비트 시프트 오른쪽
size 배열 크기 반환
space n 공백이 있는 문자열 반환
split 문자열 분할
substring_index 하위 문자열의 인덱스 반환
window
xpath XML 노드 구문 분석
xpath_double, xpath_number XML 노드를 더블로 구문 분석합니다.
xpath_float XML 노드를 부동 항목으로 구문 분석
xpath_int XML 노드를 정수로 구문 분석합니다.
xpath_long XML 노드를 오랫동안 구문 분석합니다.
xpath_short XML 노드를 짧은 정수로 구문 분석합니다.
xpath_string XML 노드를 문자열에 구문 분석합니다.

현재 정보

함수 설명
current_database 현재 데이터베이스 반환
current_date 현재 날짜 반환
current_timestamp, now 현재 타임스탬프 반환

높은 순서 함수

함수 설명
transform 배열의 요소 변형
exists 요소가 있는지 확인
filter 입력 배열 필터링
aggregate 모든 요소에 이진 연산자 적용

이 페이지에서는