안녕하세요,
베스핀글로벌 GCP Support팀입니다.
이번 아티클에서는 주제로 "Base 64로 인코딩된 데이터를 BigQuery Dataset에 적재할 수 있는지"를 다루고자 합니다.
Base 64 인코딩된 데이터 적재
Base 64로 인코딩된 데이터를 변환 없이 BigQuery Dataset에 적재 할 수 있습니다.
또한 BigQuery에서 Query 시 인코딩된 데이터를 디코딩 할 수 있는 함수[1]도 지원합니다.
아래는 디코딩 함수(FROM_BASE64)의 예시입니다.
---------------------------------------
SELECT FROM_BASE64('/+A=') AS byte_data;
-- Note that the result of FROM_BASE64 is of type BYTES, displayed as a base64-encoded string.
/*-----------*
| byte_data |
+-----------+
| /+A= |
*-----------*/---------------------------------------
그러나 쿼리 성능상 추천하지 않는 형태이며, 디코딩한 평문 상태로 적재하는 것이 더 효율적인 쿼리가 가능합니다.
따라서 가능하면 디코딩된 상태의 데이터를 적재하는 것을 권장합니다.
참조링크
[1] BigQuery Functions - FROM_BASE64
https://cloud.google.com/bigquery/docs/reference/standard-sql/string_functions#from_base64
관련 문의사항이 있으시면 Support Portal에 문의해 주시기 바랍니다.
감사합니다.