[Cloud Storage] Cloud Storage의 데이터를 BigQuery로 전송 방법 : 베스핀글로벌

안녕하세요,

베스핀글로벌 GCP Support팀입니다.

이번 아티클에서는 주제로 "Cloud Storage의 데이터를 BigQuery로 전송하는 방법"을 다루고자 합니다.

Cloud Storage의 데이터를 BigQuery로 전송하는 방법

BigQuery Data Transfers Service를 사용하면 정해진 일정에 따라 관리되는 방식으로 BigQuery로 데이터를 자동 전송할 수 있습니다.

생성 시 사용한 Schedule options 에 따라 빈도를 설정 할 수 있으며, 예를 들어 [Repeats > Daily]로 설정하면 매일 데이터를 가져올 수 있습니다.

사용 시에 아래와 같은 제한사항이 있으니 참고 하시기 바랍니다.

모든 파일은 대상 테이블에 정의한 것과 동일한 스키마를 공유해야 합니다.
보관처리된 Cloud Storage 객체는 BigQuery 전송에서 지원되지 않습니다.(활성 버전만 가능)
데이터 세트 위치가 US 멀티 리전 이외의 값으로 설정되면 Cloud Storage 버킷은 데이터 세트와 동일한 리전에 있거나, 동일한 멀티 리전에 포함되어 있어야 합니다.
Cloud Storage 소스 데이터 형식에 따라 추가 제한사항이 적용될 수 있습니다.

BigQuery Data Transfers Service에 대한 자세한 설명은 관련 문서[1]를 참고하시기 바랍니다.

[1] BigQuery Data Transfers Service

관련 문의사항이 있으시면 Support Portal에 문의해 주시기 바랍니다.

감사합니다.