BigQuery는 구글에서 제공하는 데이터를 관리 및 분석 기능을 가진 완전 관리형 엔터프라이즈 데이터 웨어하우스입니다. BigQuery의 서버리스 아키텍처에서는 SQL 쿼리를 사용합니다. 그외에도 머신러닝 모델링 및 예측 분석을 제공하는 BigQuery ML 서비스가 있습니...

네, 테이블 삭제 후 7일 이내에 테이블 삭제를 취소할 수 있습니다. GCP Console로는 해당 작업이 불가하며, bq 명령줄 도구에서 <@time> 스냅샷 데코레이터와 테이블 복사 작업을 사용하여 가능합니다. 테이블이 있었던 시점의 UNIX 타임스탬프(밀리초 ...

빅쿼리 콘솔에서 테이블에서 조회시에는 한 테이블 씩만 조회할 수 있습니다.  데이터셋의 모든 테이블 컬럼 리스트를 조회 해야 할 땐 INFORMATION_SCHEMA를 사용하여 테이블 메타데이터를 조회하시면 됩니다.   테이블 메타데이터 조회 테이블의 컬럼 데이터타입(숫자...

오랫동안 쿼리 조회를 안 한 미 사용된 테이블을 확인하기 위해서는 INFORMATION SCHEMA에서 쿼리를 사용하여 며칠 이상 쿼리 조회조차 안 한 테이블들을 확인 할 수 있습니다. 아래와 같은 내용의 쿼리를 사용하여 INFORMATION SCHEMA의 메타데이터를 조...

INFORMATION_SCHEMA로 Query하여 어느 Table이 언제 삭제 되었는지 확인 할 수 있습니다. INFORMATION_SCHEMA 뷰는 BigQuery 객체에 대한 메타데이터 정보를 제공하는 시스템 정의 뷰입니다. ※ INFORMATION_SCHEMA 뷰는 데이...

BigQuery는 Query 시 사용한 Data 용량만큼 지불하는 On-Demand 방식 외에, 특정 Slot 만큼을 미리 예약해서 사용하는 flat-rate pricing 방식이 있습니다. Flat-rate pricing Slot 사용 시 예약한 만큼의 slot 가격을 ...

Composer의 Airflow 데이터베이스의 메타데이터는 관리형 DB인 Cloud SQL 인스턴스에 저장 됩니다. ※ 자체 데이터베이스를 Airflow 메타데이터 데이터베이스로 사용할 수 없습니다. 위 Cloud SQL 데이터베이스에 저장되는 메타데이터를 수집...

BigQuery View는 데이터를 저장하는 테이블이 아닌 SQL 쿼리문을 저장하는 가상 테이블입니다. View를 사용하면 복잡한 쿼리 또는 쉽게 재사용할 수 있는 이름을 쿼리 시 사용하도록 제공할 수 있습니다. BigQuery View에 대한 제한 사항이 존재하며 자세...