BigQuery는 구글에서 제공하는 데이터를 관리 및 분석 기능을 가진 완전 관리형 엔터프라이즈 데이터 웨어하우스입니다. BigQuery의 서버리스 아키텍처에서는 SQL 쿼리를 사용합니다. 그외에도 머신러닝 모델링 및 예측 분석을 제공하는 BigQuery ML 서비스가 있습니...

네, 테이블 삭제 후 7일 이내에 테이블 삭제를 취소할 수 있습니다. GCP Console로는 해당 작업이 불가하며, bq 명령줄 도구에서 <@time> 스냅샷 데코레이터와 테이블 복사 작업을 사용하여 가능합니다. 테이블이 있었던 시점의 UNIX 타임스탬프(밀리초 ...

빅쿼리 콘솔에서 테이블에서 조회시에는 한 테이블 씩만 조회할 수 있습니다.  데이터셋의 모든 테이블 컬럼 리스트를 조회 해야 할 땐 INFORMATION_SCHEMA를 사용하여 테이블 메타데이터를 조회하시면 됩니다.   테이블 메타데이터 조회 테이블의 컬럼 데이터타입(숫자...

오랫동안 쿼리 조회를 안 한 미 사용된 테이블을 확인하기 위해서는 INFORMATION SCHEMA에서 쿼리를 사용하여 며칠 이상 쿼리 조회조차 안 한 테이블들을 확인 할 수 있습니다. 아래와 같은 내용의 쿼리를 사용하여 INFORMATION SCHEMA의 메타데이터를 조...

INFORMATION_SCHEMA로 Query하여 어느 Table이 언제 삭제 되었는지 확인 할 수 있습니다. INFORMATION_SCHEMA 뷰는 BigQuery 객체에 대한 메타데이터 정보를 제공하는 시스템 정의 뷰입니다. ※ INFORMATION_SCHEMA 뷰는 데이...

Composer의 Airflow 데이터베이스의 메타데이터는 관리형 DB인 Cloud SQL 인스턴스에 저장 됩니다. ※ 자체 데이터베이스를 Airflow 메타데이터 데이터베이스로 사용할 수 없습니다. 위 Cloud SQL 데이터베이스에 저장되는 메타데이터를 수집...

BigQuery View는 데이터를 저장하는 테이블이 아닌 SQL 쿼리문을 저장하는 가상 테이블입니다. View를 사용하면 복잡한 쿼리 또는 쉽게 재사용할 수 있는 이름을 쿼리 시 사용하도록 제공할 수 있습니다. BigQuery View에 대한 제한 사항이 존재하며 자세...

BigQuery Storage Type 중 Physical Type이 2023년 7월 5일 부로 GA가 되었습니다. Physical Storage Type은 Logical Storage Type 보다 용량 당 가격이 높지만 용량이 압축이 되기 때문에 BigQuery Storag...

BigQuery Data Transfer Service 기능을 사용하여 BigQuery Dataset을 복사할 수 있습니다. 이때 복사 작업은 정해진 일정에 따라 관리되는 방식으로 한 번 복사하거나 맞춤설정된 반복 일정으로 복사할 수 있습니다. 또한 한 리전에서 다른 리전으로...

Dataset은 Table의 상위 리소스이기 때문에, 사용자에게 Dataset에 대한 권한이 부여되면 Dataset에 속한 Table들 중 특정 Table만 GUI 상에서 표시되게 할 수는 없습니다. 다만 BigQuery View를 사용하면  해당 Dataset이 아닌 다른 D...