BigQuery용 Python 기반 명령줄 도구입니다. bq 명령줄 도구를 사용하려면 먼저 Google Cloud Console을 사용하여 프로젝트를 만들거나 선택하고 Cloud SDK를 설치해야 합니다. bq 명령줄 도구의 명령어와 플래그 참고 바랍니다.

Publisher 애플리케이션이 Pub/Sub 서비스에서 Topic을 생성하고 Message를 Topic으로 전송합니다.  Message에는 페이로드와 페이로드 콘텐츠를 설명하는 추가 속성이 포함됩니다. 이 서비스는 게시된 Message가 Subscriptio...

BigQuery Slot은 BigQuery가 SQL 쿼리를 실행하는 데 사용하는 가상 CPU입니다.  BigQuery는 쿼리 크기와 복잡성에 따라 각 쿼리에 필요한 Slot 수를 자동으로 계산합니다. 주문형 가격 책정 모델 또는 정액제 가격 책정 모델을 선택할 수 있습니다. ...

GCP는 데이터 수집 / 처리 / 저장 / 분석 및 데이터에서 유용한 정보 도출을 용이하게 할 수 있는 통합형 빅데이터 솔루션 서비스를 제공합니다. BigQuery Google의 전체 관리형 서버리스 저비용 데이터 웨어하우스로, 관리할 인프라가 없기 때문에 익숙한 SQL로 ...

Cloud Composer 2는 자동 확장 환경을 사용하기 때문에 변동적인 workload에 유연하게 대처할 수 있는 버전이며, Cloud Composer 1은 수동으로 환경 클러스터의 노드 수를 조정할 수 있으며 고정적인 workload 처리에 효율적인 버전입니다. 구...

Google Cloud Console에서 Cloud Composer 2를 생성 시 세 가지 환경 사전 설정 중 하나를 선택 할 수 있습니다. ※ 세 가지 외에도 Custom 환경을 구성하여 필요한 만큼의 리소스를 할당 할 수 있습니다. 위 환경 사전 설정 중 기...

BigQuery 유휴 Slot은 해당 조직 내에 예약 중인 Flat-rate pricing Slot 중 다른 프로젝트나 폴더에 할당되어 있지만 현재 할당된 리소스에서 사용하지 않는 Slot이나 할당 자체가 되어있지 않은 Slot을 의미합니다. 기본적으로 BigQuery에서 실행...

Datastream은 구글에서 제공하는 사용이 간편한 서버리스 변경 데이터 캡처(CDC) 및 복제 서비스입니다.  지연 시간을 최소화하면서 이기종 데이터베이스와 애플리케이션에서 데이터를 안정적으로 동기화할 수 있습니다. 현재 Datastream 구성 시 사용 가능한 소스...

Base 64로 인코딩된 데이터를 변환 없이 BigQuery Dataset에 적재 할 수 있습니다. 또한 BigQuery에서 Query 시 인코딩된 데이터를 디코딩 할 수 있는 함수도 지원합니다. 아래는 디코딩 함수(FROM_BASE64)의 예시입니다. -----...

Cloud SQL 통합 쿼리(Federated queries)란 BigQuery에서 Cloud SQL의 데이터를 쿼리하는 방법으로 Cloud SQL에 위치한 데이터를 실시간으로, 데이터 복사나 이동 없이 쿼리할 수 있습니다. BigQuery Cloud SQL 통합은 Public...