Bigdata

[BigQuery]Query 분석시 청구비용이 너무 많이 발생합니다. 청구 byte 수를 제한하여 비용을 제한 할 수 있나요?
쿼리 실행 시 분석비용이 많이 발생하여 청구 byte 수를 제한하는 설정이 필요할 수 있습니다. Console에서 최대 청구 byte 수를 설정 혹은 bq 명령어 사용 시 maximum_bytes_billed 옵션을 사용하여 제한 할 수 있습니다. 1. GCP Co...
수, 11월 9, 2022 시간: 5:39 PM
[BigQuery]BigQuery의 장기/단기 테이블 기준이 무엇인가요?
빅쿼리 테이블의 스토리지의 장기와 단기 데이터 기준에 대한  문의가 있습니다. 우선적으로, 빅쿼리에서는 매당 10GB  스토리지를 무료로 제공합니다.[1] 장기 스토리지는 90일 이상 insert, delete, update 를 하지 않았을 경우 적용됩니다.  장기 스...
수, 11월 9, 2022 시간: 5:39 PM
[BigQuery]제일 많이 사용한 BigQuery 사용자를 확인하고 싶습니다.
BigQuery를 제일 많이 사용한 사용자를 확인하는 방법으로는 아래와 같이 메타데이터를 조회하여 확인 할 수 있습니다. --------------------------------------------- SELECT user_email, count( distinct...
수, 11월 9, 2022 시간: 5:39 PM
[Cloud Composer]Composer 사용 시, GKE 업그레이드가 필요하다는 경고가 발생합니다.
Composer 사용 시 환경 클러스터로 같이 사용되는 GKE의 자동 업그레이드가 중단되고 업그레이드가 필요하다는 경고가 발생할 때가 있습니다. 기본적으로 환경 클러스터를 보안 취약점으로부터 보호하기 위해 노드 자동 업그레이드 및 자동 복구가 설정되어 있지만, 사용 중인...
금, 11월 18, 2022 시간: 9:14 AM
[BigQuery]Public Dataset을 검색 시 모든 Data가 확인 되지 않습니다.
Console의 BigQuery Explorer에서 bigquery-public-data의 Dataset 검색 시 해당 되는 모든 Dataset이 검색되지 않는 에러가 있습니다. 1) austin 이름이 들어간 dataset이 5개 존재합니다. 2) austin...
수, 11월 9, 2022 시간: 5:40 PM
[BigQuery]BigQuery 삭제된 Table 복원 시 Not Found 에러가 발생합니다.
BigQuery는 7일이 지나지 않은 Table에 대해 Time-travel을 이용한 복원을 지원합니다. 하지만 Table이 속한 Dataset을 삭제한 후 Table을 복원하는 경우 7일이 지나지 않았음에도 해당 Table을 찾을 수 없다는 에러가 발생합니다. 이...
수, 11월 9, 2022 시간: 5:40 PM