안녕하세요, 

베스핀글로벌 GCP Support팀입니다.


이번 아티클에서는 주제로 "GCP에서 제공하는 빅데이터 서비스"를 다루고자 합니다.



GCP 빅데이터 서비스


GCP는 데이터 수집, 처리, 저장, 분석 및 데이터에서 유용한 정보 도출을 용이하게 할 수 있는 통합형 빅데이터 솔루션 서비스를 제공합니다.


  1. BigQuery
    Google의 전체 관리형 서버리스 저비용 데이터 웨어하우스로, 관리할 인프라가 없기 때문에 익숙한 SQL로 데이터를 분석해 정보를 찾는 데 집중할 수 있습니다. 페타바이트급의 데이터 저장 및 분석용 클라우드 서비스입니다.

  2. Dataflow
    스트리밍 분석, ETL, 일괄계산 등의 다양한 데이터 처리 패턴을 실행하기 위한 통합 프로그래밍 모델과 관리형 서비스를 제공합니다. 게임 및 IoT 분야에서 사용자 환경 맞춤 분석에 적합합니다.

  3. Dataproc
    Apache Spark 및 Apache Hadoop 클러스터를 더 간단하고 비용 효율적인 방식으로 실행하는 완전 관리형 클라우드 서비스입니다. 업데이트/네이티브 버전의 Spark, Hadoop, Pig, Hive를 제공하여 새로운 도구나 API를 학습할 필요 없이 바로 사용하고, 재개발 없이도 기존 프로젝트 또는 ETL 파이프라인을 이전할 수 있습니다.

  4. Dataprep
    분석 및 머신러닝에 사용할 데이터를 시각적으로 탐색, 정리, 준비하는 지능형 클라우드 데이터 서비스로, 복잡한 쿼리나 코드 없이 간단하게 데이터 정제가 가능합니다.

  5. Composer
    Apache Airflow를 기반으로 하는 완전 관리형 워크플로 조정 서비스입니다.
    온프레미스 배포와 유사하게 여러 구성요소를 배포하여 Airflow를 실행합니다.
    하이브리드 및 멀티 클라우드를 지원하기 때문에 어디에 위치하든 관계없이 파이프라인을 작성, 예약, 모니터링 할 수 있습니다.

  6. Pub/Sub
    독립적인 애플리케이션 간에 메시지를 주고 받을 수 있는 서버리스 실시간 메시징 서비스입니다. 다른 클라우드에서 또는 클라우드와 앱 간에 실행되는 프로젝트 및 애플리케이션에 데이터를 전달할 수 있습니다.

  7. Bigtable
    대규모 데이터를 저장하고 검색하는 NoSQL 데이터베이스입니다. 저지연성, 높은 처리량, 확장성을 요구하는 애플리케이션에 적합합니다.

  8. Spanner
    전 세계적으로 분산된 데이터베이스로, 강력한 일관성, 가용성, 내구성을 보장합니다. 전 세계적으로 분산된 애플리케이션에 적합합니다.


※ 위 설명은 서비스에 대한 간단한 설명으로 서비스에 대한 자세한 정보가 필요하시다면 아래 링크를 참고 해주세요.



참조링크


[1] BigQuery overview 

https://cloud.google.com/bigquery/docs/introduction

[2] Dataflow overview 

https://cloud.google.com/dataflow/docs/overview

[3] Dataproc overview 

https://cloud.google.com/dataproc/docs/concepts/overview

[4] Dataprep overview

https://docs.trifacta.com/Dataprep/en/product-overview.html

[5] Composer overview

https://cloud.google.com/composer/docs/concepts/overview

[6] Pub/Sub overview

https://cloud.google.com/pubsub/docs/overview

[7] Bigtable overview

https://cloud.google.com/bigtable/docs/overview

[8] Spanner

https://cloud.google.com/spanner



감사합니다.