Google Cloud Dataflow는 Google Cloud에서 제공하는 스트림 및 배치 데이터 처리를 위한 완전 관리형 서비스입니다. 

Apache Beam 프로그래밍 모델을 기반으로 구축된 Dataflow를 통해 개발자는 기본 인프라를 관리할 필요 없이 실시간 또는 배치로 데이터를 처리하기 위한 통합 파이프라인을 구축할 수 있습니다. 

데이터 파이프라인의 효율적인 실행을 보장하기 위해 리소스 프로비저닝, 확장 및 최적화를 자동으로 처리합니다. 

Dataflow는 ETL(추출, 변환, 로드) 프로세스, 실시간 분석 및 데이터 통합 워크플로와 같은 사용 사례에 이상적입니다.

 

BigQuery, Pub/Sub 및 Cloud Storage와 같은 다른 Google Cloud 서비스와 원활하게 통합되어 엔드 투 엔드 데이터 처리 및 분석 솔루션을 지원합니다. 

대용량 데이터를 신속하게 처리하고 스트림 및 배치 워크로드를 모두 처리할 수 있는 유연성을 갖춘 Dataflow는 데이터에서 통찰력을 얻고자 하는 조직을 위한 강력한 도구입니다.


참고자료 : https://cloud.google.com/dataflow/docs/overview?hl=ko