Composer의 Airflow 데이터베이스의 메타데이터는 관리형 DB인 Cloud SQL 인스턴스에 저장 됩니다.

※ 자체 데이터베이스를 Airflow 메타데이터 데이터베이스로 사용할 수 없습니다.



위 Cloud SQL 데이터베이스에 저장되는 메타데이터를 수집하기 위해 구글에서 제공하는 방법은 데이터베이스의 덤프 파일을 생성한 후 GCS 버킷으로 전송하는 방법입니다.


자세한 방법은 아래 순서와 같습니다.


1) Airflow 웹 인터페이스에 접속하여 관리 > 구성으로 이동하여 데이터베이스 연결 매개변수를 가져옵니다.


2) 콘솔 상의 Kubernetes Engine > 서비스 및 인그레스로 이동하여 데이터베이스 엔드포인트 IP를 확인합니다.


3) SQL 데이터베이스와 연결할 VM 인스턴스를 생성하고 SQL 클라이언트 패키지를 설치 후 데이터베이스에 연결합니다.


4) 데이터베이스 콘텐츠로 덤프파일을 생성한 뒤 버킷으로 전송합니다.