Kubernetes クラスタを構成する Control Plane と Node、kube-apiserver・etcd・kube-scheduler・kube-controller-manager・kubelet・kube-proxy・CNI の役割を座学で整理する。kubectl apply から Pod が動き出すまでの流れと、Node が落ちたときの動きも追う。

Kubernetes のコンポーネント同士の関係や Pod が動き出すまでの処理の流れを図で整理

Kubernetes の使い方に入る前に、そもそも何を解決するための仕組みなのかを座学で整理する。コンテナオーケストレーションの役割、Docker との関係、宣言的な管理と Desired State / Current State の考え方を扱う。

BigQuery Data Transfer Service の MySQL コネクタを使い、AWS RDS for MySQL から BigQuery にデータを取り込む構成を Terraform で構築する。ネットワークアタッチメント経由の接続、スキーマ自動マッピング、スロット消費量の計測方法を扱う。

DTS の WRITE_TRUNCATE で消える BigQuery テーブル/カラムの description を、Dataform の operations（ALTER TABLE）で毎回再設定する。

Workflows + Cloud Scheduler を使い、複数の DTS 転送を並列実行した後に Dataform を実行する ETL パイプラインを Terraform で構築する。