Kubernetes（k8s）とは？何を解決する仕組みなのかを整理する
Kubernetes / Basics
Kubernetes の使い方に入る前に、そもそも何を解決するための仕組みなのかを座学で整理する。コンテナオーケストレーションの役割、Docker との関係、宣言的な管理と Desired State / Current State の考え方を扱う。
記事一覧 4 / 37 ページ
BigQuery Data Transfer Service で AWS RDS（MySQL）のデータを BigQuery に取り込む
Data / BigQueryBigQuery Data Transfer Service の MySQL コネクタを使い、AWS RDS for MySQL から BigQuery にデータを取り込む構成を Terraform で構築する。ネットワークアタッチメント経由の接続、スキーマ自動マッピング、スロット消費量の計測方法を扱う。
Dataform の operations で DTS 転送先テーブルに description を設定する
Data / DataformDTS の WRITE_TRUNCATE で消える BigQuery テーブル/カラムの description を、Dataform の operations（ALTER TABLE）で毎回再設定する。
Workflows で DTS + Dataform の ETL パイプラインをオーケストレーションする
Data / BigQueryWorkflows + Cloud Scheduler を使い、複数の DTS 転送を並列実行した後に Dataform を実行する ETL パイプラインを Terraform で構築する。
BigQuery Data Transfer Service で Amazon S3 の CSV / Parquet を BigQuery に取り込む
Data / BigQueryBigQuery Data Transfer Service の Amazon S3 コネクタを使い、S3 上の CSV / Parquet ファイルを BigQuery に取り込む構成を Terraform で構築する。
BigQuery Data Transfer Service で Cloud Storage の CSV を BigQuery に取り込む
Data / BigQueryBigQuery Data Transfer Service の Cloud Storage コネクタを使い、GCS 上の CSV ファイルを BigQuery に定期取り込みする構成を Terraform で構築する。
Google Spreadsheet のデータを BigQuery に取り込む｜外部テーブル + スケジュールドクエリ
Data / BigQueryBigQuery の外部テーブルで Google Spreadsheet を参照し、スケジュールドクエリでネイティブテーブルに定期同期する構成を Terraform で構築する。
Dataform の開発ワークスペースで SQLX を使った開発を行う
Data / DataformDataform の開発ワークスペースで SQLX ファイルを作成し、ref() による依存関係管理、ワークフロー実行、Git 連携までの開発フローを解説する。
Dataform 環境を Terraform で構築する
Data / DataformDataform の環境を Terraform で構築。SA・IAM・Secret Manager・リポジトリ・リリース設定・ワークフロー設定をコード管理する。
BigQueryパイプラインでワークフロー作成｜テーブル変換・スケジュール設定など
Data / BigQueryパイプライン作成、タスク設定（config/SQL）、ref()による依存関係、スケジュール実行の一連の流れ。