MinIO コンテナを使えば、インターネット外部ストレージを使うことなく AWS SDK を用いたストレージ操作開発が可能になります。

MinIO を使ってローカルでの開発環境の外部ストレージを Amazon S3 からローカルのコンテナへ置き換える

ローカルでのアプリケーション開発は、できるだけ外部のサービスに依存させたくないものです。
API が提供されている外部サービスであればモックすれば良いですし、ストレージに関しても、開発時はローカルにファイルを設置するようにして、確認環境以降は外部ストレージに置くようにする事は可能です。
一方で、AWS SDK を使ってストレージ操作をしてるとそのソースコードがきちんと動くものなのか、動作確認がローカルで出来ない状態にはなります。（ローカルでのファイル操作には AWS SDK を用いないため）
今回はそれらを払拭するために、MinIO を使って、ローカルでの開発環境の外部ストレージを S3 から MinIO に置き換えてみます。
<h2 id="contents">Contents</h2>
<ol>
<li><a href="#minio">MinIO</a></li>
<li><a href="#%E9%96%8B%E7%99%BA%E7%92%B0%E5%A2%83">開発環境</a></li>
<li><a href="#docker-composeyml">docker-compose.yml</a></li>
<li><a href="#laravel-flysystem-%E3%81%A7%E3%81%AE%E8%A8%AD%E5%AE%9A">Laravel Flysystem での設定</a></li>
<li><a href="#%E7%BD%B2%E5%90%8D%E4%BB%98%E3%81%8D-url-%E3%82%92%E5%8F%96%E5%BE%97%E3%81%99%E3%82%8B%E9%9A%9B%E3%81%AE%E3%81%A4%E3%81%BE%E3%81%A5%E3%81%8D">署名付き URL を取得する際のつまづき</a></li>
</ol>
<h2 id="minio">MinIO</h2>
MinIO は、Amazon S3 互換のオブジェクトストレージサーバーです。
<a href="https://min.io/" rel="noopener noreferrer" target="_blank">https://min.io/</a>
MinIO は S3 と互換性を持つので、AWS SDK を通じてアクセス・操作が可能です。
そして MinIO には、Docker Image が公式から提供されています。
<a href="https://hub.docker.com/r/minio/minio/" rel="noopener noreferrer" target="_blank">https://hub.docker.com/r/minio/minio/</a>
つまり、ローカル環境の外部ストレージを「S3（インターネット上のサービス）」から「MinIO のコンテナ」に置き換えることができれば、インターネットへの通信がなくせて（外部サービスに依存せず）、閉じた開発が可能になります。
<h2 id="開発環境">開発環境</h2>
MinIO を導入する環境として、docker compose で作成されたローカルでのコンテナ環境を想定します。
<h2 id="docker-composeyml">docker-compose.yml</h2>
MinIO のコンテナを定義します。
<dl class="description_setting">
<dt>docker-compose.yml</dt>
<dd>
<pre><code class="hljs language-yaml">minio:
 image: 'minio/minio'
 container_name: minio
 environment:
 MINIO_ROOT_USER: minioadminuser
 MINIO_ROOT_PASSWORD: minioadminpassword
 entrypoint: bash
 command: -c "/opt/bin/minio server /export --address :9999 --console-address :9001"
 volumes:
 - ./docker/minio/data:/export
 ports:
 - '9000:9999'
 - '9001:9001'
</code></pre>
</dd>
</dl>
command で MinIO の起動を行なっていますが、ポイントが 2 点あります。
<ul>
<li>--address :9999 で、MinIO の API のポートを指定しています。API のデフォルトポートは 9000 ですが、ポート番号を変更する必要がなければここを記載する必要はありません。</li>
<li>--console-address :9001 でコンソールの ポートを指定しています。コンソール（GUI）の IP に関しては起動時に自動的に決定されます。docker compose で動かす場合はコンソールの IP をマッピングしてあげる必要があるため IP を指定して固定にするようにしています。</li>
</ul>
volumes では MinIo ストレージの永続化を行なっているのですが、この場合だと data ディレクトリ配下に切ったディレクトリがそのままバケットや階層になるので永続化しておくとかなり使いやすかったです。
イメージはこんな感じ。（ホスト側に docker/minio/data というコンテナ用のディレクトリを作ってその配下をつなげた場合）
<pre><code class="hljs language-shell">docker
└─ minio
 └─ data
 ├─ my-bucket-1
 │   └─ sub-1
 │   └─ sample.png
 ├─ my-bucket-2
 │   └─ sample.png
 └── my-bucket-3
</code></pre>
my-bucket-(n) はディレクトリですが、MinIO のコンソールを開くとそのままバケットとして認識されます。（起動後に追加しても認識されるのでバケットや階層の追加はかなり簡単）
ports では API と コンソール（GUI）のポートをマッピングしています。
これらの設定で起動させると、MinIO のストレージが動作します。
コンソールへは、localhost:9001 でアクセスします。
<div class="img_wrap"><amp-img layout="responsive" src="/images/posts/232/jhxNNwYaitYaVU7mCJkD.png" width="800" height="464" alt="MinIO コンソール ログイン画面"></div>
<div class="img_wrap"><amp-img layout="responsive" src="/images/posts/232/pqQp6ypHL8RRZOCuCtQX.png" width="800" height="464" alt="MinIO コンソール ダッシュボード画面"></div>
<div class="img_wrap"><amp-img layout="responsive" src="/images/posts/232/3NDLEOe1PUr0uEeWA8Gk.png" width="800" height="437" alt="MinIO コンソール ログイン画面"></div>
<h2 id="laravel-flysystem-での設定">Laravel Flysystem での設定</h2>
環境は用意できましたが、Laravel の Flysystem を用いてストレージ操作を行なっている場合の設定のポイントも残します。
確認すべきは 3 点です。設定ファイルに url と endpoint そして use_path_style_endpoint の設定項目があるかを確認して、なければ追加します。
<dl class="description_setting">
<dt>config/filesystems.php</dt>
<dd>
<pre><code class="hljs language-php">'s3' => [
'driver' => 's3',
 'key' => env('AWS_ACCESS_KEY_ID'),
 'secret' => env('AWS_SECRET_ACCESS_KEY'),
 'region' => env('AWS_DEFAULT_REGION'),
 'bucket' => env('AWS_BUCKET'),
 'url' => env('AWS_URL'), // &#x3C;- これがあるか確認
 'endpoint' => env('AWS_ENDPOINT'), // &#x3C;- これがあるか確認
 'use_path_style_endpoint' => env('AWS_USE_PATH_STYLE_ENDPOINT', false), // &#x3C;- これがあるか確認
],
</code></pre>
</dd>
</dl>
最近のバージョンならありますが、バージョンアップしながら使い続けている場合だとこの辺のプロパティは手動で追加しない限りは付いていない場合もあるので、もしなければつけます。
あとは、ローカルの .env の項目です。
<dl class="description_setting">
<dt>.env</dt>
<dd>
<pre><code class="hljs language-shell">AWS_ACCESS_KEY_ID=minioadminuser
AWS_SECRET_ACCESS_KEY=minioadminpassword
AWS_DEFAULT_REGION=ap-northeast-1
AWS_BUCKET=YOUR_BUCKET_NAME　
AWS_USE_PATH_STYLE_ENDPOINT=true
AWS_ENDPOINT=http://minio:9999
AWS_URL=http://localhost:9000
</code></pre>
</dd>
</dl>
<ul>
<li>AWS_USE_PATH_STYLE_ENDPOINT は ture で設定します。</li>
<li>AWS_ENDPOINT は、同一ネットワーク内からの MinIO コンテナへのアクセス URL を指定します。（例えばバックエンドからの取得はこっち）</li>
<li>AWS_URL は、外部からリソースとして参照する（例えばブラウザからの参照）場合の URL を指定します。</li>
</ul>
これらを設定すると、MinIO ストレージでの操作ができるようになります。
<h2 id="署名付き-url-を取得する際のつまづき">署名付き URL を取得する際のつまづき</h2>
実際に操作してみて 1 点躓いたポイントがありました。
temporaryUrl() メソッドを用いて署名付き URL を取得すると、出力される URL は <a href="http://minio:9000/%E3%80%9C" rel="noopener noreferrer" target="_blank">http://minio:9000/〜</a> となるのですが、この URL は同一ネットワークからのアクセス用の URL なので、例えば HTML で img タグに指定する場合は <a href="http://localhost:9000/%E3%80%9C">http://localhost:9000/〜</a> の URL を使いたい。となります。
そこで Filesystem のソースを掘っていくと、「temporary_url っていう設定値を持っていたらベースの URL を置き換えるよ」という記述があり、これは助かると思って設定してみたのですが、確かにベースの URL は変更されましたが、その URL では SignatureDoesNotMatch となってしまい使えませんでした。
ソースを見てみると、署名を付加されたものに対して単純にベースの URL を置換している（今回でいえば minio:9000 を localhost:9000 に置換）だけなので、署名を再生成しているわけでもなくただの URL 改ざん状態になっているため機能しない状態でした。
最終的には署名付き URL 取得用の disk 設定を config 側に 1 つ追加して事なきを得ましたが、これはこれで冗長な気がしないでもないので、docker compose だからこそ出てくる差分ではあるもののもっと上手く設定で吸収できればやりたいところでした。
<h2 id="まとめ">まとめ</h2>
ローカルにベタで保存でも問題ないとは思いつつ、それでも環境によって切り替える手間が省ける、AWS SDK を用いたファイル操作の動作確認が行えるという点ではローカル環境のストレージを S3 から MinIO に置き換えるのは一定アリかなとは思いました。
取得や保存、削除といった操作に関しては問題なく、既存の実装をほぼ変更する事なく S3 から MinIO への切り替えは行えました。（署名付き URL の取得は確認が必要）
何よりローカルの開発環境がインターネット上にあるサービスに依存しなくなるのはうれしいですね。

ローカルでのアプリケーション開発は、できるだけ外部のサービスに依存させたくないものです。
API が提供されている外部サービスであればモックすれば良いですし、ストレージに関しても、開発時はローカルにファイルを設置するようにして、確認環境以降は外部ストレージに置くようにする事は可能です。
一方で、AWS SDK を使ってストレージ操作をしてるとそのソースコードがきちんと動くものなのか、動作確認がローカルで出来ない状態にはなります。（ローカルでのファイル操作には AWS SDK を用いないため）
今回はそれらを払拭するために、MinIO を使って、ローカルでの開発環境の外部ストレージを S3 から MinIO に置き換えてみます。
<h2 id="contents">Contents</h2>
<ol>
<li><a href="#minio">MinIO</a></li>
<li><a href="#%E9%96%8B%E7%99%BA%E7%92%B0%E5%A2%83">開発環境</a></li>
<li><a href="#docker-composeyml">docker-compose.yml</a></li>
<li><a href="#laravel-flysystem-%E3%81%A7%E3%81%AE%E8%A8%AD%E5%AE%9A">Laravel Flysystem での設定</a></li>
<li><a href="#%E7%BD%B2%E5%90%8D%E4%BB%98%E3%81%8D-url-%E3%82%92%E5%8F%96%E5%BE%97%E3%81%99%E3%82%8B%E9%9A%9B%E3%81%AE%E3%81%A4%E3%81%BE%E3%81%A5%E3%81%8D">署名付き URL を取得する際のつまづき</a></li>
</ol>
<h2 id="minio">MinIO</h2>
MinIO は、Amazon S3 互換のオブジェクトストレージサーバーです。
<a href="https://min.io/" rel="noopener noreferrer" target="_blank">https://min.io/</a>
MinIO は S3 と互換性を持つので、AWS SDK を通じてアクセス・操作が可能です。
そして MinIO には、Docker Image が公式から提供されています。
<a href="https://hub.docker.com/r/minio/minio/" rel="noopener noreferrer" target="_blank">https://hub.docker.com/r/minio/minio/</a>
つまり、ローカル環境の外部ストレージを「S3（インターネット上のサービス）」から「MinIO のコンテナ」に置き換えることができれば、インターネットへの通信がなくせて（外部サービスに依存せず）、閉じた開発が可能になります。
<h2 id="開発環境">開発環境</h2>
MinIO を導入する環境として、docker compose で作成されたローカルでのコンテナ環境を想定します。
<h2 id="docker-composeyml">docker-compose.yml</h2>
MinIO のコンテナを定義します。
<dl class="description_setting">
<dt>docker-compose.yml</dt>
<dd>
<pre><code class="hljs language-yaml">minio:
 image: 'minio/minio'
 container_name: minio
 environment:
 MINIO_ROOT_USER: minioadminuser
 MINIO_ROOT_PASSWORD: minioadminpassword
 entrypoint: bash
 command: -c "/opt/bin/minio server /export --address :9999 --console-address :9001"
 volumes:
 - ./docker/minio/data:/export
 ports:
 - '9000:9999'
 - '9001:9001'
</code></pre>
</dd>
</dl>
command で MinIO の起動を行なっていますが、ポイントが 2 点あります。
<ul>
<li>--address :9999 で、MinIO の API のポートを指定しています。API のデフォルトポートは 9000 ですが、ポート番号を変更する必要がなければここを記載する必要はありません。</li>
<li>--console-address :9001 でコンソールの ポートを指定しています。コンソール（GUI）の IP に関しては起動時に自動的に決定されます。docker compose で動かす場合はコンソールの IP をマッピングしてあげる必要があるため IP を指定して固定にするようにしています。</li>
</ul>
volumes では MinIo ストレージの永続化を行なっているのですが、この場合だと data ディレクトリ配下に切ったディレクトリがそのままバケットや階層になるので永続化しておくとかなり使いやすかったです。
イメージはこんな感じ。（ホスト側に docker/minio/data というコンテナ用のディレクトリを作ってその配下をつなげた場合）
<pre><code class="hljs language-shell">docker
└─ minio
 └─ data
 ├─ my-bucket-1
 │   └─ sub-1
 │   └─ sample.png
 ├─ my-bucket-2
 │   └─ sample.png
 └── my-bucket-3
</code></pre>
my-bucket-(n) はディレクトリですが、MinIO のコンソールを開くとそのままバケットとして認識されます。（起動後に追加しても認識されるのでバケットや階層の追加はかなり簡単）
ports では API と コンソール（GUI）のポートをマッピングしています。
これらの設定で起動させると、MinIO のストレージが動作します。
コンソールへは、localhost:9001 でアクセスします。
<div class="img_wrap"><img src="/images/posts/232/jhxNNwYaitYaVU7mCJkD.png" width="800" height="464" alt="MinIO コンソール ログイン画面"></div>
<div class="img_wrap"><img src="/images/posts/232/pqQp6ypHL8RRZOCuCtQX.png" width="800" height="464" alt="MinIO コンソール ダッシュボード画面"></div>
<div class="img_wrap"><img src="/images/posts/232/3NDLEOe1PUr0uEeWA8Gk.png" width="800" height="437" alt="MinIO コンソール ログイン画面"></div>
<h2 id="laravel-flysystem-での設定">Laravel Flysystem での設定</h2>
環境は用意できましたが、Laravel の Flysystem を用いてストレージ操作を行なっている場合の設定のポイントも残します。
確認すべきは 3 点です。設定ファイルに url と endpoint そして use_path_style_endpoint の設定項目があるかを確認して、なければ追加します。
<dl class="description_setting">
<dt>config/filesystems.php</dt>
<dd>
<pre><code class="hljs language-php">'s3' => [
'driver' => 's3',
 'key' => env('AWS_ACCESS_KEY_ID'),
 'secret' => env('AWS_SECRET_ACCESS_KEY'),
 'region' => env('AWS_DEFAULT_REGION'),
 'bucket' => env('AWS_BUCKET'),
 'url' => env('AWS_URL'), // &#x3C;- これがあるか確認
 'endpoint' => env('AWS_ENDPOINT'), // &#x3C;- これがあるか確認
 'use_path_style_endpoint' => env('AWS_USE_PATH_STYLE_ENDPOINT', false), // &#x3C;- これがあるか確認
],
</code></pre>
</dd>
</dl>
最近のバージョンならありますが、バージョンアップしながら使い続けている場合だとこの辺のプロパティは手動で追加しない限りは付いていない場合もあるので、もしなければつけます。
あとは、ローカルの .env の項目です。
<dl class="description_setting">
<dt>.env</dt>
<dd>
<pre><code class="hljs language-shell">AWS_ACCESS_KEY_ID=minioadminuser
AWS_SECRET_ACCESS_KEY=minioadminpassword
AWS_DEFAULT_REGION=ap-northeast-1
AWS_BUCKET=YOUR_BUCKET_NAME　
AWS_USE_PATH_STYLE_ENDPOINT=true
AWS_ENDPOINT=http://minio:9999
AWS_URL=http://localhost:9000
</code></pre>
</dd>
</dl>
<ul>
<li>AWS_USE_PATH_STYLE_ENDPOINT は ture で設定します。</li>
<li>AWS_ENDPOINT は、同一ネットワーク内からの MinIO コンテナへのアクセス URL を指定します。（例えばバックエンドからの取得はこっち）</li>
<li>AWS_URL は、外部からリソースとして参照する（例えばブラウザからの参照）場合の URL を指定します。</li>
</ul>
これらを設定すると、MinIO ストレージでの操作ができるようになります。
<h2 id="署名付き-url-を取得する際のつまづき">署名付き URL を取得する際のつまづき</h2>
実際に操作してみて 1 点躓いたポイントがありました。
temporaryUrl() メソッドを用いて署名付き URL を取得すると、出力される URL は <a href="http://minio:9000/%E3%80%9C" rel="noopener noreferrer" target="_blank">http://minio:9000/〜</a> となるのですが、この URL は同一ネットワークからのアクセス用の URL なので、例えば HTML で img タグに指定する場合は <a href="http://localhost:9000/%E3%80%9C">http://localhost:9000/〜</a> の URL を使いたい。となります。
そこで Filesystem のソースを掘っていくと、「temporary_url っていう設定値を持っていたらベースの URL を置き換えるよ」という記述があり、これは助かると思って設定してみたのですが、確かにベースの URL は変更されましたが、その URL では SignatureDoesNotMatch となってしまい使えませんでした。
ソースを見てみると、署名を付加されたものに対して単純にベースの URL を置換している（今回でいえば minio:9000 を localhost:9000 に置換）だけなので、署名を再生成しているわけでもなくただの URL 改ざん状態になっているため機能しない状態でした。
最終的には署名付き URL 取得用の disk 設定を config 側に 1 つ追加して事なきを得ましたが、これはこれで冗長な気がしないでもないので、docker compose だからこそ出てくる差分ではあるもののもっと上手く設定で吸収できればやりたいところでした。
<h2 id="まとめ">まとめ</h2>
ローカルにベタで保存でも問題ないとは思いつつ、それでも環境によって切り替える手間が省ける、AWS SDK を用いたファイル操作の動作確認が行えるという点ではローカル環境のストレージを S3 から MinIO に置き換えるのは一定アリかなとは思いました。
取得や保存、削除といった操作に関しては問題なく、既存の実装をほぼ変更する事なく S3 から MinIO への切り替えは行えました。（署名付き URL の取得は確認が必要）
何よりローカルの開発環境がインターネット上にあるサービスに依存しなくなるのはうれしいですね。

Author