ユニットテストを並列で実行して全ての実行にかかる時間を短縮してみます。

Laravel の並列テスト＋ α で 3 分かかるテストを 30 秒に

Laravel でユニットテストを書けますが、テストケースが増えてくると全ての実行完了までの時間も増えてきます。
今回はテストを並列で実行して全ての実行にかかる時間を短縮してみます。
<h2 id="contents">Contents</h2>
<ol>
<li><a href="#laravel-%E3%81%AE%E4%B8%A6%E5%88%97%E3%83%86%E3%82%B9%E3%83%88">Laravel の並列テスト</a></li>
<li><a href="#%E3%83%AD%E3%83%BC%E3%82%AB%E3%83%AB%E3%81%A7%E4%B8%A6%E5%88%97%E3%83%86%E3%82%B9%E3%83%88%E5%AE%9F%E8%A1%8C">ローカルで並列テスト実行</a></li>
<li><a href="#githubactions-%E3%81%A7%E4%B8%A6%E5%88%97%E3%83%86%E3%82%B9%E3%83%88%E5%AE%9F%E8%A1%8C">GithubActions で並列テスト実行</a></li>
<li><a href="#%E3%83%9E%E3%83%88%E3%83%AA%E3%83%83%E3%82%AF%E3%82%B9%E6%88%A6%E7%95%A5%E3%81%A7%E4%B8%A6%E5%88%97%E3%83%86%E3%82%B9%E3%83%88%E5%AE%9F%E8%A1%8C">マトリックス戦略で並列テスト実行</a></li>
</ol>
<h2 id="laravel-の並列テスト">Laravel の並列テスト</h2>
Laravel では v8.25 以降から、並列でテストが実行できるようになっています。
<a href="https://laravel.com/docs/10.x/testing#running-tests-in-parallel" rel="noopener noreferrer" target="_blank">Testing: Getting Started - Laravel - The PHP Framework For Web Artisans</a>
通常 Laravel × PHPUnit では単一プロセス内でテストを順番に実行していくため複数のコアを使用しません。まずはこれを活用してパフォーマンスを上げてみます。
公式ドキュメントにある通り、v10 からは導入するパッケージは <a href="https://github.com/paratestphp/paratest" rel="noopener noreferrer" target="_blank">brianium/paratest</a> です。
<pre><code class="hljs language-shell">composer require brianium/paratest --dev
</code></pre>
導入はこれだけです。
<h2 id="ローカルで並列テスト実行">ローカルで並列テスト実行</h2>
並列でテストするとどれだけ短縮されるのかを確認してみます。
いくつかのテストを作成済みです。
まずは並列にせず、デフォルトで実行してみます。
<pre><code class="hljs language-shell">./vendor/bin/phpunit
PHPUnit 10.1.3 by Sebastian Bergmann and contributors.

Runtime: PHP 8.2.6
Configuration: /var/www/html/phpunit.xml

............................................................... 63 / 102 ( 61%)
....................................... 102 / 102 (100%)

Time: 03:05.672, Memory: 22.00 MB

OK (102 tests, 600302 assertions)
</code></pre>
3 分かかりました。できればコーヒーを入れ直してきたら終わっているくらいの時間にはしたいものです。
では並列でテストを実行してみます。artisan コマンド実行時のオプションに <code>--parallel</code> を付与します。
<pre><code class="hljs language-shell">php artisan test --parallel
</code></pre>
並列でテストを実行させた結果です。
<pre><code class="hljs language-shell">ParaTest v7.1.4 upon PHPUnit 10.1.3 by Sebastian Bergmann and contributors.

Processes: 4
Runtime: PHP 8.2.6
Configuration: /var/www/html/phpunit.xml

............................................................... 63 / 102 ( 61%)
....................................... 102 / 102 (100%)

Time: 01:13.710, Memory: 12.00 MB

OK (102 tests, 600302 assertions)
</code></pre>
3 分が 1 分に短縮されました。
実行時の進捗を見ていると、並列実行しない場合は進捗を表すドットが 1 つずつ増えていきますが、並列実行した場合は複数まとめてドットが増えていったので、並列で実行されてるなと見てもとれました。
ちなみにプロセス数が 4 なのはマシンがクアッドコアだからです。マシンスペックに応じて自動でプロセス数が決定されます。
テスト時のプロセス数を制御したい場合はオプション <code>--processes</code> で実現できます。
<pre><code class="hljs language-shell"># プロセス数 2 で実行する
php artisan test --parallel --processes=2
</code></pre>
ちなみにコア数より多くのプロセス数を設定してもコア数以上は並列実行できないため効果は上がりません。
試しに 4 コアのマシンでプロセス数 8 にて実行してみましたが、逆に実行時間が 2 分前後に増えました。
ということで、並列実行することでユニットテストの実行時間が短縮できることが確認できました。
<h2 id="githubactions-で並列テスト実行">GithubActions で並列テスト実行</h2>
次に、Github Actions でも並列テストを実行してみます。
プルリクやデプロイ前にユニットテストを実行することはよくあることなので、ここの時間が短縮されたらなおうれしいことです。
ただし、Github Actions で使用されるリソースは決まっていて、Linux 仮想マシンのハードウェアはデフォルトでコア数は 2 です。
<a href="https://docs.github.com/ja/actions/using-github-hosted-runners/about-github-hosted-runners#supported-runners-and-hardware-resources" rel="noopener noreferrer" target="_blank">GitHub ホステッド ランナーの概要 - GitHub Docs</a>




















<table><thead><tr><th>OS</th><th>コア</th><th>分あたりの料金</th></tr></thead><tbody><tr><td>Linux</td><td>2</td><td>$0.008</td></tr><tr><td>Linux</td><td>4</td><td>$0.016</td></tr></tbody></table>
2 コアを 4 コアにすると分あたりの料金は倍になるけど、もし実行時間が半分になるなら同じことですね。（といいつつ、今回は 2 コアだけで試します）
では、Github Actions 上で PHPUnit を実行してみます。まずは並列ではなく、通常の単一プロセスでの実行です。
<ul>
<li>コア数：2</li>
<li>プロセス数：1</li>
</ul>
<div class="img_wrap"><amp-img layout="responsive" src="/images/posts/250/pic_01.png" width="1764" height="706" alt="Github Actions での並列テスト（2コア・1プロセス）"></div>
3 分 37 秒かかりました。
では、並列で実行してみます。
<ul>
<li>コア数：2</li>
<li>プロセス数：2</li>
</ul>
<div class="img_wrap"><amp-img layout="responsive" src="/images/posts/250/pic_02.png" width="1764" height="706" alt="Github Actions での並列テスト（2コア・2プロセス）"></div>
2 分 2 秒でした。1 分 35 秒の短縮なので、およそ 36 % 実行時間が短縮されました。
2 コアとはいえ、3 分の 1 程度時間が削減できるならうれしいですね。
<h2 id="マトリックス戦略で並列テスト実行">マトリックス戦略で並列テスト実行</h2>
ここまでくると複数のジョブに分割して、、もやりたくなります。もはやプロセスがどうとは別の世界線です。
Github Actions には「マトリックス戦略」というものがあって、1 つのジョブを複数のジョブで実行できる仕組みがあります。 
<a href="https://docs.github.com/ja/actions/using-jobs/using-a-matrix-for-your-jobs" rel="noopener noreferrer" target="_blank">ジョブにマトリックスを使用する - GitHub Docs</a>
例えば「同じテスト実行を何パターンかの環境で実施する。OS 違いとかバージョン違いとか。」 みたいなことがこれによって実現できるわけですが、この仕組みを使って実行するテストケース自体を分割して実行してみたらどこまで短縮できるかを試します。
今回は 5 つのジョブを並列実行して、各々で分割したテストを実行してみます。
<pre><code class="hljs language-yaml">jobs:
 test:
 name: phpunit
 runs-on: ubuntu-latest

#（略）

 strategy:
 matrix:
 parallel: [ 5 ]
 id: [ 1, 2, 3, 4, 5 ]

#（略）

 steps:
 - name: test
 run: php artisan test --parallel --configuration phpunit_parallel_${{ matrix.id }}.xml
</code></pre>
5 つのジョブに対して phpunit.xml も 5 つ作成し、phpunit_parallel_n.xml の中でどのテストを実行するかを定義しておくことで、それぞれのジョブが別々のユニットテストを実行する。という仕掛けです。
<pre><code class="hljs language-xml"># phpunit_parallel_1.xml
&#x3C;directory suffix="Test.php">./tests/Unit/Dir01&#x3C;/directory>

# phpunit_parallel_2.xml
&#x3C;directory suffix="Test.php">./tests/Unit/Dir02&#x3C;/directory>

# phpunit_parallel_3.xml
&#x3C;directory suffix="Test.php">./tests/Unit/Dir03&#x3C;/directory>
.
.
.

</code></pre>
<ul>
<li>並列ジョブ数：5
<ul>
<li>コア数：2</li>
<li>プロセス数：2</li>
</ul>
</li>
</ul>
実行結果です。
<div class="img_wrap"><amp-img layout="responsive" src="/images/posts/250/pic_03.png" width="1764" height="620" alt="Github Actions での並列テスト（2コア・2プロセス・5ジョブ）"></div>
26 秒まで短縮されました。
3 分 37 秒から 3 分 11 秒の短縮。1 ジョブ・1 プロセス時の時と比べておよそ 92 % 実行時間が短縮されたことになります。
テストケース自体を分割しているので単純な実行時間が短縮されているのは当然ですが、実際には並列で（＝同時に） 5 つのジョブが動いておりそれぞれが 26 〜 30 秒程度で全ての実行が完了しています。 （それぞれのジョブの完了時間に幅が無いのはサンプルでテストが均等に割り振られているから）
<div class="img_wrap"><amp-img layout="responsive" src="/images/posts/250/pic_04.png" width="2450" height="1510" alt="Github Actions での並列テスト（2コア・2プロセス・5ジョブ, 全体画面）"></div>
最終的に、コーヒーを入れ直しにいく前にテストの実行が終わる。というところまで短縮されました。
<h2 id="まとめ">まとめ</h2>
Laravel の並列テストは導入が簡単で得られる恩恵もなかなか大きかったです。
PHPUnit に限らずユニットテストなどの自動テストは、工夫次第で実行時間の短縮を図れることもわかりました。
時間は有限なので、不要な待ち時間はどんどん削減していきたいですね。

Laravel でユニットテストを書けますが、テストケースが増えてくると全ての実行完了までの時間も増えてきます。
今回はテストを並列で実行して全ての実行にかかる時間を短縮してみます。
<h2 id="contents">Contents</h2>
<ol>
<li><a href="#laravel-%E3%81%AE%E4%B8%A6%E5%88%97%E3%83%86%E3%82%B9%E3%83%88">Laravel の並列テスト</a></li>
<li><a href="#%E3%83%AD%E3%83%BC%E3%82%AB%E3%83%AB%E3%81%A7%E4%B8%A6%E5%88%97%E3%83%86%E3%82%B9%E3%83%88%E5%AE%9F%E8%A1%8C">ローカルで並列テスト実行</a></li>
<li><a href="#githubactions-%E3%81%A7%E4%B8%A6%E5%88%97%E3%83%86%E3%82%B9%E3%83%88%E5%AE%9F%E8%A1%8C">GithubActions で並列テスト実行</a></li>
<li><a href="#%E3%83%9E%E3%83%88%E3%83%AA%E3%83%83%E3%82%AF%E3%82%B9%E6%88%A6%E7%95%A5%E3%81%A7%E4%B8%A6%E5%88%97%E3%83%86%E3%82%B9%E3%83%88%E5%AE%9F%E8%A1%8C">マトリックス戦略で並列テスト実行</a></li>
</ol>
<h2 id="laravel-の並列テスト">Laravel の並列テスト</h2>
Laravel では v8.25 以降から、並列でテストが実行できるようになっています。
<a href="https://laravel.com/docs/10.x/testing#running-tests-in-parallel" rel="noopener noreferrer" target="_blank">Testing: Getting Started - Laravel - The PHP Framework For Web Artisans</a>
通常 Laravel × PHPUnit では単一プロセス内でテストを順番に実行していくため複数のコアを使用しません。まずはこれを活用してパフォーマンスを上げてみます。
公式ドキュメントにある通り、v10 からは導入するパッケージは <a href="https://github.com/paratestphp/paratest" rel="noopener noreferrer" target="_blank">brianium/paratest</a> です。
<pre><code class="hljs language-shell">composer require brianium/paratest --dev
</code></pre>
導入はこれだけです。
<h2 id="ローカルで並列テスト実行">ローカルで並列テスト実行</h2>
並列でテストするとどれだけ短縮されるのかを確認してみます。
いくつかのテストを作成済みです。
まずは並列にせず、デフォルトで実行してみます。
<pre><code class="hljs language-shell">./vendor/bin/phpunit
PHPUnit 10.1.3 by Sebastian Bergmann and contributors.

Runtime: PHP 8.2.6
Configuration: /var/www/html/phpunit.xml

............................................................... 63 / 102 ( 61%)
....................................... 102 / 102 (100%)

Time: 03:05.672, Memory: 22.00 MB

OK (102 tests, 600302 assertions)
</code></pre>
3 分かかりました。できればコーヒーを入れ直してきたら終わっているくらいの時間にはしたいものです。
では並列でテストを実行してみます。artisan コマンド実行時のオプションに <code>--parallel</code> を付与します。
<pre><code class="hljs language-shell">php artisan test --parallel
</code></pre>
並列でテストを実行させた結果です。
<pre><code class="hljs language-shell">ParaTest v7.1.4 upon PHPUnit 10.1.3 by Sebastian Bergmann and contributors.

Processes: 4
Runtime: PHP 8.2.6
Configuration: /var/www/html/phpunit.xml

............................................................... 63 / 102 ( 61%)
....................................... 102 / 102 (100%)

Time: 01:13.710, Memory: 12.00 MB

OK (102 tests, 600302 assertions)
</code></pre>
3 分が 1 分に短縮されました。
実行時の進捗を見ていると、並列実行しない場合は進捗を表すドットが 1 つずつ増えていきますが、並列実行した場合は複数まとめてドットが増えていったので、並列で実行されてるなと見てもとれました。
ちなみにプロセス数が 4 なのはマシンがクアッドコアだからです。マシンスペックに応じて自動でプロセス数が決定されます。
テスト時のプロセス数を制御したい場合はオプション <code>--processes</code> で実現できます。
<pre><code class="hljs language-shell"># プロセス数 2 で実行する
php artisan test --parallel --processes=2
</code></pre>
ちなみにコア数より多くのプロセス数を設定してもコア数以上は並列実行できないため効果は上がりません。
試しに 4 コアのマシンでプロセス数 8 にて実行してみましたが、逆に実行時間が 2 分前後に増えました。
ということで、並列実行することでユニットテストの実行時間が短縮できることが確認できました。
<h2 id="githubactions-で並列テスト実行">GithubActions で並列テスト実行</h2>
次に、Github Actions でも並列テストを実行してみます。
プルリクやデプロイ前にユニットテストを実行することはよくあることなので、ここの時間が短縮されたらなおうれしいことです。
ただし、Github Actions で使用されるリソースは決まっていて、Linux 仮想マシンのハードウェアはデフォルトでコア数は 2 です。
<a href="https://docs.github.com/ja/actions/using-github-hosted-runners/about-github-hosted-runners#supported-runners-and-hardware-resources" rel="noopener noreferrer" target="_blank">GitHub ホステッド ランナーの概要 - GitHub Docs</a>




















<table><thead><tr><th>OS</th><th>コア</th><th>分あたりの料金</th></tr></thead><tbody><tr><td>Linux</td><td>2</td><td>$0.008</td></tr><tr><td>Linux</td><td>4</td><td>$0.016</td></tr></tbody></table>
2 コアを 4 コアにすると分あたりの料金は倍になるけど、もし実行時間が半分になるなら同じことですね。（といいつつ、今回は 2 コアだけで試します）
では、Github Actions 上で PHPUnit を実行してみます。まずは並列ではなく、通常の単一プロセスでの実行です。
<ul>
<li>コア数：2</li>
<li>プロセス数：1</li>
</ul>
<div class="img_wrap"><img src="/images/posts/250/pic_01.png" width="1764" height="706" alt="Github Actions での並列テスト（2コア・1プロセス）"></div>
3 分 37 秒かかりました。
では、並列で実行してみます。
<ul>
<li>コア数：2</li>
<li>プロセス数：2</li>
</ul>
<div class="img_wrap"><img src="/images/posts/250/pic_02.png" width="1764" height="706" alt="Github Actions での並列テスト（2コア・2プロセス）"></div>
2 分 2 秒でした。1 分 35 秒の短縮なので、およそ 36 % 実行時間が短縮されました。
2 コアとはいえ、3 分の 1 程度時間が削減できるならうれしいですね。
<h2 id="マトリックス戦略で並列テスト実行">マトリックス戦略で並列テスト実行</h2>
ここまでくると複数のジョブに分割して、、もやりたくなります。もはやプロセスがどうとは別の世界線です。
Github Actions には「マトリックス戦略」というものがあって、1 つのジョブを複数のジョブで実行できる仕組みがあります。 
<a href="https://docs.github.com/ja/actions/using-jobs/using-a-matrix-for-your-jobs" rel="noopener noreferrer" target="_blank">ジョブにマトリックスを使用する - GitHub Docs</a>
例えば「同じテスト実行を何パターンかの環境で実施する。OS 違いとかバージョン違いとか。」 みたいなことがこれによって実現できるわけですが、この仕組みを使って実行するテストケース自体を分割して実行してみたらどこまで短縮できるかを試します。
今回は 5 つのジョブを並列実行して、各々で分割したテストを実行してみます。
<pre><code class="hljs language-yaml">jobs:
 test:
 name: phpunit
 runs-on: ubuntu-latest

#（略）

 strategy:
 matrix:
 parallel: [ 5 ]
 id: [ 1, 2, 3, 4, 5 ]

#（略）

 steps:
 - name: test
 run: php artisan test --parallel --configuration phpunit_parallel_${{ matrix.id }}.xml
</code></pre>
5 つのジョブに対して phpunit.xml も 5 つ作成し、phpunit_parallel_n.xml の中でどのテストを実行するかを定義しておくことで、それぞれのジョブが別々のユニットテストを実行する。という仕掛けです。
<pre><code class="hljs language-xml"># phpunit_parallel_1.xml
&#x3C;directory suffix="Test.php">./tests/Unit/Dir01&#x3C;/directory>

# phpunit_parallel_2.xml
&#x3C;directory suffix="Test.php">./tests/Unit/Dir02&#x3C;/directory>

# phpunit_parallel_3.xml
&#x3C;directory suffix="Test.php">./tests/Unit/Dir03&#x3C;/directory>
.
.
.

</code></pre>
<ul>
<li>並列ジョブ数：5
<ul>
<li>コア数：2</li>
<li>プロセス数：2</li>
</ul>
</li>
</ul>
実行結果です。
<div class="img_wrap"><img src="/images/posts/250/pic_03.png" width="1764" height="620" alt="Github Actions での並列テスト（2コア・2プロセス・5ジョブ）"></div>
26 秒まで短縮されました。
3 分 37 秒から 3 分 11 秒の短縮。1 ジョブ・1 プロセス時の時と比べておよそ 92 % 実行時間が短縮されたことになります。
テストケース自体を分割しているので単純な実行時間が短縮されているのは当然ですが、実際には並列で（＝同時に） 5 つのジョブが動いておりそれぞれが 26 〜 30 秒程度で全ての実行が完了しています。 （それぞれのジョブの完了時間に幅が無いのはサンプルでテストが均等に割り振られているから）
<div class="img_wrap"><img src="/images/posts/250/pic_04.png" width="2450" height="1510" alt="Github Actions での並列テスト（2コア・2プロセス・5ジョブ, 全体画面）"></div>
最終的に、コーヒーを入れ直しにいく前にテストの実行が終わる。というところまで短縮されました。
<h2 id="まとめ">まとめ</h2>
Laravel の並列テストは導入が簡単で得られる恩恵もなかなか大きかったです。
PHPUnit に限らずユニットテストなどの自動テストは、工夫次第で実行時間の短縮を図れることもわかりました。
時間は有限なので、不要な待ち時間はどんどん削減していきたいですね。

Author