似たような傾向にあるデータを分類し、何らかの洞察を得たい。データを一定の規則で分類し類似性を探る「クラスター分析」その中でも k-means 法を用いた非階層クラスター分析を行なってみます。

データの類似性を探る〜k-means 法を用いた非階層クラスター分析〜

<p>似たような傾向にあるデータを分類し、何らかの洞察を得たい。</p>
<p>データを一定の規則で分類し類似性を探る「クラスター分析」その中でも k-means 法を用いた非階層クラスター分析を行なってみます。</p>
<h2 id="contents">contents</h2>
<ol>
<li><a href="#%E3%82%AF%E3%83%A9%E3%82%B9%E3%82%BF%E3%83%BC%E5%88%86%E6%9E%90%E3%82%AF%E3%83%A9%E3%82%B9%E3%82%BF%E3%83%AA%E3%83%B3%E3%82%B0">クラスター分析（クラスタリング）</a></li>
<li><a href="#k-means-%E6%B3%95k-means-algorithms">K-Means 法（K-Means algorithms）</a></li>
<li><a href="#python-%E3%81%A7%E3%82%AF%E3%83%A9%E3%82%B9%E3%82%BF%E3%83%BC%E5%88%86%E6%9E%90">python でクラスター分析</a></li>
<li><a href="#%E5%8D%B8%E5%A3%B2%E6%A5%AD%E8%80%85%E3%81%AE%E9%A1%A7%E5%AE%A2%E3%83%87%E3%83%BC%E3%82%BF">卸売業者の顧客データ</a></li>
<li><a href="#%E3%83%87%E3%83%BC%E3%82%BF%E7%A2%BA%E8%AA%8D">データ確認</a></li>
<li><a href="#%E6%A8%99%E6%BA%96%E5%8C%96">標準化</a></li>
<li><a href="#%E6%AC%A1%E5%85%83%E5%89%8A%E6%B8%9B">次元削減</a></li>
<li><a href="#%E3%82%AF%E3%83%A9%E3%82%B9%E3%82%BF%E3%83%AA%E3%83%B3%E3%82%B0%E6%95%B0%E3%81%AE%E6%B1%BA%E5%AE%9A">クラスタリング数の決定</a></li>
<li><a href="#%E3%82%AF%E3%83%A9%E3%82%B9%E3%82%BF%E3%83%AA%E3%83%B3%E3%82%B0">クラスタリング</a></li>
<li><a href="#%E3%82%AF%E3%83%A9%E3%82%B9%E3%82%BF%E3%82%92%E5%88%86%E6%9E%90">クラスタを分析</a></li>
<li><a href="#%E3%83%87%E3%83%BC%E3%82%BF%E3%81%8C%E6%84%8F%E5%91%B3%E3%82%92%E6%8C%81%E3%81%A4%E3%82%88%E3%81%86%E3%81%AB">データが意味を持つように</a></li>
</ol>
<h2 id="クラスター分析クラスタリング">クラスター分析（クラスタリング）</h2>
<p>クラスター分析は、ある集団を類似度によってグループ化（分類）する分析手法。クラスタリングとも呼ばれる。</p>
<p>データの構造に関する直感を得るために使用される最も一般的な探索的データ分析手法の 1 つ。</p>
<p>データを一定の規則で分類することで、そのデータの特性を把握しやすくなる。</p>
<p>（例えば、集団 A は肉が好き。集団 B は魚が好き。集団 C は肉も魚も好き。のような洞察を得られたりする）</p>
<p>機械学習では「教師なし学習」に分類される。</p>
<dl>
<dt>クラスター分析の種類</dt>
<dd>
<dl>
<dt>階層クラスター分析 </dt>
<dd>デンドログラム（樹形図）を作成しクラスタリングを行う。</dd>
<dd>グルーピングされていく過程を確認したい時に有効（事前のクラスタ数の決定も不要）。ただし、データ数が多いと時間がかかる。</dd>
<dt>非階層クラスター分析</dt>
<dd>デンドログラム等は作成せず、クラスタリングを行う。</dd>
<dd>クラスタ数を予め決定しておく必要がある。</dd>
</dl>
</dd>
</dl>
<h2 id="k-means-法k-means-algorithms">K-Means 法（K-Means algorithms）</h2>
<p>K-Means 法は、予め定義された K 個の重複しないクラスタにデータセットを分割しようとする反復アルゴリズム。</p>
<ol>
<li>指定されたクラスタ数で各データポイントをランダムにクラスタ分けする。</li>
<li>各クラスタの重心を算出する。</li>
<li>各データポイントを、算出された重心に近いところへクラスタ再分類する</li>
<li>再分類されたクラスタの重心を再計算し、重心を再配置する。</li>
</ol>
<p>3, 4 を反復して行い、データポイントのクラスタ移動がなくなったら終了。</p>
<div class="img_wrap"><amp-img layout="responsive" src="/images/posts/246/pic_01.png" width="1200" height="630" alt="K-Means algorithms"></div>
<h2 id="python-でクラスター分析">python でクラスター分析</h2>
<p>それではクラスター分析を行なっていきます。</p>
<p>python の機械学習ライブラリ <strong>scikit-learn</strong> を用いて k-means 法による非階層クラスター分析を実施していきます。</p>
<h2 id="卸売業者の顧客データ">卸売業者の顧客データ</h2>
<p>サンプルのデータセットとして今回は、カルフォルニア大学（UC バークレー）から公開されている「卸売業者の顧客データ」を利用します。</p>
<p><a href="https://archive.ics.uci.edu/ml/datasets/Wholesale+customers" rel="noopener noreferrer" target="_blank">UCI Machine Learning Repository: Wholesale customers Data Set</a></p>
<h2 id="データ確認">データ確認</h2>
<p>データセットの中身を確認します。</p>
<pre><code class="hljs language-python"><span class="hljs-keyword">import</span> pandas <span class="hljs-keyword">as</span> pd

df = pd.read_csv(<span class="hljs-string">'./wholesale_customers_data.csv'</span>)

df.head()
</code></pre>
<div class="img_wrap"><amp-img layout="responsive" src="/images/posts/246/pic_02.png" width="1064" height="328" alt="卸売業者の顧客データ"></div>
<p>各カラムの意味は以下の通り</p>









































<table><thead><tr><th>column</th><th>詳細</th></tr></thead><tbody><tr><td>Channel</td><td>顧客チャネル - Horeca (ホテル/レストラン/カフェ)  or 小売</td></tr><tr><td>Region</td><td>地域</td></tr><tr><td>Fresh</td><td>生鮮品の年間支出額</td></tr><tr><td>Milk</td><td>乳製品の年間支出額</td></tr><tr><td>Grocery</td><td>食料品の年間支出額</td></tr><tr><td>Frozen</td><td>冷凍食品の年間支出額</td></tr><tr><td>Detergents_Paper</td><td>洗剤・紙類の年間支出額</td></tr><tr><td>Delicassen</td><td>惣菜の年間支出額</td></tr></tbody></table>
<p>名義尺度である Channel と Region は外して、支出額でクラスタリングします。</p>
<pre><code class="hljs language-python">df_train = df

<span class="hljs-comment"># Channel, Region カラムを除去</span>
df_train = df_train.drop([<span class="hljs-string">'Channel'</span>, <span class="hljs-string">'Region'</span>], axis=<span class="hljs-number">1</span>)

df_train.head()
</code></pre>
<div class="img_wrap"><amp-img layout="responsive" src="/images/posts/246/pic_03.png" width="1040" height="410" alt="チャネルと地域を省いたデータ"></div>
<p>記述統計を確認します。</p>
<pre><code class="hljs language-python">df_train.describe()
</code></pre>
<div class="img_wrap"><amp-img layout="responsive" src="/images/posts/246/pic_04.png" width="1252" height="502" alt="記述統計"></div>
<p>それぞれ min/max の幅が大きいので、度数分布表とヒストグラムを出力して各カラムにおけるデータの状況を確認しておきます。</p>
<div class="img_wrap"><amp-img layout="responsive" src="/images/posts/246/pic_05.png" width="2000" height="604" alt="度数分布表とヒストグラム"></div>
<p>値が大きく、飛び抜けているデータが 1 件ありました。（飛び抜けてはいるが外れ値ではないと解釈し、データ自体は含めます。最終的にこの飛び抜けたデータもしっかり分類されていれば良し。）</p>
<p>支出額については上限（最大値）があるわけではないので、データは標準化してスケールしておきます。</p>
<h2 id="標準化">標準化</h2>
<p>飛び抜けている数値があったので、<a href="https://scikit-learn.org/stable/modules/generated/sklearn.preprocessing.RobustScaler.html" rel="noopener noreferrer" target="_blank">RobustScaler</a> で標準化します。</p>
<p><a href="https://scikit-learn.org/stable/auto_examples/preprocessing/plot_all_scaling.html" rel="noopener noreferrer" target="_blank">Compare the effect of different scalers on data with outliers</a></p>
<pre><code class="hljs language-python"><span class="hljs-comment"># データを標準化</span>
<span class="hljs-keyword">from</span> sklearn <span class="hljs-keyword">import</span> preprocessing
rs = preprocessing.RobustScaler()

rs.fit(df_train)
arr_rs = rs.transform(df_train)
</code></pre>
<p>ペアプロット図で変数間の関係を見ておきます。</p>
<pre><code class="hljs language-python">train_rs = pd.DataFrame(arr_rs, columns=df_train.columns.values)

sns.pairplot(train_rs)
</code></pre>
<div class="img_wrap"><amp-img layout="responsive" src="/images/posts/246/pic_06.png" width="1968" height="1962" alt="ペアプロット図"></div>
<p>いくつか正の相関が見られるものがあります。今回は相関関係は関係ないですが、こういうところをさらっと見ておくだけでもデータを別の視点で探索していく上でのヒントになりそうです。</p>
<p>では、改めてデータと記述統計を確認します。</p>
<pre><code class="hljs language-python"><span class="hljs-comment"># データ確認</span>
train_rs.head()

<span class="hljs-comment"># 記述統計</span>
train_rs.describe()
</code></pre>
<div class="img_wrap"><amp-img layout="responsive" src="/images/posts/246/pic_07.png" width="972" height="330" alt="標準化後のデータ確認"></div>
<div class="img_wrap"><amp-img layout="responsive" src="/images/posts/246/pic_08.png" width="1096" height="472" alt="標準化後の記述統計"></div>
<p>標準化されていることを確認できました。</p>
<h2 id="次元削減">次元削減</h2>
<p>プロット解釈と処理高速化のために次元削減を行なっておきます。</p>
<p>PCA（主成分分析）でデータを 2 次元にまとめます。</p>
<pre><code class="hljs language-python"><span class="hljs-keyword">from</span> sklearn.decomposition <span class="hljs-keyword">import</span> PCA

<span class="hljs-comment"># 次元削減</span>
pca = PCA(n_components=<span class="hljs-number">2</span>)
pca.fit(train_rs)
arr_2d = pca.transform(train_rs)
train_2d = pd.DataFrame(arr_2d,columns=[<span class="hljs-string">"pca_1"</span>,<span class="hljs-string">"pca_2"</span>])
</code></pre>
<p>次元削減後のプロットを見てみます。</p>
<pre><code class="hljs language-python">sns.scatterplot( x=<span class="hljs-string">'pca_1'</span>, y=<span class="hljs-string">'pca_2'</span>, data=train_2d)
</code></pre>
<div class="img_wrap"><amp-img layout="responsive" src="/images/posts/246/pic_09.png" width="1356" height="814" alt="次元削減後のプロット"></div>
<h2 id="クラスタリング数の決定">クラスタリング数の決定</h2>
<p>非階層クラスター分析では、予めクラスター数を決めなければいけません。</p>
<p>k-means 法での最適なクラスター数を探るために、「エルボー法」を使って見てみます。</p>
<pre><code class="hljs language-python"><span class="hljs-keyword">from</span> sklearn.cluster <span class="hljs-keyword">import</span> KMeans
<span class="hljs-keyword">import</span> matplotlib.pyplot <span class="hljs-keyword">as</span> plt

list_sse = []

<span class="hljs-keyword">for</span> i  <span class="hljs-keyword">in</span> <span class="hljs-built_in">range</span>(<span class="hljs-number">1</span>,<span class="hljs-number">11</span>):            
    km = KMeans(n_clusters=i, random_state=<span class="hljs-number">0</span>)
    km.fit(train_2d)                         
    list_sse.append(km.inertia_)  

plt.plot(<span class="hljs-built_in">range</span>(<span class="hljs-number">1</span>,<span class="hljs-number">11</span>),list_sse,marker=<span class="hljs-string">'o'</span>)
plt.xlabel(<span class="hljs-string">'Number of clusters'</span>)
plt.ylabel(<span class="hljs-string">'SSE'</span>)
plt.show()
</code></pre>
<div class="img_wrap"><amp-img layout="responsive" src="/images/posts/246/pic_10.png" width="1082" height="538" alt="エルボー法"></div>
<p>5, ないしは 6 あたりが最適そうです。</p>
<div class="img_wrap"><amp-img layout="responsive" src="/images/posts/246/pic_11.png" width="1082" height="538" alt="エルボー法"></div>
<p>初めから増やしすぎてもクラスタの解釈が難しくなるため、クラスタ数は 5 でいきます。</p>
<h2 id="クラスタリング">クラスタリング</h2>
<p>データの準備とクラスタ数の決定まで行い、クラスタリングの準備が整いました。</p>
<p>k-means 法で非階層クラスター分析を実行していきます。</p>
<pre><code class="hljs language-python"><span class="hljs-keyword">from</span> sklearn.cluster <span class="hljs-keyword">import</span> KMeans

<span class="hljs-comment"># クラスタ数</span>
number_cluster=<span class="hljs-number">5</span>

kmeans = KMeans(n_clusters=number_cluster, random_state=<span class="hljs-number">0</span>)
kmeans.fit(train_2d)
pred = kmeans.predict(train_2d)
</code></pre>
<p>クラスタリング結果を先ほどのプロットに反映して見てみます。</p>
<pre><code class="hljs language-python">train_2d[<span class="hljs-string">"label"</span>] = pred
train_2d[<span class="hljs-string">"label"</span>] = train_2d[<span class="hljs-string">"label"</span>].astype(<span class="hljs-string">"int"</span>)

<span class="hljs-comment"># 可視化</span>
sns.scatterplot( x=<span class="hljs-string">'pca_1'</span>, y=<span class="hljs-string">'pca_2'</span>, hue=<span class="hljs-string">"label"</span>,data=train_2d,palette=<span class="hljs-string">"Set1"</span>)
</code></pre>
<div class="img_wrap"><amp-img layout="responsive" src="/images/posts/246/pic_12.png" width="1082" height="538" alt="クラスタリング結果"></div>
<p>目視の限りでは、良い感じにクラスタリングできていそうです。</p>
<h2 id="クラスタを分析">クラスタを分析</h2>
<p>分類したデータを分析してみます。それぞれのクラスタごとに、各部門の支出額平均を積み上げてグラフで可視化してみます。</p>
<div class="img_wrap"><amp-img layout="responsive" src="/images/posts/246/pic_13.png" width="1114" height="542" alt="各部門の支出額平均 積み上げ棒グラフ"></div>
<p>グラフの脇にそれぞれのクラスタの分類数を載せました。</p>
<p>クラスタ 1 と 3 は支出額が大きいですが、分類数が少ないため、大手の卸売業者かもしれません。</p>
<p>それらを除いたクラスタ 0, 2, 4 で見てみると、クラスタ 2 と 4 は支出の内訳が似ています。クラスタ 2 の規模が大きいグループがクラスタ 4 かもしれません。そしてこれらは、生鮮品の卸がメインであることがわかります。</p>
<p>クラスタ 0 は、支出額的にはクラスタ 2 と 4 の間にいますが、それぞれの支出配分を見ると、クラスタ 2 と 4 は生鮮品がメインであるのに対して、クラスタ 0 は食料品がメインであることがわかります。</p>
<p>こんな具合で、クラスタリングしたことでデータを一定のセグメントに分けられました。</p>
<p>ちなみにこのデータセットには卸売業者の販売チャネルもあったので、チャネルごとにクラスタリングしてみます。</p>
<div class="img_wrap"><amp-img layout="responsive" src="/images/posts/246/pic_14.png" width="1174" height="594" alt="ホテル・レストラン・カフェ 各部門の支出額平均 積み上げ棒グラフ"></div>
<div class="img_wrap"><amp-img layout="responsive" src="/images/posts/246/pic_15.png" width="1174" height="594" alt="小売 各部門の支出額平均 積み上げ棒グラフ"></div>
<p>売上規模と支出内訳のパターンできれいにクラスタリングされていることがわかります。飲食と小売って結構別ものですから、セグメント分けたことでより明確に見て取れるようになりました。</p>
<h2 id="データが意味を持つように">データが意味を持つように</h2>
<p>「顧客データが溜まってきたけれど、これらの顧客はどういった傾向にある顧客なのか。」</p>
<p>ただデータだけあって、そのデータから何もつかめていない。そんな時にこういったクラスター分析によってデータの一定の類似性を発見でき、それによってさらに深くデータを分析していくそのきっかけにできる。まさに「探索的データ分析手法」であり、データの構造に関する直感を得るために使用される。</p>
<p>「そのデータが意味を持つ瞬間」を体験でき、 クラスター分析で得られる知見を実感できました。</p>

<p>似たような傾向にあるデータを分類し、何らかの洞察を得たい。</p>
<p>データを一定の規則で分類し類似性を探る「クラスター分析」その中でも k-means 法を用いた非階層クラスター分析を行なってみます。</p>
<h2 id="contents">contents</h2>
<ol>
<li><a href="#%E3%82%AF%E3%83%A9%E3%82%B9%E3%82%BF%E3%83%BC%E5%88%86%E6%9E%90%E3%82%AF%E3%83%A9%E3%82%B9%E3%82%BF%E3%83%AA%E3%83%B3%E3%82%B0">クラスター分析（クラスタリング）</a></li>
<li><a href="#k-means-%E6%B3%95k-means-algorithms">K-Means 法（K-Means algorithms）</a></li>
<li><a href="#python-%E3%81%A7%E3%82%AF%E3%83%A9%E3%82%B9%E3%82%BF%E3%83%BC%E5%88%86%E6%9E%90">python でクラスター分析</a></li>
<li><a href="#%E5%8D%B8%E5%A3%B2%E6%A5%AD%E8%80%85%E3%81%AE%E9%A1%A7%E5%AE%A2%E3%83%87%E3%83%BC%E3%82%BF">卸売業者の顧客データ</a></li>
<li><a href="#%E3%83%87%E3%83%BC%E3%82%BF%E7%A2%BA%E8%AA%8D">データ確認</a></li>
<li><a href="#%E6%A8%99%E6%BA%96%E5%8C%96">標準化</a></li>
<li><a href="#%E6%AC%A1%E5%85%83%E5%89%8A%E6%B8%9B">次元削減</a></li>
<li><a href="#%E3%82%AF%E3%83%A9%E3%82%B9%E3%82%BF%E3%83%AA%E3%83%B3%E3%82%B0%E6%95%B0%E3%81%AE%E6%B1%BA%E5%AE%9A">クラスタリング数の決定</a></li>
<li><a href="#%E3%82%AF%E3%83%A9%E3%82%B9%E3%82%BF%E3%83%AA%E3%83%B3%E3%82%B0">クラスタリング</a></li>
<li><a href="#%E3%82%AF%E3%83%A9%E3%82%B9%E3%82%BF%E3%82%92%E5%88%86%E6%9E%90">クラスタを分析</a></li>
<li><a href="#%E3%83%87%E3%83%BC%E3%82%BF%E3%81%8C%E6%84%8F%E5%91%B3%E3%82%92%E6%8C%81%E3%81%A4%E3%82%88%E3%81%86%E3%81%AB">データが意味を持つように</a></li>
</ol>
<h2 id="クラスター分析クラスタリング">クラスター分析（クラスタリング）</h2>
<p>クラスター分析は、ある集団を類似度によってグループ化（分類）する分析手法。クラスタリングとも呼ばれる。</p>
<p>データの構造に関する直感を得るために使用される最も一般的な探索的データ分析手法の 1 つ。</p>
<p>データを一定の規則で分類することで、そのデータの特性を把握しやすくなる。</p>
<p>（例えば、集団 A は肉が好き。集団 B は魚が好き。集団 C は肉も魚も好き。のような洞察を得られたりする）</p>
<p>機械学習では「教師なし学習」に分類される。</p>
<dl>
<dt>クラスター分析の種類</dt>
<dd>
<dl>
<dt>階層クラスター分析 </dt>
<dd>デンドログラム（樹形図）を作成しクラスタリングを行う。</dd>
<dd>グルーピングされていく過程を確認したい時に有効（事前のクラスタ数の決定も不要）。ただし、データ数が多いと時間がかかる。</dd>
<dt>非階層クラスター分析</dt>
<dd>デンドログラム等は作成せず、クラスタリングを行う。</dd>
<dd>クラスタ数を予め決定しておく必要がある。</dd>
</dl>
</dd>
</dl>
<h2 id="k-means-法k-means-algorithms">K-Means 法（K-Means algorithms）</h2>
<p>K-Means 法は、予め定義された K 個の重複しないクラスタにデータセットを分割しようとする反復アルゴリズム。</p>
<ol>
<li>指定されたクラスタ数で各データポイントをランダムにクラスタ分けする。</li>
<li>各クラスタの重心を算出する。</li>
<li>各データポイントを、算出された重心に近いところへクラスタ再分類する</li>
<li>再分類されたクラスタの重心を再計算し、重心を再配置する。</li>
</ol>
<p>3, 4 を反復して行い、データポイントのクラスタ移動がなくなったら終了。</p>
<div class="img_wrap"><img src="/images/posts/246/pic_01.png" width="1200" height="630" alt="K-Means algorithms"></div>
<h2 id="python-でクラスター分析">python でクラスター分析</h2>
<p>それではクラスター分析を行なっていきます。</p>
<p>python の機械学習ライブラリ <strong>scikit-learn</strong> を用いて k-means 法による非階層クラスター分析を実施していきます。</p>
<h2 id="卸売業者の顧客データ">卸売業者の顧客データ</h2>
<p>サンプルのデータセットとして今回は、カルフォルニア大学（UC バークレー）から公開されている「卸売業者の顧客データ」を利用します。</p>
<p><a href="https://archive.ics.uci.edu/ml/datasets/Wholesale+customers" rel="noopener noreferrer" target="_blank">UCI Machine Learning Repository: Wholesale customers Data Set</a></p>
<h2 id="データ確認">データ確認</h2>
<p>データセットの中身を確認します。</p>
<pre><code class="hljs language-python"><span class="hljs-keyword">import</span> pandas <span class="hljs-keyword">as</span> pd

df = pd.read_csv(<span class="hljs-string">'./wholesale_customers_data.csv'</span>)

df.head()
</code></pre>
<div class="img_wrap"><img src="/images/posts/246/pic_02.png" width="1064" height="328" alt="卸売業者の顧客データ"></div>
<p>各カラムの意味は以下の通り</p>









































<table><thead><tr><th>column</th><th>詳細</th></tr></thead><tbody><tr><td>Channel</td><td>顧客チャネル - Horeca (ホテル/レストラン/カフェ)  or 小売</td></tr><tr><td>Region</td><td>地域</td></tr><tr><td>Fresh</td><td>生鮮品の年間支出額</td></tr><tr><td>Milk</td><td>乳製品の年間支出額</td></tr><tr><td>Grocery</td><td>食料品の年間支出額</td></tr><tr><td>Frozen</td><td>冷凍食品の年間支出額</td></tr><tr><td>Detergents_Paper</td><td>洗剤・紙類の年間支出額</td></tr><tr><td>Delicassen</td><td>惣菜の年間支出額</td></tr></tbody></table>
<p>名義尺度である Channel と Region は外して、支出額でクラスタリングします。</p>
<pre><code class="hljs language-python">df_train = df

<span class="hljs-comment"># Channel, Region カラムを除去</span>
df_train = df_train.drop([<span class="hljs-string">'Channel'</span>, <span class="hljs-string">'Region'</span>], axis=<span class="hljs-number">1</span>)

df_train.head()
</code></pre>
<div class="img_wrap"><img src="/images/posts/246/pic_03.png" width="1040" height="410" alt="チャネルと地域を省いたデータ"></div>
<p>記述統計を確認します。</p>
<pre><code class="hljs language-python">df_train.describe()
</code></pre>
<div class="img_wrap"><img src="/images/posts/246/pic_04.png" width="1252" height="502" alt="記述統計"></div>
<p>それぞれ min/max の幅が大きいので、度数分布表とヒストグラムを出力して各カラムにおけるデータの状況を確認しておきます。</p>
<div class="img_wrap"><img src="/images/posts/246/pic_05.png" width="2000" height="604" alt="度数分布表とヒストグラム"></div>
<p>値が大きく、飛び抜けているデータが 1 件ありました。（飛び抜けてはいるが外れ値ではないと解釈し、データ自体は含めます。最終的にこの飛び抜けたデータもしっかり分類されていれば良し。）</p>
<p>支出額については上限（最大値）があるわけではないので、データは標準化してスケールしておきます。</p>
<h2 id="標準化">標準化</h2>
<p>飛び抜けている数値があったので、<a href="https://scikit-learn.org/stable/modules/generated/sklearn.preprocessing.RobustScaler.html" rel="noopener noreferrer" target="_blank">RobustScaler</a> で標準化します。</p>
<p><a href="https://scikit-learn.org/stable/auto_examples/preprocessing/plot_all_scaling.html" rel="noopener noreferrer" target="_blank">Compare the effect of different scalers on data with outliers</a></p>
<pre><code class="hljs language-python"><span class="hljs-comment"># データを標準化</span>
<span class="hljs-keyword">from</span> sklearn <span class="hljs-keyword">import</span> preprocessing
rs = preprocessing.RobustScaler()

rs.fit(df_train)
arr_rs = rs.transform(df_train)
</code></pre>
<p>ペアプロット図で変数間の関係を見ておきます。</p>
<pre><code class="hljs language-python">train_rs = pd.DataFrame(arr_rs, columns=df_train.columns.values)

sns.pairplot(train_rs)
</code></pre>
<div class="img_wrap"><img src="/images/posts/246/pic_06.png" width="1968" height="1962" alt="ペアプロット図"></div>
<p>いくつか正の相関が見られるものがあります。今回は相関関係は関係ないですが、こういうところをさらっと見ておくだけでもデータを別の視点で探索していく上でのヒントになりそうです。</p>
<p>では、改めてデータと記述統計を確認します。</p>
<pre><code class="hljs language-python"><span class="hljs-comment"># データ確認</span>
train_rs.head()

<span class="hljs-comment"># 記述統計</span>
train_rs.describe()
</code></pre>
<div class="img_wrap"><img src="/images/posts/246/pic_07.png" width="972" height="330" alt="標準化後のデータ確認"></div>
<div class="img_wrap"><img src="/images/posts/246/pic_08.png" width="1096" height="472" alt="標準化後の記述統計"></div>
<p>標準化されていることを確認できました。</p>
<h2 id="次元削減">次元削減</h2>
<p>プロット解釈と処理高速化のために次元削減を行なっておきます。</p>
<p>PCA（主成分分析）でデータを 2 次元にまとめます。</p>
<pre><code class="hljs language-python"><span class="hljs-keyword">from</span> sklearn.decomposition <span class="hljs-keyword">import</span> PCA

<span class="hljs-comment"># 次元削減</span>
pca = PCA(n_components=<span class="hljs-number">2</span>)
pca.fit(train_rs)
arr_2d = pca.transform(train_rs)
train_2d = pd.DataFrame(arr_2d,columns=[<span class="hljs-string">"pca_1"</span>,<span class="hljs-string">"pca_2"</span>])
</code></pre>
<p>次元削減後のプロットを見てみます。</p>
<pre><code class="hljs language-python">sns.scatterplot( x=<span class="hljs-string">'pca_1'</span>, y=<span class="hljs-string">'pca_2'</span>, data=train_2d)
</code></pre>
<div class="img_wrap"><img src="/images/posts/246/pic_09.png" width="1356" height="814" alt="次元削減後のプロット"></div>
<h2 id="クラスタリング数の決定">クラスタリング数の決定</h2>
<p>非階層クラスター分析では、予めクラスター数を決めなければいけません。</p>
<p>k-means 法での最適なクラスター数を探るために、「エルボー法」を使って見てみます。</p>
<pre><code class="hljs language-python"><span class="hljs-keyword">from</span> sklearn.cluster <span class="hljs-keyword">import</span> KMeans
<span class="hljs-keyword">import</span> matplotlib.pyplot <span class="hljs-keyword">as</span> plt

list_sse = []

<span class="hljs-keyword">for</span> i  <span class="hljs-keyword">in</span> <span class="hljs-built_in">range</span>(<span class="hljs-number">1</span>,<span class="hljs-number">11</span>):            
    km = KMeans(n_clusters=i, random_state=<span class="hljs-number">0</span>)
    km.fit(train_2d)                         
    list_sse.append(km.inertia_)  

plt.plot(<span class="hljs-built_in">range</span>(<span class="hljs-number">1</span>,<span class="hljs-number">11</span>),list_sse,marker=<span class="hljs-string">'o'</span>)
plt.xlabel(<span class="hljs-string">'Number of clusters'</span>)
plt.ylabel(<span class="hljs-string">'SSE'</span>)
plt.show()
</code></pre>
<div class="img_wrap"><img src="/images/posts/246/pic_10.png" width="1082" height="538" alt="エルボー法"></div>
<p>5, ないしは 6 あたりが最適そうです。</p>
<div class="img_wrap"><img src="/images/posts/246/pic_11.png" width="1082" height="538" alt="エルボー法"></div>
<p>初めから増やしすぎてもクラスタの解釈が難しくなるため、クラスタ数は 5 でいきます。</p>
<h2 id="クラスタリング">クラスタリング</h2>
<p>データの準備とクラスタ数の決定まで行い、クラスタリングの準備が整いました。</p>
<p>k-means 法で非階層クラスター分析を実行していきます。</p>
<pre><code class="hljs language-python"><span class="hljs-keyword">from</span> sklearn.cluster <span class="hljs-keyword">import</span> KMeans

<span class="hljs-comment"># クラスタ数</span>
number_cluster=<span class="hljs-number">5</span>

kmeans = KMeans(n_clusters=number_cluster, random_state=<span class="hljs-number">0</span>)
kmeans.fit(train_2d)
pred = kmeans.predict(train_2d)
</code></pre>
<p>クラスタリング結果を先ほどのプロットに反映して見てみます。</p>
<pre><code class="hljs language-python">train_2d[<span class="hljs-string">"label"</span>] = pred
train_2d[<span class="hljs-string">"label"</span>] = train_2d[<span class="hljs-string">"label"</span>].astype(<span class="hljs-string">"int"</span>)

<span class="hljs-comment"># 可視化</span>
sns.scatterplot( x=<span class="hljs-string">'pca_1'</span>, y=<span class="hljs-string">'pca_2'</span>, hue=<span class="hljs-string">"label"</span>,data=train_2d,palette=<span class="hljs-string">"Set1"</span>)
</code></pre>
<div class="img_wrap"><img src="/images/posts/246/pic_12.png" width="1082" height="538" alt="クラスタリング結果"></div>
<p>目視の限りでは、良い感じにクラスタリングできていそうです。</p>
<h2 id="クラスタを分析">クラスタを分析</h2>
<p>分類したデータを分析してみます。それぞれのクラスタごとに、各部門の支出額平均を積み上げてグラフで可視化してみます。</p>
<div class="img_wrap"><img src="/images/posts/246/pic_13.png" width="1114" height="542" alt="各部門の支出額平均 積み上げ棒グラフ"></div>
<p>グラフの脇にそれぞれのクラスタの分類数を載せました。</p>
<p>クラスタ 1 と 3 は支出額が大きいですが、分類数が少ないため、大手の卸売業者かもしれません。</p>
<p>それらを除いたクラスタ 0, 2, 4 で見てみると、クラスタ 2 と 4 は支出の内訳が似ています。クラスタ 2 の規模が大きいグループがクラスタ 4 かもしれません。そしてこれらは、生鮮品の卸がメインであることがわかります。</p>
<p>クラスタ 0 は、支出額的にはクラスタ 2 と 4 の間にいますが、それぞれの支出配分を見ると、クラスタ 2 と 4 は生鮮品がメインであるのに対して、クラスタ 0 は食料品がメインであることがわかります。</p>
<p>こんな具合で、クラスタリングしたことでデータを一定のセグメントに分けられました。</p>
<p>ちなみにこのデータセットには卸売業者の販売チャネルもあったので、チャネルごとにクラスタリングしてみます。</p>
<div class="img_wrap"><img src="/images/posts/246/pic_14.png" width="1174" height="594" alt="ホテル・レストラン・カフェ 各部門の支出額平均 積み上げ棒グラフ"></div>
<div class="img_wrap"><img src="/images/posts/246/pic_15.png" width="1174" height="594" alt="小売 各部門の支出額平均 積み上げ棒グラフ"></div>
<p>売上規模と支出内訳のパターンできれいにクラスタリングされていることがわかります。飲食と小売って結構別ものですから、セグメント分けたことでより明確に見て取れるようになりました。</p>
<h2 id="データが意味を持つように">データが意味を持つように</h2>
<p>「顧客データが溜まってきたけれど、これらの顧客はどういった傾向にある顧客なのか。」</p>
<p>ただデータだけあって、そのデータから何もつかめていない。そんな時にこういったクラスター分析によってデータの一定の類似性を発見でき、それによってさらに深くデータを分析していくそのきっかけにできる。まさに「探索的データ分析手法」であり、データの構造に関する直感を得るために使用される。</p>
<p>「そのデータが意味を持つ瞬間」を体験でき、 クラスター分析で得られる知見を実感できました。</p>

Author