k-meansの概要と応用および実装例について

k-meansについて

k-meansは、クラスタリングと呼ばれる機械学習のタスクで使用されるアルゴリズムの一つであり、様々なタスクで利用可能な手法となる。ここでのクラスタリングは、データポイントを類似した特徴を持つグループ(クラスタ)に分割する手法を指し、k-meansアルゴリズムは、与えられたデータを指定された数のクラスタに分割することを目指すものとなる。

以下にk-meansの主なアイディアと手順について述べる。

1. 初期化: まず、クラスタ数kを指定し、ランダムにk個の中心点(セントロイド)を選択する。これらの中心点は、クラスタの代表的な位置を表す点となる。
2. 割り当て: 各データポイントを、最も近いセントロイドに割り当てる。つまり、各データポイントをその特徴と最も近いセントロイドが属するクラスタに所属させる。
3. 再計算: 各クラスタ内のデータポイントの平均を計算し、その平均を新しいセントロイドとして設定する。これにより、セントロイドの位置がクラスタ内のデータポイントに適応して変化する。
4. 収束判定: セントロイドの位置が収束するか、あるいは最大の反復回数に達するまで、2と3のステップを繰り返す。収束したとき、各データポイントのクラスタへの所属が固定される。

k-meansのメリットとデメリットを以下にまとめる。

<メリット>

• 計算効率が高い: k-meansは比較的シンプルなアルゴリズムであり、大規模なデータセットに対しても高速に計算できる。特に、クラスタの数が少ない場合に効果的な手法となる。
• スケーラビリティ: k-meansはスケーラビリティが高く、データが多次元でも適用可能となる。大規模なデータセットに対しても適切な結果を得ることができる。
• 直感的な解釈性: クラスタの中心(セントロイド)を用いてデータを分割するため、各クラスタがどのような特徴を持つかを比較的直感的に理解できる。
• 前処理の簡素化: k-meansは特徴量のスケーリングが不要な場合が多いため、データの前処理が簡略化される。

<デメリット>

• 初期化による結果の影響: 初期クラスタ中心の選び方によって結果が大きく変わる可能性がある。そのため、異なる初期化を試す必要がある。
• クラスタ数の指定: k-meansでは事前にクラスタの数を指定する必要がある。適切なクラスタ数を事前に知るのが難しい場合、クラスタ数の選定が難しいことがある。
• 球状クラスタの限定: k-meansは、クラスタが球状であることを仮定している。非球状のクラスタを正しく分割できないことがある。
• 外れ値への敏感さ: 外れ値が存在する場合、それがクラスタの中心に影響を与える可能性がある。
• 選んだ距離尺度の影響: k-meansは距離に基づくアルゴリズムであるため、選択した距離尺度がクラスタリング結果に影響を与える。

k-meansは簡潔で効率的なクラスタリング手法であり、様々なタスクにおいてまず適用してみるものであるということができる。その様な場合に、適切なクラスタ数の選定や非球状クラスタの分割においては制約があることに注意が必要となり、また、初期化による結果のバリエーションや外れ値への敏感さにも留意する必要がある。

数理モデル

以下に、k-meansの数理モデルについて述べる。

1. データ: k-meansでは、n個のデータポイントを d次元のユークリッド空間上に考え、これをデータ行列Xで表現し、各行が1つのデータポイントで、各列が特徴量（次元）を表す。\[X = [x₁, x₂, …, xₙ] xᵢ ∈ ℝᵈ\]
2. クラスタ中心: クラスタリングの目標は、データをk個のクラスタに分割することとなる。各クラスタは1つの中心(セントロイド)を持ち、クラスタ中心をμ₁, μ₂, …, μₖと表現する。
3. 割り当て: 各データポイントxᵢは、最も近いクラスタ中心に割り当てられる。つまり、データ点xᵢがクラスタjに属する場合、割り当て関数c(xᵢ) = jが成り立つ。
4. クラスタ中心の更新: 各クラスタの中心は、そのクラスタに属するデータポイントの平均値(重心)として更新される。新しいクラスタ中心を計算する式は次のようになる。\[μⱼ = (1 / |Cⱼ|) * Σᵢ₆₈ c(xᵢ) = j xᵢ\]ここで、Cⱼはクラスタjに属するデータポイントのインデックスの集合で、|Cⱼ|はその要素数となる。
5. 最適化目標: k-meansの最適化目標は、各データポイントからその所属するクラスタ中心までの距離の合計を最小化することであり、これは次のように表される。\[J = Σᵢₙ ||xᵢ – μ_{c(xᵢ)}||²\]ここで、||⋅||はユークリッド距離を示し、μ_{c(xᵢ)}はデータポイントxᵢが属するクラスタの中心となる。
6. 最適化手法: k-meansはイテレーションによってクラスタ中心とデータポイントの割り当てを交互に更新して収束し、典型的な手法は、以下のステップを反復的に実行するものとなる。
   1. データポイントを最も近いクラスタ中心に割り当てる。
   2. クラスタ中心を割り当てられたデータポイントの平均値で更新する。
7. 最終的に、k-meansは収束すると、各データポイントは最も近いクラスタ中心に割り当てられ、クラスタ中心もデータポイントの集合の平均値に収束する。

k-meansの派生アルゴリズムと他の機械学習技術との組み合わせと応用について

<派生アルゴリズム>

k-meansにはいくつかの制約や問題点があり、それらの問題を解決するための派生アルゴリズムがいくつか提案されている。以下にいくつかのk-meansの派生アルゴリズムについて述べる。

• K-means++: 初期クラスタ中心の選び方を改善したバージョンとなる。通常、k-meansの初期クラスタ中心はランダムに選ばれるため、収束が遅かったり、局所最適解に収束する可能性が高かったりするが、K-means++は初期クラスタ中心を選ぶ際に、より良い初期化を行うことでこれらの問題を軽減する。
• K-medoids（PAM: Partitioning Around Medoids）: k-meansがクラスタ中心を平均値で表現するのに対して、K-medoidsは各クラスタをその中央値ではなく、実際のデータ点(メドイド)で表現する。これにより外れ値の影響を受けにくく、ロバストなクラスタリングを実現する。k-medoidsに関しては”説明できる機械学習(19)prototypeとcriticism“も参照のこと。
• K-means++-PAM: K-means++とK-medoidsを組み合わせたアルゴリズムで、初期クラスタ中心の選び方をK-means++に基づいて改善し、その後はK-medoidsを用いてクラスタリングを行うものとなる。
• Bisecting K-means: クラスタを階層的に分割していく手法であり、まず初めに全データを1つのクラスタとし、その後反復的に最も大きなクラスタを2つに分割していくことで、指定したクラスタ数まで分割するものとなる。k-meansを用いた階層クラスタリングに関しては”Rによる階層クラスタリング“も参照のこと。
• Spectral Clustering: “対称関係データのクラスタリング -スペクトラルクラスタリング“でも述べているSpectral Clusteringは、グラフ理論に基づいたアプローチで、データをグラフとして捉え、グラフのラプラシアン行列の固有ベクトルを用いてクラスタリングを行うものとなる。特に、非凸なクラスタ形状や高次元データに対して有効となる。
• DBSCAN (Density-Based Spatial Clustering of Applications with Noise): “DBSCANの概要と適用事例および実装例について“でも述べているDBSCANは、k-meansとは異なるアプローチでクラスタリングを行うアルゴリズムとなる。これは、密度に基づいてクラスタを検出し、外れ値に対してもロバストなクラスタリングを提供する。

<他の機械学習技術との組み合わせ>

k-meansはクラスタリングの基本的な手法だが、他の機械学習技術と組み合わせることで、より高度なクラスタリングや応用が可能となる。以下に、k-meansと他の機械学習技術との組み合わせや応用例について述べる。

• 特徴抽出とクラスタリング: k-meansはデータのクラスタリングに使用されるが、事前に特徴抽出を行い、それを基にクラスタリングを行うこともある。例えば、テキストデータの場合、”tfidfの概要とClojureでの実装“で述べているTF-IDFなどの特徴ベクトルを抽出し、その特徴ベクトルを元にk-meansで類似する文書をクラスタリングすることができる。
• 次元削減と可視化: 高次元のデータをクラスタリングする際、次元の呪いによる問題が発生することがある。k-meansを適用する前に、”主成分分析(Principle Component Analysis:PCA)について“で述べているPCAやt-SNEなどの次元削減手法を使用してデータを低次元空間に射影し、可視化やクラスタリングを行うことができる。
• アンサンブルクラスタリング: 複数のクラスタリングアルゴリズム(k-means、階層的クラスタリングなど)の結果を組み合わせるアンサンブルクラスタリング手法も存在する。これにより、異なるアルゴリズムの利点を生かしながらクラスタリングの安定性や精度を向上させることができる。アンサンブル法に関しては”アンサンブル法による機械学習 -基礎とアルゴリズム 読書メモ“も参照のこと。
• 教師ありクラスタリング: 教師あり学習の一部として、k-meansを使用してデータを事前にクラスタリングし、そのクラスタ情報をラベルとして教師データを拡張する手法もある。これにより、ラベルの不足したデータセットを利用して分類器をトレーニングすることが可能です。”スモールデータ学習、論理と機械学習との融合、局所/集団学習“も参照のこと。
• 異常検出: k-meansを用いてクラスタリングを行い、データポイントがどのクラスタに所属するかを決定する。その後、各クラスタのセントロイドとデータポイントの距離を計算し、異常なデータポイントを検出するのに利用することができる。異常検知全般に関しては”異常検知と変化検知技術“を参照のこと。
• 半教師あり学習: k-meansを用いてデータをクラスタリングし、それを元に教師なしクラスタとラベル付きデータを結びつけることで、半教師あり学習のアプローチを実現することができる。”スモールデータ学習、論理と機械学習との融合、局所/集団学習“も参照のこと。

k-meansの応用事例について

k-meansは幅広い応用分野で利用されるクラスタリング手法であり、以下に示す様な応用事例がある。

• 顧客セグメンテーション: マーケティング分野では、顧客の購買履歴や行動データを元に類似した購買パターンや特性を持つ顧客をクラスタリングする。これにより、異なるセグメントの顧客に対してターゲティングされたマーケティング戦略を展開することが可能となる。
• 画像セグメンテーション: 画像処理分野では、k-meansを用いて画像内の類似した色やテクスチャの領域を検出するためのセグメンテーションが行われる。これは、画像の物体検出や画像解析に役立つ。
• 文書クラスタリング: 自然言語処理分野では、テキストデータを解析し類似したテーマや内容を持つ文書をクラスタリングを行う。これは、文書のグループ化や情報検索の改善に活用される。
• 生物学的データ解析: バイオインフォマティクス分野では、遺伝子発現データやタンパク質の情報などを元に、生物の種や機能的なグループをクラスタリングすることで、生物学的な洞察を得るために使用される。
• 音楽のジャンル分類: 音楽の特徴量(音響特性、楽器など)を用いて、類似した音楽トラックをクラスタリングしてジャンル分類やプレイリストの作成に活用される。
• 都市の人口分布分析: 都市計画や地理情報システムでは、都市内の地区を人口密度や住宅価格などの特徴に基づいてクラスタリングし、異なるタイプの地域を識別するのに使用される。
• 金融データ分析: 金融分野では、時系列データや市場指標を用いて資産やポートフォリオのクラスタリングを行い、リスク評価や投資戦略の構築に利用される。

k-meansは多様な分野で利用されています。適切なデータと問題に対してk-meansを適用することで、パターンや構造を発見し、洞察を得ることができる。

k-meansの実装例について

PythonのScikit-learnライブラリを使用して、k-meansアルゴリズムを実装する例を示す。以下は、簡単なデータセットを用いたk-meansの実装例となる。

import numpy as np
import matplotlib.pyplot as plt
from sklearn.datasets import make_blobs
from sklearn.cluster import KMeans

# ダミーデータ生成
data, _ = make_blobs(n_samples=300, centers=4, cluster_std=1.0, random_state=42)

# k-means クラスタリング
k = 4  # クラスタ数
kmeans = KMeans(n_clusters=k)
kmeans.fit(data)

# クラスタの中心点
centroids = kmeans.cluster_centers_

# クラスタに所属するデータポイントのラベル
labels = kmeans.labels_

# データポイントと中心点の可視化
plt.scatter(data[:, 0], data[:, 1], c=labels, cmap='viridis')
plt.scatter(centroids[:, 0], centroids[:, 1], marker='X', s=200, color='red')
plt.xlabel('Feature 1')
plt.ylabel('Feature 2')
plt.title('k-means Clustering')
plt.show()

この例では、Scikit-learnのmake_blobs関数を使用して4つのクラスタを持つダミーデータを生成し、そのデータをk-meansでクラスタリングしている。クラスタ数 k を指定し、KMeansクラスを使用してクラスタリングを行い、クラスタの中心点とデータポイントを可視化している。

多次元データのk-means実装例について

Pythonとscikit-learnライブラリを使用した多次元データのk-meansの実装例を示す。

import numpy as np
from sklearn.cluster import KMeans
import matplotlib.pyplot as plt

# ダミーの多次元データを生成
np.random.seed(0)
n_samples = 300
n_features = 2
n_clusters = 3

X = np.random.randn(n_samples, n_features) + np.array([2, 2])
X = np.vstack((X, np.random.randn(n_samples, n_features) + np.array([0, -2])))
X = np.vstack((X, np.random.randn(n_samples, n_features) + np.array([-2, 2])))

# k-meansクラスタリングの実行
kmeans = KMeans(n_clusters=n_clusters)
kmeans.fit(X)

# クラスタ中心とラベルを取得
cluster_centers = kmeans.cluster_centers_
labels = kmeans.labels_

# クラスタリング結果の可視化
plt.scatter(X[:, 0], X[:, 1], c=labels, cmap='viridis', alpha=0.5)
plt.scatter(cluster_centers[:, 0], cluster_centers[:, 1], c='red', marker='x', s=100)
plt.xlabel('Feature 1')
plt.ylabel('Feature 2')
plt.title('k-means Clustering')
plt.show()

この例では、まずダミーの多次元データを生成し、その後、KMeansクラスを使用してk-meansクラスタリングを実行し、クラスタ中心と各データポイントのラベルを取得している。最後に、クラスタリング結果を散布図として可視化している。

実際のデータに対してk-meansを適用する際には、適切なクラスタ数を選ぶ必要があり、クラスタ数は事前に知っている場合もあるが、適切なクラスタ数を見つけるためにエルボー法やシルエットスコアなどの手法を使用することがあり、また、データの前処理やクラスタリングのパラメータ調整も重要な要素となる。

エルボー法の概要と実装

エルボー法(Elbow Method)は、k-meansクラスタリングにおいて適切なクラスタ数を決定するための一般的な手法となる。この方法は、クラスタ数を増やすことによるクラスタ内の分散(クラスタ内誤差平方和)の減少の傾向をグラフ化し、エルボ(曲がり角)が見られるクラスタ数を選ぶという考え方に基づいている。以下はエルボ法のステップとPythonの実装例となる。

1. クラスタ数を1から試し始め、増やしていく。
2. 各クラスタ数に対して、クラスタ内誤差平方和（SSE: Sum of Squared Errors）を計算する。これは各データポイントとその所属するクラスタ中心との距離の二乗の総和です。
3. SSEをグラフ化し、エルボ（曲がり角）が見られるクラスタ数を選ぶ。

import numpy as np
from sklearn.cluster import KMeans
import matplotlib.pyplot as plt

# ダミーの多次元データを生成
np.random.seed(0)
data = np.random.randn(300, 2)

# クラスタ数の範囲を指定
cluster_range = range(1, 11)
sse = []

# 各クラスタ数に対してK-meansを実行し、SSEを計算
for k in cluster_range:
    kmeans = KMeans(n_clusters=k)
    kmeans.fit(data)
    sse.append(kmeans.inertia_)

# SSEをグラフ化してエルボを探す
plt.plot(cluster_range, sse, marker='o')
plt.xlabel('Number of Clusters')
plt.ylabel('SSE')
plt.title('Elbow Method for Optimal Clusters')
plt.show()

このコードでは、1から10までのクラスタ数でK-meansを実行し、それぞれのクラスタ数に対するSSE(クラスタ内誤差平方和)を計算しグラフ化している。エルボ法を用いて適切なクラスタ数を見つける際には、グラフ上でSSEが急激に減少するエルボ(曲がり角)の位置を見つけることが目標であり、選ばれたエルボの位置が、データに対して適切なクラスタ数となる。

エルボー法の詳細に関しては”k-meansの使いこなしの為のクラスタリングの評価について“も参照のこと。

シルエットスコア法の概要と実装について

シルエットスコア(Silhouette Score)は、k-meansクラスタリングの結果を評価するための指標の一つとなる。クラスタの品質を評価し、適切なクラスタ数を選ぶ際に役立ち。シルエットスコアは、クラスタ内のデータポイントがどれだけ密集しているか(類似度の高さ)と、他のクラスタとの距離の遠さを考慮して計算される。

シルエットスコアは、各データポイントごとに以下の値を計算し、平均をとったものとなる。

• a(i) : データポイント i が所属するクラスタ内の平均距離(データポイント間の距離)。
• b(i) : データポイント i が所属するクラスタと異なる最も近いクラスタとの平均距離。

シルエットスコア s(i) は以下の式で計算される。

s(i) = (b(i) - a(i)) / max(a(i), b(i))

全データポイントのシルエットスコアを計算し、その平均値を取ることで、クラスタリングの品質を評価する。シルエットスコアは -1 から 1 の範囲を取り、値が高いほどクラスタ内の類似度が高く、他のクラスタとの距離が大きいことを示す。

シルエットスコアを用いて適切なクラスタ数を見つける際には、異なるクラスタ数に対してシルエットスコアを計算し、最大のスコアを持つクラスタ数を選ぶことが一般的となる。

以下にPythonのscikit-learnライブラリを使用してシルエットスコアを計算する例を示す。

from sklearn.cluster import KMeans
from sklearn.metrics import silhouette_score

# ダミーの多次元データを生成
data = ...

# クラスタ数の範囲を指定
cluster_range = range(2, 11)
silhouette_scores = []

# 各クラスタ数に対してK-meansを実行し、シルエットスコアを計算
for k in cluster_range:
    kmeans = KMeans(n_clusters=k)
    labels = kmeans.fit_predict(data)
    score = silhouette_score(data, labels)
    silhouette_scores.append(score)

# シルエットスコアをグラフ化
plt.plot(cluster_range, silhouette_scores, marker='o')
plt.xlabel('Number of Clusters')
plt.ylabel('Silhouette Score')
plt.title('Silhouette Score for Optimal Clusters')
plt.show()

このコードでは、異なるクラスタ数に対してK-meansを実行し、それぞれのクラスタ数に対するシルエットスコアを計算しグラフ化している。最大のシルエットスコアを持つクラスタ数が、データに対して適切なクラスタ数となる。

階層k-meansの実装例について

Bisecting K-meansアルゴリズムを使用して、データを階層的に分割するPythonとscikit-learnを使用した階層k-meansの実装例について述べる。

import numpy as np
from sklearn.cluster import KMeans
from sklearn.datasets import make_blobs
from sklearn.cluster import AgglomerativeClustering
from sklearn.cluster import Birch
import matplotlib.pyplot as plt
import scipy.cluster.hierarchy as sch

# ダミーの多次元データを生成
data, labels = make_blobs(n_samples=300, centers=3, random_state=0, cluster_std=1.0)

# 階層k-meansクラスタリングの実行
agg_cluster = AgglomerativeClustering(n_clusters=3)
agg_labels = agg_cluster.fit_predict(data)

# デンドログラムの作成
dendrogram = sch.dendrogram(sch.linkage(data, method='ward'))
plt.show()

# 結果の可視化
plt.scatter(data[:, 0], data[:, 1], c=agg_labels, cmap='viridis', alpha=0.5)
plt.xlabel('Feature 1')
plt.ylabel('Feature 2')
plt.title('Hierarchical K-means Clustering')
plt.show()

この例では、まずダミーの多次元データを生成し、次に、AgglomerativeClusteringを使用して階層k-meansクラスタリングを実行し、デンドログラム(階層構造を可視化するグラフ)を作成している。最後に、クラスタリング結果を散布図として可視化している。

階層的k-meansクラスタリングでは、クラスタリングの結果が階層構造として表現されるため、異なるレベルでのクラスタ数を選ぶことができ、デンドログラムを用いて、適切なクラスタ数を選ぶ手助けができる。

参考情報と参考図書

k-meansを含む一般的な機械学習アルゴリズムに関しては”一般的な機械学習とデータ分析“を参照のこと。

参考図書としては、”pythonとアルゴリズム“、”pythonによる機械学習“、”pythonによる統計モデリング“、”pythonによる最適化手法“を参照のこと。