目次
モデルの評価（混同行列・精度）
🔍 混同行列（Confusion Matrix）とは？
混同行列（Confusion Matrix） とは、分類問題においてモデルの予測結果を詳細に分析するための表のことです。
縦軸に 「正解のラベル（True Label）」 を、横軸に 「予測されたラベル（Predicted Label）」 を配置し、それぞれのクラスごとにどれだけ正しく分類できたか、または間違えたかを可視化するのに役立ちます。
📌 混同行列の構造
以下のような10クラス分類の混同行列を考えます。
| True \ Pred | 0 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 |
|---|---|---|---|---|---|---|---|---|---|---|
| 0 | 214 | 23 | 1 | 25 | 71 | 64 | 0 | 0 | 4 | 3 |
| 1 | 4 | 202 | 2 | 76 | 37 | 63 | 2 | 0 | 0 | 8 |
| 2 | 0 | 70 | 105 | 83 | 51 | 16 | 15 | 1 | 6 | 25 |
| 3 | 1 | 88 | 4 | 163 | 29 | 98 | 6 | 0 | 0 | 3 |
| 4 | 24 | 40 | 7 | 57 | 162 | 82 | 4 | 0 | 2 | 2 |
| 5 | 10 | 46 | 3 | 40 | 29 | 244 | 1 | 0 | 0 | 5 |
| 6 | 3 | 137 | 18 | 100 | 21 | 20 | 70 | 3 | 6 | 7 |
| 7 | 3 | 81 | 68 | 62 | 38 | 12 | 67 | 18 | 13 | 12 |
| 8 | 10 | 52 | 59 | 55 | 113 | 30 | 17 | 2 | 31 | 18 |
| 9 | 4 | 157 | 11 | 54 | 38 | 81 | 6 | 0 | 1 | 36 |
- 対角線上の値（例：0 → 0, 1 → 1, 2 → 2） が多いほど正しく分類できていることを示します。
- 対角線以外の値 が多いと、そのクラスの予測が間違っていることを示します。
📊 RNN, CNN+LSTM, Transformer の比較
🔹 精度 (Accuracy) & 損失 (Loss) の比較
| モデル | Test Accuracy | Test Loss |
|---|---|---|
| RNN | 0.3230 | 1.9327 |
| CNN+LSTM | 0.3990 | 1.6937 |
| Transformer | 0.3940 | 1.6956 |
✅ CNN+LSTM が最も高い精度 (0.3990) を記録し、Transformer もほぼ同じ性能 (0.3940) を達成しました。
⛔ RNN は最も精度が低く (0.3230)、損失 (1.9327) も高いため、最適とは言えません。
🔹 クラス別の精度指標（Precision / Recall / F1-score）
| モデル | Precision | Recall | F1-score |
|---|---|---|---|
| RNN | 0.4156 | 0.3230 | 0.2977 |
| CNN+LSTM | 0.3890 | 0.3940 | 0.3886 |
| Transformer | 0.3890 | 0.3940 | 0.3886 |
- Recall（再現率） の観点では、CNN+LSTMとTransformerがRNNより優れている
- Precision（適合率） では、RNNがわずかに高いが、バランスが悪い
🔹 各モデルの特性と課題
| モデル | メリット | デメリット |
|---|---|---|
| RNN | – 計算コストが低い（学習が速い） – シンプルな構造で実装が簡単 | – 時系列データの長期依存関係を捉えにくい – 精度が低い（32%程度） |
| CNN+LSTM | – CNN で局所的な特徴を学習し、LSTM で時系列情報を考慮 – 高い精度を記録（約40%） | – 計算コストが高い – Transformer ほどの汎用性がない |
| Transformer | – 長期依存関係を学習できる – 学習データが増えると性能向上が期待できる | – 計算コストが高い（GPUが必要） – 小規模データでは CNN+LSTM に比べて優位性が少ない |
🔍 結論
✅ 最も有用なモデルは CNN+LSTM
理由
- テスト精度が最も高い（Test Accuracy: 0.3990）
- 損失 (Test Loss) も最小（1.6937）
- クラスごとの識別性能（Precision / Recall）がバランス良い
- 計算コストと性能のバランスが良い
🚀 CNN+LSTM がベストな選択肢となるが、今後の改良ポイント
- データ量が増えた場合、Transformer の方が有利になる可能性がある
- ハイブリッドモデル（CNN+Transformer）を試す価値がある
- データの前処理（データ拡張）を改善し、さらなる精度向上を狙う
📌 次のステップ
- CNN+LSTM を最終モデルとして、デプロイの準備
- データ前処理やパラメータの微調整でさらなる精度向上
- 学習済みモデルをエクスポートし、実際のアプリケーションに組み込む
🔹 まとめ
- 混同行列（Confusion Matrix） は、分類モデルの誤分類の傾向を視覚的に分析するための重要なツール。
- CNN+LSTM が最も有用 なモデルであることが確認された。
- 今後の改良点 として、データの増強、ハイブリッドモデル（CNN+Transformer）の検討、最適なハイパーパラメータの調整 などが挙げられる。