ＡＩ関連まとめ

ＡＩ関連まとめ

1. モデルと学習に関する用語

【学習プロセス関連】

バッチ
バッチサイズ
ミニバッチ
イテレーション
エポック
学習率
学習率スケジューリング
オンライン学習
バッチ学習
増分学習
終身学習
シーケンシャル学習
エンドツーエンド学習
自己回帰モデル
マルチタスク学習

【損失関数・最適化手法】

損失関数
コスト関数
最適化アルゴリズム
勾配降下法
確率的勾配降下法
ミニバッチ勾配降下法
モメンタム
Nesterov Accelerated Gradient
Adam
RMSprop
Adagrad
Adadelta

【正則化・過学習対策】

正則化
L1正則化
L2正則化
Elastic Net
ドロップアウト
バッチ正規化
層正規化
勾配消失
勾配爆発
過学習
アンダーフィッティング
早期終了
データオーグメンテーション
データバランシング

【転移学習・モデルの改善】

転移学習
ファインチューニング
蒸留学習
自己教師あり学習
半教師あり学習
教師なし学習
教師あり学習
強化学習
メタ学習

【モデル評価・ハイパーパラメータ調整】

交差検証
k分割交差検証
グリッドサーチ
ランダムサーチ
ベイズ最適化
ハイパーパラメータ
パラメータチューニング

【重み・データ管理】

重み初期化
Xavier初期化
He初期化
Orthogonal Initialization
重みのクリッピング
一般化
訓練データ
検証データ
テストデータ
データシャッフル

2. データと特徴量に関する用語

【特徴量関連】

特徴量
特徴量エンジニアリング
特徴選択
特徴抽出
特徴変換
特徴交互作用
特徴構築
合成特徴量
特徴量正則化

【次元削減・特徴抽出手法】

次元削減
主成分分析（PCA）
線形判別分析（LDA）
t-SNE
UMAP
自己符号化器（Autoencoder）

【データの前処理】

正規化
標準化
最小最大スケーリング（Min-Max Scaling）
Zスコア正規化
ロバストスケーリング
ボックスコックス変換
分位数変換
ノーマライゼーション
スケーリング
変数変換

【ラベル・カテゴリ情報】

ラベル
クラス
ターゲット変数
カテゴリ変数
数値変数
バイナリ分類
多クラス分類

【エンコーディング手法】

ラベルエンコーディング
ワンホットエンコーディング
ターゲットエンコーディング
頻度エンコーディング
バイナリーエンコーディング
平均エンコーディング
エンティティエンベディング
ターゲットバリューエンコーディング
エンコーディング手法

【特徴選択・評価手法】

特徴選択手法
フィルターメソッド
ラッパーメソッド
埋め込み手法
相関分析
情報ゲイン
シャノンエントロピー
相互情報量
分散閾値法
主成分負荷量
変数重要度
ツリーベース特徴選択

【データ品質管理】

欠損値処理
データ補完
外れ値検出
クレンジング

【ドメイン別特徴量】

時間系列特徴量
テキスト特徴量
画像特徴量
音声特徴量
信号処理特徴量
波形特徴量
スペクトル特徴量

【音声特徴量】

MFCC
ゼロ交差率
スペクトルセントロイド
RMSエネルギー

【データ拡張・バランス調整】

データ拡張
データバランス調整
SMOTE
オーバーサンプリング
アンダーサンプリング

3. ニューラルネットワーク関連

【基本概念】

ニューラルネットワーク（Neural Network / NN）
パーセプトロン（Perceptron）
多層パーセプトロン（MLP, Multi-Layer Perceptron）
隠れ層（Hidden Layer）
入力層（Input Layer）
出力層（Output Layer）
重み（Weight）
バイアス（Bias）
前向き伝播（Forward Propagation）
逆伝播（Backpropagation）
誤差逆伝播法（BP, Backpropagation Algorithm）
損失関数（Loss Function）
最適化（Optimization）

【活性化関数】

活性化関数（Activation Function）
シグモイド関数（Sigmoid）
ハイパボリックタンジェント（Tanh）
ReLU（Rectified Linear Unit）
Leaky ReLU
ELU（Exponential Linear Unit）
Swish
ソフトマックス関数（Softmax）

【畳み込みニューラルネットワーク（CNN）】

畳み込みニューラルネットワーク（CNN, Convolutional Neural Network）
畳み込み（Convolution）
畳み込みフィルタ（カーネル, Kernel）
プーリング（Pooling）
最大プーリング（Max Pooling）
平均プーリング（Average Pooling）
パディング（Padding）
ストライド（Stride）
チャネル（Channel）
トランスポーズ畳み込み（Transposed Convolution）

【リカレントニューラルネットワーク（RNN）】

リカレントニューラルネットワーク（RNN, Recurrent Neural Network）
長短期記憶（LSTM, Long Short-Term Memory）
ゲート付きリカレントユニット（GRU, Gated Recurrent Unit）
双方向RNN（BiRNN, Bidirectional RNN）
双方向LSTM（BiLSTM, Bidirectional LSTM）
双方向GRU（BiGRU, Bidirectional GRU）

【注意機構・Transformer系】

アテンション機構（Attention Mechanism）
自己注意（Self-Attention）
Transformer
エンコーダ（Encoder）
デコーダ（Decoder）
BERT（Bidirectional Encoder Representations from Transformers）
GPT（Generative Pre-trained Transformer）
ViT（Vision Transformer）

【畳み込み・深層ネットワークアーキテクチャ】

ResNet（Residual Network）
DenseNet（Densely Connected Convolutional Networks）
U-Net

【生成モデル・自己符号化器】

GAN（Generative Adversarial Network, 敵対的生成ネットワーク）
オートエンコーダ（Autoencoder）
変分オートエンコーダ（VAE, Variational Autoencoder）
ディープビリーフネットワーク（DBN, Deep Belief Network）
ボルツマンマシン（Boltzmann Machine）
スパースコーディング（Sparse Coding）

【正則化・正規化】

バッチ正規化（Batch Normalization）
層正規化（Layer Normalization）
グループ正規化（Group Normalization）
重み正則化（Weight Regularization）
ドロップアウト（Dropout）

【アンサンブル学習】

アンサンブル学習（Ensemble Learning）
バギング（Bagging）
ブースティング（Boosting）
スタッキング（Stacking）

【特殊なニューラルネットワーク】

蒸留学習（Knowledge Distillation）
グラフニューラルネットワーク（GNN, Graph Neural Network）
メモリネットワーク（Memory Networks）
カプセルネットワーク（Capsule Network）
スパイキングニューラルネットワーク（Spiking Neural Network, SNN）

4. モデル評価と指標

【分類モデルの評価指標】

精度（Accuracy）
適合率（Precision）
再現率（Recall）
F1スコア（F1 Score）
バランス精度（Balanced Accuracy）
混同行列（Confusion Matrix）
真陽性（TP, True Positive）
偽陽性（FP, False Positive）
真陰性（TN, True Negative）
偽陰性（FN, False Negative）
ROC曲線（Receiver Operating Characteristic Curve）
AUC（Area Under the Curve）
PR曲線（Precision-Recall Curve）
平均適合率（MAP, Mean Average Precision）
トップ-k精度（Top-k Accuracy）
ヒット率（Hit Rate）
Jaccard係数（Jaccard Index）
コーエンのカッパ係数（Cohen’s Kappa）
Matthews相関係数（MCC, Matthews Correlation Coefficient）
ハミング損失（Hamming Loss）
ログ損失（Log Loss）

【回帰モデルの評価指標】

二乗平均平方誤差（RMSE, Root Mean Square Error）
平均絶対誤差（MAE, Mean Absolute Error）
平均二乗誤差（MSE, Mean Squared Error）
決定係数（R², Coefficient of Determination）

【確率・情報理論に基づく評価指標】

KLDivergence（Kullback-Leibler Divergence）
JSDivergence（Jensen-Shannon Divergence）
ペアワイズ損失（Pairwise Loss）

【モデルの最適化・評価手法】

ハイパーパラメータ最適化（Hyperparameter Optimization）
交差検証（Cross Validation）
K分割交差検証（K-Fold Cross Validation）
リーブワンアウト交差検証（LOOCV, Leave-One-Out Cross Validation）
リーブPアウト交差検証（LPOCV, Leave-P-Out Cross Validation）
ストラティファイドK分割交差検証（Stratified K-Fold Cross Validation）
ホールドアウト検証（Holdout Validation）
ブートストラップ法（Bootstrap Method）

【情報理論・統計に基づく評価手法】

情報ゲイン（Information Gain）
シャノンエントロピー（Shannon Entropy）
相互情報量（Mutual Information）
偏相関係数（Partial Correlation Coefficient）

5. 学習手法とアルゴリズム

【学習手法】

教師あり学習（Supervised Learning）
教師なし学習（Unsupervised Learning）
強化学習（Reinforcement Learning）
半教師あり学習（Semi-Supervised Learning）
自己教師あり学習（Self-Supervised Learning）
オンライン学習（Online Learning）
バッチ学習（Batch Learning）
転移学習（Transfer Learning）
ファインチューニング（Fine-Tuning）
蒸留学習（Knowledge Distillation）
マルチタスク学習（Multi-Task Learning）
メタ学習（Meta Learning）
エンドツーエンド学習（End-to-End Learning）

【強化学習関連】

オンライン強化学習（Online Reinforcement Learning）
深層強化学習（Deep Reinforcement Learning, DRL）
マルコフ決定過程（Markov Decision Process, MDP）
Q学習（Q-Learning）
SARSA（State-Action-Reward-State-Action）
方策勾配法（Policy Gradient Methods）
アクター・クリティック法（Actor-Critic Methods）
逆強化学習（Inverse Reinforcement Learning, IRL）

【回帰（Regression）】

回帰（Regression）
線形回帰（Linear Regression）
重回帰分析（Multiple Linear Regression）
リッジ回帰（Ridge Regression）
ラッソ回帰（Lasso Regression）
Elastic Net回帰
ロジスティック回帰（Logistic Regression）

【分類（Classification）】

分類（Classification）
バイナリ分類（Binary Classification）
多クラス分類（Multi-Class Classification）
多ラベル分類（Multi-Label Classification）
決定木（Decision Tree）
ランダムフォレスト（Random Forest）
ブースティング（Boosting）
勾配ブースティング（Gradient Boosting）
XGBoost
LightGBM
CatBoost
サポートベクターマシン（SVM, Support Vector Machine）
カーネルSVM（Kernel SVM）
k近傍法（k-Nearest Neighbors, k-NN）
ナイーブベイズ（Naive Bayes）
確率的勾配降下法（Stochastic Gradient Descent, SGD）

【クラスタリング（Clustering）】

クラスタリング（Clustering）
k-means法（k-Means Clustering）
階層的クラスタリング（Hierarchical Clustering）
DBSCAN（Density-Based Spatial Clustering of Applications with Noise）
Gaussian Mixture Model（GMM）
自己組織化マップ（Self-Organizing Map, SOM）
スペクトラルクラスタリング（Spectral Clustering）

【次元削減・特徴抽出】

主成分分析（PCA, Principal Component Analysis）
線形判別分析（LDA, Linear Discriminant Analysis）
独立成分分析（ICA, Independent Component Analysis）
因子分析（Factor Analysis）

【異常検知（Anomaly Detection）】

異常検知（Anomaly Detection）
ロバスト異常検知（Robust Anomaly Detection）
一級SVM（One-Class SVM）
アイソレーションフォレスト（Isolation Forest）
局所外れ値因子（Local Outlier Factor, LOF）
自己符号化器（Autoencoder）

【時間系列分析（Time Series Analysis）】

時間系列分析（Time Series Analysis）
ARIMA（AutoRegressive Integrated Moving Average）
SARIMA（Seasonal ARIMA）
LSTMによる時系列予測

【因果推論（Causal Inference）】

因果推論（Causal Inference）

【ディープラーニング・ニューラルネットワーク】

グラフニューラルネットワーク（Graph Neural Network, GNN）
リカレントニューラルネットワーク（Recurrent Neural Network, RNN）
変分オートエンコーダ（VAE, Variational Autoencoder）
敵対的生成ネットワーク（GAN, Generative Adversarial Network）

6. 実装関連

【プログラミング言語】

Python

【機械学習・ディープラーニングフレームワーク】

PyTorch
TensorFlow
Scikit-learn
Keras

【音声認識ライブラリ】

Whisper
OpenAI Whisper
Azure Speech SDK
Google Cloud Speech-to-Text
IBM Watson Speech to Text
VOSK
Kaldi
DeepSpeech

【音声合成ライブラリ】

Coqui TTS
Azure Text-to-Speech
Google Cloud Text-to-Speech
Amazon Polly
IBM Watson Text to Speech
Tacotron2
WaveNet
FastSpeech2
VITS（Variational Inference Text-to-Speech）
Glow-TTS

【自然言語処理・翻訳ライブラリ】

Hugging Face Transformers
OpenNMT
MarianMT
Google Translate API
Azure Translator API
DeepL API
Fairseq Sequence-to-Sequence
mBART（Multilingual BART）
NLLB（No Language Left Behind）
BERT
GPTシリーズ（GPT-3, GPT-4）
T5（Text-to-Text Transfer Transformer）
Transformers.js

【音声処理ライブラリ】

SpeechBrain
ESPnet
Fairseq
SpeechRecognition（Pythonライブラリ）
pydub
librosa
torchaudio

【推論最適化ライブラリ】

onnxruntime
Triton Inference Server
CUDA
cuDNN
TensorRT

【データ処理・分析ライブラリ】

OpenCV
Kaggle
NLTK（Natural Language Toolkit）

【開発環境（IDE, Notebook, APIサーバー）】

Jupyter Notebook
Google Colab
VS Code（Visual Studio Code）
PyCharm
Anaconda

【API・Web関連】

FastAPI
Flask
Django
REST API
WebRTC
Docker

7. 学習済みモデル

【画像認識モデル】

AlexNet
VGG（Visual Geometry Group）
ResNet（Residual Network）
DenseNet（Densely Connected Convolutional Networks）
EfficientNet
MobileNet
Inception（GoogLeNet）
RegNet
ConvNeXt
Vision Transformer（ViT）
Swin Transformer
YOLO（You Only Look Once）
Faster R-CNN
Mask R-CNN
DETR（DEtection TRansformer）
SAM（Segment Anything Model）

【自然言語処理（NLP）モデル】

BERT（Bidirectional Encoder Representations from Transformers）
RoBERTa（Robustly Optimized BERT Approach）
DistilBERT（Distilled BERT）
ALBERT（A Lite BERT）
XLNet
GPT-3（Generative Pre-trained Transformer 3）
GPT-4
T5（Text-to-Text Transfer Transformer）
mT5（Multilingual T5）
BART（Bidirectional and Auto-Regressive Transformer）
mBART（Multilingual BART）
XLM-R（Cross-lingual Language Model – RoBERTa）
NLLB（No Language Left Behind）

【音声認識・音声合成モデル】

Whisper（OpenAI）
DeepSpeech
Wav2Vec 2.0（Facebook AI）
HuBERT（Hidden-Unit BERT）
Conformer
Tacotron2
WaveNet
FastSpeech2
VITS（Variational Inference Text-to-Speech）

【機械翻訳モデル】

MarianMT
M2M-100（Facebook AI）
Fairseq Sequence-to-Sequence
Google Translate API（T5ベース）
DeepL API

【拡張・生成AIモデル】

StyleGAN（Generative Adversarial Network for Images）
BigGAN
Stable Diffusion
DALL·E
Midjourney
Imagen（Google）
CLIP（Contrastive Language-Image Pretraining）
GLIDE（Guided Diffusion for Image Generation）

【強化学習・ゲームAIモデル】

AlphaGo
AlphaZero
MuZero
DQN（Deep Q-Network）
PPO（Proximal Policy Optimization）
SAC（Soft Actor-Critic）
A3C（Asynchronous Advantage Actor-Critic）

【時系列・異常検知モデル】

LSTM（Long Short-Term Memory）
GRU（Gated Recurrent Unit）
TFT（Temporal Fusion Transformer）
Anomaly Transformer
Isolation Forest（異常検知）
One-Class SVM（異常検知）

8. メモ・その他

9. 参考になりそうなリンク集

はじめに — 機械学習帳
 1. 単回帰
 2. 重回帰
 3. モデル選択と正則化
 4. 勾配法によるパラメータ推定
 5. 線形二値分類
 6. 線形多クラス分類
 7. ニューラルネットワーク (1)
8. ニューラルネットワーク (2)
大学が公開しているエンジニア向け学習資料まとめ
 コードで学ぶAWS入門
 東京大学数理・情報教育研究センター
 人工知能を学ぶためのロードマップ
 誰でもわかる強化学習 – Speaker Deck
プログラミング演習 Python
Python 学習教材
 統計の入門