Negative Log-Likelihoodの概要とアルゴリズム及び実装例

機械学習技術 人工知能技術 デジタルトランスフォーメーション技術 確率的生成モデル 画像情報処理技術 ベイズモデリングの世界 自然言語処理技術 マルコフ連鎖モンテカルロ法 知識情報処理 深層学習技術 強化学習 説明できる機械学習 一般的な機械学習 スモールデータでの機械学習 本ブログのナビ
Negative Log-Likelihoodの概要

Negative Log-Likelihood (NLL)は、統計学や機械学習においてモデルのパラメータを最適化するための損失関数の一つで、特に、確率分布に基づいたモデル（分類モデルなど）で使われることが多いものとなる。

NLLは、観測データがモデルによって予測された確率に基づいて、モデルのパフォーマンスを評価する指標であり、その目的は、モデルが観測されたデータを高い確率で説明できるように、モデルのパラメータを最適化することにある。

ここで、尤度（Likelihood)とは、あるデータ \( x \) が、あるパラメータ \( \theta \) のもとで発生する確率を表し、たとえば、パラメータ \( \theta \) を使ってデータ \( x \) が観測される確率を \( P(x|\theta) \) としたとき、以下のように表されるものとなる。

\[
L(\theta | x) = P(x | \theta)
\]

この尤度関数の対数を取ったものが、対数尤度（Log-Likelihood）となる。これは、確率の積が大きくなると計算が複雑になるため、対数を取り計算を容易にしたもので、以下のように表される。

\[
\log L(\theta | x) = \log P(x | \theta)
\]

また、負の対数尤度（Negative Log-Likelihood, NLL）は、最適化問題では最大化ではなく最小化を行うことが多いため、対数尤度にマイナスを付けたものであり、以下の式で表される。

\[
NLL(\theta | x) = – \log P(x | \theta)
\]

これらの具体例として2クラス分類問題を考える。モデルが各サンプルに対して正しいクラスを予測する確率が \( P(y | x) \) で表されるとすると、もしモデルが正しいクラスを高い確率で予測した場合、NLLの値は小さくなり、正しいクラスを低い確率で予測した場合、NLLは大きくなる。このようにNLLを使うことで、モデルがより正確な予測を行うように学習を進めることが可能となる。

ロジスティック回帰の場合は、サンプル \( x_i \) のラベル \( y_i \) が1である確率を \( P(y_i = 1 | x_i) = \hat{y}_i \) として、以下のNLLを最小化することを目的とする。

\[
NLL = – \sum_{i=1}^N \left( y_i \log(\hat{y}_i) + (1 – y_i) \log(1 – \hat{y}_i) \right)
\]

ここで:
– \( y_i \) は実際のラベル
– \( \hat{y}_i \) はモデルが予測した確率

この式はクロスエントロピー損失とも呼ばれている。

NLLの特徴としては、以下のようなものがある。
– 直感的理解: NLLは、モデルが実際のデータを予測する際にどれだけ「確からしい」かを示す指標であり、値が小さいほどモデルの予測が良いことを示す。
– 確率モデルに適用: 分類問題や生成モデルなど、確率に基づいたモデルでよく使用される。
– 最適化手法: NLLを最小化することでモデルをトレーニングできる。具体的な例としては、勾配降下法などを使ってNLLを最小化し、モデルパラメータを更新するものがある。

Negative Log-Likelihoodに関連するアルゴリズム

NLLに関連するアルゴリズムは、確率モデルや統計的学習モデルにおいてNLLを最小化するものであり、特に、分類問題や確率分布を扱う問題でよく用いられている。ここでは、NLLに関連する代表的なアルゴリズムと、それに関連する手法について述べる。

1. 最大尤度推定（Maximum Likelihood Estimation, MLE）: 最大尤度推定は、データが最も高い確率で観測されるようなパラメータを見つける手法で、具体的には、観測データに対する尤度関数を最大化することで、モデルのパラメータを推定するものとなる。NLLは尤度の負の対数なので、NLLを最小化することは、尤度を最大化することと等価であり、最大尤度推定を行う際には、NLLを最小化するアルゴリズムを使用している。MLEは、一般的な確率モデル（例: ガウス分布、ロジスティック回帰など）で広く使用されている。

2. 勾配降下法（Gradient Descent）: NLLを最小化するために、勾配降下法は非常に一般的なアルゴリズムとなる。勾配降下法では、NLL関数の勾配（傾き）に従って、モデルのパラメータを徐々に更新し、NLLを最小化している。

– 確率的勾配降下法（Stochastic Gradient Descent, SGD）: 全データを使って計算する代わりに、ランダムに選んだデータのサブセット（ミニバッチ）を使用して勾配を計算し、パラメータを更新する。これにより計算効率が向上し、大規模データに適したアルゴリズムになる。

– 勾配降下法の変種: 勾配降下法にはいくつかのバリエーションがあり、Adam、RMSProp、Adagradなどの最適化手法は、勾配の大きさを自動的に調整してパラメータ更新を行うものとなる。

3. ニューラルネットワークとクロスエントロピー損失: ニューラルネットワークの分類タスクでは、NLLと非常に密接な関係のあるクロスエントロピー損失関数が使用される。クロスエントロピー損失は、多クラス分類問題におけるNLLと同等の意味を持つ。ニューラルネットワークのトレーニングでは、勾配降下法を使ってクロスエントロピー損失（すなわちNLL）を最小化している。

4. 期待値最大化法（Expectation-Maximization, EMアルゴリズム）: EMアルゴリズムは、観測されない変数が存在する場合のNLLの最適化に使用される。特に隠れマルコフモデル（HMM）や混合ガウスモデル（GMM）のパラメータ推定においてよく使われている。EMアルゴリズムは以下のような2つのステップを交互に繰り返し、NLLが収束するまで続けるものとなる。

– Eステップ: 現在のパラメータを使って、観測されていない変数の期待値を計算する。
– Mステップ: Eステップで計算された期待値を使って、NLLを最小化するようにパラメータを更新する。

5. ロジスティック回帰: ロジスティック回帰は、2値分類問題で広く使われるモデルであり、NLLを最小化することで最適なパラメータを見つけるものとなる。ロジスティック回帰では、データポイントごとにクラスが1である確率を予測し、その確率に基づいてNLLを計算している。ロジスティック回帰のトレーニングには、勾配降下法を用いることが一般的となる。

6. ソフトマックス回帰（Softmax Regression）: ソフトマックス回帰は、ロジスティック回帰の多クラス版で、各クラスに対する確率を出力するものとなる。これもNLLを最小化することが目的で、ソフトマックス回帰では、各クラスに対して確率を計算し、正解のクラスの確率を最大化するようにパラメータを調整する。ニューラルネットワークの最終層にソフトマックス関数を使う場合も、NLLを最小化するクロスエントロピー損失が使用される。

7. ベルマン方程式とポリシー勾配法: 強化学習においても、NLLが役立つアルゴリズムがある。たとえば、”ポリシー勾配法の概要とアルゴリズム及び実装例“で述べているポリシー勾配法では、ポリシー（行動を選択する確率分布）を学習するためにNLLが使われ、行動の選択に対する確率を最大化するため、負の対数尤度を最小化する形でポリシーの更新を行っている。

Negative Log-Likelihoodの適用事例について

NLLは、統計的モデルや機械学習の確率的アプローチで広く使用されており、以下のような多くの分野で適用されている。

1. ロジスティック回帰（Logistic Regression）:
事例: 二値分類問題
概要: ロジスティック回帰は、2クラスの分類タスクで広く用いられるアルゴリズムとなる。NLLは、各サンプルが正しいクラスに属する確率を予測し、その確率に基づいて損失を計算し、モデルは、この損失を最小化するように学習される。
適用例:
– 医療データを使って、患者が特定の病気にかかる確率を予測するタスク（例: 肺癌のリスク予測）。
– メールのスパムフィルタリング、広告のクリック率予測など。

2. ニューラルネットワークの分類タスク:
事例: 多クラス分類（ソフトマックス回帰）
概要: 多クラス分類問題では、NLLを用いて損失を計算する。ソフトマックス関数で各クラスに対する確率を予測し、NLLを最小化することがニューラルネットワークのトレーニングにおいて重要となる。
適用例:
– 画像分類: 画像に写っているオブジェクトがどのクラス（猫、犬、自動車など）に属するかを予測するタスク（例: CIFAR-10やImageNetデータセットを使った画像分類）。
– 音声認識: 音声データから話者の意図や言語を分類するタスク。
– 自然言語処理: 文書分類や感情分析、質問応答タスク。

3. 混合ガウスモデル（Gaussian Mixture Model, GMM）:
事例: クラスタリング問題
概要: GMMは、データが複数の正規分布（ガウス分布）に従うと仮定したクラスタリング手法となる。GMMのパラメータは、NLLを最小化するように推定され、この最適化には、通常期待値最大化法（EMアルゴリズム）が用いられる。
適用例:
– 顧客データのクラスタリング（マーケティングでのターゲット層の分割など）。
– 画像のセグメンテーション（画像内の領域を自動的に区別するための技術）。

4. 隠れマルコフモデル（Hidden Markov Model, HMM）:
事例: 時系列データのモデリング
概要: HMMは、観測されない隠れ状態を持つ確率モデルで、時系列データに対して適用される。HMMのトレーニングは、NLLを最小化することで行われ、これにより観測データがモデルで説明できるように隠れ状態や遷移確率が最適化される。
適用例:
– 音声認識: 音声データを解析し、発話や単語に対応する隠れ状態を推定。
– 株価の予測: 過去の株価の推移から、将来の変動パターンを予測する。

5. 生成モデル（Generative Models）:
事例: 確率的生成モデル
概要: 生成モデルはデータの分布を学習し、新しいデータを生成するために使用される。これらのモデルのパラメータは、NLLを最小化することで学習され、たとえば、”変分オートエンコーダ変分 (Variational Autoencoder, VAE)の概要とアルゴリズム及び実装例について“で述べている変分オートエンコーダ（Variational Autoencoder, VAE）などは、NLLをベースにしてモデルを最適化している。
適用例:
– 画像生成: VAEを用いた顔や物体の画像生成。
– 音楽生成: 時系列データとしての音楽を生成する。

6. 自然言語処理（NLP）:
事例: 言語モデルのトレーニング
概要: 言語モデルでは、次の単語やフレーズを予測するタスクにNLLが使われる。文の各単語の確率を計算し、NLLを最小化してモデルをトレーニングしている。
適用例:
– 機械翻訳: 文の入力に対して、正しい翻訳を生成するタスク（例: 英語から日本語への翻訳）。
– 音声認識: 音声データから文字起こしを行う際に、正しい単語の列を予測する。
– テキスト生成: 次に来る単語やフレーズを予測し、自然な文章を生成する（例: GPT系の言語モデル）。

7. 強化学習（Reinforcement Learning）:
事例: ポリシーの最適化
概要: 強化学習では、エージェントが最適な行動を選択するために方策（ポリシー）を学習する。方策勾配法などの手法では、エージェントの行動確率をモデル化し、その確率を最大化するためにNLLを使用している。
適用例:
– ゲームAI: ゲーム内でエージェントが最適な行動を取るためのポリシーを学習。
– ロボティクス: ロボットが環境内で最適な動作を選び、タスクを遂行する。

8. ベイズ統計:
事例: ベイズモデルのトレーニング
概要: ベイズ推定では、データに対して最も尤もらしいパラメータを推定するために、NLLを用いた最大事後確率推定（MAP推定）が使用される。ベイズ的なアプローチでは、尤度に加えて事前確率を考慮して、パラメータの最適化が行われている。
適用例:
– 医療データ解析: 患者データに基づいて、病気のリスクをベイズ的に予測する。
– 異常検知: センサーデータやネットワークデータに対する異常検出タスク。

Negative Log-Likelihoodの実装例

PythonとPyTorchでのNegative Log-Likelihood (NLL) の実装例について述べる。この実装では、ニューラルネットワークを用いてNLLを最小化する典型的な手法を示している。

1. 二値分類問題におけるNLLの実装: ロジスティック回帰モデルを例に、NLLを使用した損失関数の実装を行う。

手順:

  1. torch.nn モジュールを使ってモデルを定義。
  2. 二値分類問題のデータを生成。
  3. NLLを損失関数として設定し、勾配降下法で最適化。

実装例:

import torch
import torch.nn as nn
import torch.optim as optim

# データの生成 (簡単な2クラスの分類データ)
torch.manual_seed(0)
X = torch.randn(100, 2)  # 100サンプル, 2特徴量
y = torch.randint(0, 2, (100,)).float()  # 0か1のラベルをランダム生成

# ロジスティック回帰モデルの定義
class LogisticRegressionModel(nn.Module):
    def __init__(self):
        super(LogisticRegressionModel, self).__init__()
        self.linear = nn.Linear(2, 1)  # 2特徴量から1出力

    def forward(self, x):
        return torch.sigmoid(self.linear(x))

# モデルのインスタンス化
model = LogisticRegressionModel()

# 損失関数としてバイナリクロスエントロピー（NLLに相当）
criterion = nn.BCELoss()

# オプティマイザ (勾配降下法)
optimizer = optim.SGD(model.parameters(), lr=0.01)

# トレーニング
num_epochs = 100
for epoch in range(num_epochs):
    # フォワードパス: 予測
    y_pred = model(X).squeeze()

    # 損失の計算 (NLL)
    loss = criterion(y_pred, y)

    # 勾配の計算とパラメータ更新
    optimizer.zero_grad()
    loss.backward()
    optimizer.step()

    if (epoch+1) % 10 == 0:
        print(f'Epoch [{epoch+1}/{num_epochs}], Loss: {loss.item():.4f}')

説明:

  1. データ生成: 100個の2次元データ（X）とそれに対応する0か1のラベル（y）をランダムに作成する。
  2. モデル定義: LogisticRegressionModel でシンプルなロジスティック回帰を定義している。入力が2つ、出力が1つの単純な線形モデルで、出力に対してシグモイド関数を適用している。
  3. 損失関数: バイナリクロスエントロピー（BCELoss）を使っている。これは二値分類におけるNLLに相当する損失関数となる。
  4. 最適化: 確率的勾配降下法（SGD）でNLLを最小化している。
  5. トレーニング: 各エポックで予測を行い、損失を計算し、勾配を使ってパラメータを更新している。

2. 多クラス分類でのNLL実装（ソフトマックス回帰）: 次に、NLLを使った多クラス分類の例を示す。PyTorchのCrossEntropyLossを使ってNLLを最小化している。

実装例:

import torch
import torch.nn as nn
import torch.optim as optim

# 多クラス分類用のデータセット作成
torch.manual_seed(0)
X = torch.randn(100, 3)  # 100サンプル、3特徴量
y = torch.randint(0, 3, (100,))  # 0, 1, 2 の3クラスのラベル

# ソフトマックス回帰モデルの定義
class SoftmaxRegressionModel(nn.Module):
    def __init__(self):
        super(SoftmaxRegressionModel, self).__init__()
        self.linear = nn.Linear(3, 3)  # 3特徴量から3クラスへの線形変換

    def forward(self, x):
        return self.linear(x)

# モデルのインスタンス化
model = SoftmaxRegressionModel()

# クロスエントロピー損失（NLLに基づく損失関数）
criterion = nn.CrossEntropyLoss()

# オプティマイザ (勾配降下法)
optimizer = optim.SGD(model.parameters(), lr=0.01)

# トレーニング
num_epochs = 100
for epoch in range(num_epochs):
    # フォワードパス: 予測
    y_pred = model(X)

    # 損失の計算（NLLに基づくクロスエントロピー）
    loss = criterion(y_pred, y)

    # 勾配の計算とパラメータ更新
    optimizer.zero_grad()
    loss.backward()
    optimizer.step()

    if (epoch+1) % 10 == 0:
        print(f'Epoch [{epoch+1}/{num_epochs}], Loss: {loss.item():.4f}')

説明:

  1. データ生成: 3つの特徴量を持つ100個のサンプル（X）と3クラスのラベル（y）をランダムに作成している。
  2. モデル定義: SoftmaxRegressionModelで、3次元の入力から3クラスの出力を予測する線形モデルを定義している。
  3. 損失関数: CrossEntropyLossは、ソフトマックス出力に基づくNLLを計算する。これは多クラス分類の標準的な損失関数となる。
  4. 最適化: SGDでNLLを最小化するようにモデルをトレーニングしている。
  5. トレーニング: 各エポックで予測を行い、NLLを最小化するように損失を計算してパラメータを更新している。

まとめ:

  • 二値分類では、バイナリクロスエントロピー損失関数（BCELoss）がNLLに相当する。
  • 多クラス分類では、クロスエントロピー損失（CrossEntropyLoss）がソフトマックス出力に基づいてNLLを計算する。
  • どちらの場合も、NLLを最小化することによって、モデルのパラメータを学習し、予測精度を高めることができる。
Negative Log-Likelihoodの課題と対応策

Negative Log-Likelihood (NLL) の課題にはいくつかの側面があり、これらの課題は、NLLを使用するモデルのトレーニングや評価において発生することが多い。以下に、NLLの課題とその対応策について述べる。

1. クラス不均衡（Class Imbalance）

課題: 

NLLは、分類タスクにおいて各クラスの正解確率を基に損失を計算している。しかし、データセット内のクラス分布が極端に偏っている場合、NLLが小さなクラスの損失に十分な注意を払わないため、学習が偏ってしまうことがある。多数派クラスが誤って分類されることが少ない一方で、少数派クラスの分類が劣化することが一般的となる。

対応策:

  • クラス重みの調整: 損失関数にクラスごとの重みを導入することで、NLLをクラス不均衡に対して調整できる。PyTorchのCrossEntropyLossなどでは、weightオプションを用いてクラスごとの重要度を調整することが可能となる。
# PyTorchでクラスごとの重みを導入する例
class_weights = torch.tensor([0.3, 0.7])  # 例: クラス0とクラス1の重み
criterion = nn.CrossEntropyLoss(weight=class_weights)
  • オーバーサンプリング/アンダーサンプリング: 少数派クラスのデータを増やす（オーバーサンプリング）か、多数派クラスのデータを減らす（アンダーサンプリング）ことで、クラス分布を均衡にすることも有効です。

2. 不確実性の過信（Overconfidence）

課題:

NLLを使用したモデルは、時として誤った予測に対して過度に確信を持つ（高い確率を出力する）ことがある。これは、特にディープラーニングモデルで頻繁に観察され、結果として誤分類の影響が過大評価される。

対応策:

  • ラベル平滑化（Label Smoothing）: ラベル平滑化は、正解ラベルに対して過剰に自信を持たせないようにする手法で、誤差を少しだけ分散させて確信度を減らす。これにより、モデルの過信を防ぎ、より信頼性のある予測が得られる。
# PyTorchのラベル平滑化の例
criterion = nn.CrossEntropyLoss(label_smoothing=0.1) # 0.1の平滑化
  • 正則化（Regularization）: L2正則化（ウェイトデカイ）やドロップアウトなどの技術を使用して、モデルが過度にフィットするのを防ぎ、不確実性を適切に表現させる。

3. 勾配消失問題（Vanishing Gradient Problem）

課題:

特に深層学習モデルでは、NLLの最小化の際に勾配が消失し、初期層のパラメータが更新されにくくなる問題が発生することがある。これにより、トレーニングが進まない、あるいは極端に遅くなることがある。

対応策:

  • 活性化関数の選択: ReLU（Rectified Linear Unit）やLeaky ReLUのような勾配消失を緩和する活性化関数を使用する。これらは勾配消失問題を回避するために有効となる。
  • バッチ正規化（Batch Normalization）: 各層の出力を標準化することで、勾配が適切に伝播されるようにし、勾配消失を防ぐ。

4. ノイズに敏感（Sensitivity to Noisy Data）

課題:

NLLはラベル付きデータに基づいて損失を計算するため、誤ったラベルやノイズの多いデータに対して非常に敏感で、これにより、モデルの精度が低下する可能性がある。

対応策:

  • ロバストな損失関数の使用: Focal Lossなどのノイズに強い損失関数を使用することができる。Focal Lossは、難しいサンプルや誤分類に対して損失を強調する一方で、簡単なサンプルの影響を減らす。
# Focal Lossの実装例
class FocalLoss(nn.Module):
    def __init__(self, alpha=1, gamma=2):
        super(FocalLoss, self).__init__()
        self.alpha = alpha
        self.gamma = gamma

    def forward(self, inputs, targets):
        BCE_loss = nn.CrossEntropyLoss()(inputs, targets)
        pt = torch.exp(-BCE_loss)
        F_loss = self.alpha * (1-pt)**self.gamma * BCE_loss
        return F_loss
  • データクリーニング: データセットに含まれる誤ったラベルやノイズを事前に検出し、除去するか修正することで、トレーニングの品質を向上させる。

5. 確率モデルが複雑な場合の計算コスト

課題:

NLLの計算は、複雑な確率モデルや大量のデータに対して計算コストが高くなることがある。特に大規模なデータセットやディープラーニングモデルでは、NLLの計算がボトルネックになる。

対応策:

  • ミニバッチ学習: 全データセットを一度に処理するのではなく、ミニバッチに分けてNLLを計算することで、メモリ使用量や計算コストを削減できる。これは大規模データセットで特に効果的なアプローチとなる。詳細は”ミニバッチ学習の概要とアルゴリズム及び実装例“を参照のこと。
  • 最適化アルゴリズムの工夫: 確率的勾配降下法（SGD）の代わりに、AdamやRMSPropなどのより効率的な最適化手法を使用することで、計算効率を向上させることができる。

6. 局所最適解に陥る可能性

課題:

NLLを最小化する過程で、特に複雑な非線形モデルの場合、局所最適解に陥るリスクがある。これは、グローバル最適解に到達できず、モデルが十分に学習できないことを意味する。

対応策:

  • 異なる初期化手法の使用: パラメータの初期化を工夫することで、局所最適解に陥るリスクを減らすことができる。He初期化やXavier初期化は、特にディープニューラルネットワークで効果的なアプローチとなる。
  • アンサンブル学習: 異なる初期化や異なるモデルで複数の学習を行い、それらの結果を統合するアンサンブル学習は、局所最適解の影響を軽減できる。

まとめ:

上記の課題とその対応策をまとめると以下のようになる。

課題 対応策
クラス不均衡 クラス重みの調整、オーバーサンプリング/アンダーサンプリング
不確実性の過信 ラベル平滑化、正則化
勾配消失問題 ReLUやバッチ正規化の使用
ノイズに敏感 Focal Loss、データクリーニング
計算コストが高い場合 ミニバッチ学習、効率的な最適化アルゴリズムの使用
局所最適解に陥る可能性 初期化手法の工夫、アンサンブル学習

これらの対応策を適切に使用することで、NLLを効果的に最小化し、モデルの性能を最大化できる。

参考情報と参考図書

Negative Log-Likelihood（NLL）に関する参考情報や参考図書について述べる。

1. 参考情報（オンラインリソース）:

– Deep Learning Book – Chapter 5: Machine Learning Basics
– 深層学習における基本的な概念やアルゴリズム、NLLなどの損失関数の基礎が解説されている。

– PyTorch – CrossEntropyLoss
– NLLに基づくクロスエントロピー損失関数の公式ドキュメントで、実際のコード例も含まれています。

– Understanding Cross Entropy Loss
– クロスエントロピー損失の視覚的な説明と、NLLがどのように役立つかについて分かりやすく解説した記事。

– CS231n: Convolutional Neural Networks for Visual Recognition
– このコースでは、コンピュータビジョンとニューラルネットワークに関する理論と実践が解説されており、NLLとソフトマックス損失についても詳しく説明されている。

2. 参考図書:

– “Pattern Recognition and Machine Learning” by Christopher M. Bishop
– この本は、NLLを含む機械学習の数学的基礎について深く掘り下げたもので、統計的手法を学べる図書となる。特に、確率的モデルの構築とNLLの関係が詳述されている。

– “Deep Learning” by Ian Goodfellow, Yoshua Bengio, and Aaron Courville
– 深層学習の基本から応用までを幅広くカバーした本で、NLLは損失関数の一つとして扱われている。ニューラルネットワークを学ぶ上で必読の書籍となる。

– “Machine Learning: A Probabilistic Perspective” by Kevin P. Murphy
– この書籍では、確率的視点から機械学習を解説しており、NLLが確率モデルにおいてどのように利用されるかを詳細に説明している。幅広い機械学習手法に触れており、NLLの適用事例も含まれている。

– “Bayesian Reasoning and Machine Learning” by David Barber
– ベイズ推論と機械学習の関係について解説しており、NLLを含む確率的損失関数の重要性を理解する上で非常に役立つ書籍となる。

3. 関連論文:

– “A Practical Guide to Training Restricted Boltzmann Machines” by Geoffrey Hinton
– NLLは制限付きボルツマンマシン（RBM）やディープラーニングの他の手法においても重要な役割を果たす。この論文では、NLLを使ったトレーニング手法に焦点を当てている。

– “Understanding Convolutional Neural Networks with A Mathematical Model”
– この論文では、畳み込みニューラルネットワーク（CNN）とNLLの関係について詳細に解説している。

コメント

  1. 人工知能、機械学習に活用される確率的生成モデルについて | Deus Ex Machina より:
    2024年10月25日 3:57 AM

    […] Negative Log-Likelihoodの概要とアルゴリズム及び実装例 […]

    返信
  2. 初心者のための機械学習概要、学習の種類と結果の相違 | Deus Ex Machina より:
    2024年10月30日 4:33 AM

    […] Negative Log-Likelihoodの概要とアルゴリズム及び実装例 […]

    返信
モバイルバージョンを終了
タイトルとURLをコピーしました