深層学習手法の全体像

機械学習技術 自然言語技術 人工知能技術 デジタルトランスフォーメーション技術 画像処理技術 強化学習技術 確率的生成モデル 深層学習技術 本ブログのナビ

深層学習手法の全体像

以前述べた機械学習のアルゴリズの紹介の中でニューラルネットについてざっくりと述べたが今回はそれらを一歩進めた深層学習技術についての全体像を述べる。人工知能学会より出版されている「深層学習Deep Learning」の序文の「深層学習手法の全体像」から。

深層学習の全体像は以下の図のようになる。

大きく分けると入力に対して確定的に出力が決まる「確定的モデル」と確率モデルをベースとした「確率的モデル」の二種類がある。確定的ニューラルネットの多くは、階層型ニューラルネットワークと自己符号化器に分類される。

階層的ニューラルネットは、入力から出力へ結合を通じて符号が順伝搬するフィードフォワード型の構造をしており、主に教師あり学習に用いられる。階層的ニューラルネットとしては、パーセプトロン、多層パーセプトロン、深層(階層型)ニューラルネット、再帰ニューラルネット、畳み込みニューラルネット、回帰結合ニューラルネット等がある。

パーセプトロンは2層のみで構成される最初に提案されたニューラルネットである。線形分離可能(n次元平面上のデータをn-1次元の超平面で分離できること)と呼ばれる条件を満たす問題しか解けないと言う制約がある。解ける問題に関しては有限回の更新でがくしゅうが収束することが証明されている。

多層パーセプトロンは、3層前後のフィードフォワード構造を備えた階層型ニューラルネットワークであり、深層学習の登場前に最も多く使われていたニューラルネットである。学習方法として誤差逆伝播法が適用されたものであり、教師あり学習の適用がほとんどだが競合学習則(入力データに対して最大出力を与えるニューロン (とその近傍のニュー ロン) の結合係数のみを変更する学習則)を適用した教師なし学習に用いられる場合もある。

深層ニューラルネットは、広義には多層のニューラルネットワーク全般のことを指し、狭義にはフィードフォワード構造の階層型ニューラルネットを4層以上に拡張したものを指す。この狭義のニューラルネットは、3層でも中間層のノード数が十分であれば任意の関数を近似できると言う論理点利点を備えていたが、局所最適解や勾配消失という技術的課題のために、広くは使われなかった。ここで中間ノード数を増やすより、深層化のほうが効果的に予測性能を向上させることが発見的に示されたことと、事前学習やDropOut等の新技術の登場や、活性化関数やネットワーク構造などの工夫により技術的課題にブレイクスルーが生じて広く使われるようになった。(これらの詳細は別途述べる予定)

再帰ニューラルネットは再帰的部分構造を持ったニューラルネットで、下位の部分木構造から、上位の部分木構造を再帰的に構成する木構造になっているため、再帰ニューラルネットと呼ばれる。

畳み込みニューラルネットは畳み込み構造を組み込んだ階層型ニューラルネットワークである。深層学習の登場以前からネオコグ二トロンやLetNetなどとして提案されていた。2010年代の分散並列計算技術の発展と、学習用データの大規模化により画像認識の分野で特に普及している。

回帰結合ニューラルネットは、時系列データを処理する目的で考案されたもので、前回の時刻の入力の情報を現在の入力の情報に伝える為の回帰結合入力を備えている。畳込みニューラルネットと同様に、深層学習以前から提案されていたが、2010年代の学習の大規模化に伴って、音声認識や自然言語処理の分野で普及している。”勾配消失問題（vanishing gradient problem）とその対応について“でも述べている勾配消失問題に対応したlong-short-term-emmory法などの改良も行われている。

もう一つの確定的モデルである自己符号化器は、砂時計型のニューラルネットワークであり、教師なし学習を行う。自己符号化器、深層自己符号化器、積層自己符号化器、雑音除去自己符号化器等がある。

自己符号化器は、教師なし学習により入力の低次元表現を獲得する目的で考案された。入力を中間層で低次元表現に変換する符号化と、この低次元表現を元の次元の表現に戻す復号化とを組み合わせた3層の砂時計型の構造をしている。入力信号と出力信号の間の再構成誤差を小さくするように学習を行う。

深層自己符号化器は、入力から中間層までの符号化部と、中間層から出力までの復号化部分の総数を増やして深層化したものになる。

積層自己符号化器は、層ごとの貪欲学習により深層自己符号化器の勾配消失課題を解決したもの。

雑音除去自己符号化器は、入力信号に雑音を加えることで、未知の信号に対するロバスト性を向上したものとなる。

確率的モデルはボルツマンマシン(確率分布を近似するマシン)に由来するボルツマンマシン、制約ボルツマンマシン、深層ボルツマンマシン、深層信念ネットワークからなる。

ボルツマンマシンは、マルコフ確率場と言う確率モデルの一種である。観測・隠れ変数を描くノードとし、これらのノード間の依存関係を無向の結合で示したグラフィカルモデルで記述される。組み合わせ爆発問題により学習が困難な為あまり利用されない。

制約ボルツマンマシンは、ボルツマンマシンに、観測変数と隠れ変数の間にしか依存関係がないように制限を加えたモデルとなる。この制限のおかけで上述の学習の制約が大幅に緩和され実用的な計算ができるようになった。ハーモニウムという名称で提案されたが現在では制限ボルツマンマシンと言う名称が定着している。

深層ボルツマンマシンは、制限ボルツマンマシンの隠れ変数のそうをそのまま多段にすることで深層化したモデルとなる。事前学習やコントラスティ部・ダイバージェンス法などの手法の開発が進み多く利用されている。

深層信念ネットワークは、隠れ変数を多層にして深層化する点では深層ボルツマンマシンと同等だが、その依存関係を無向の結合ではなく、有向の結合としたものとになる。事前学習等の技術が活用でき2000年代に普及が進んでいる。