python Kerasの概要と基本的な深層学習タスクへの適用例

サマリー

ここではpython Kerasの概要と基本的な深層学習タスク(MINISTを用いた手書き文字認織、Autoencoder、”CNNの概要とアルゴリズム及び実装例について“で述べているCNN、”RNNの概要とアルゴリズム及び実装例について“で述べているRNN、”LSTM(Long Short-Term Memory)について“で述べているLSTM)への具体的な適用例について述べている。

Python Kerasの概要

PythonのKerasは、抽象度が高く、開発者にとって扱いやすい形で利用できるニューラルネットワークライブラリであり、機械学習やディープラーニングのタスクを簡潔かつ効率的に実装するためのツールとなる。Kerasは、シンプルなインターフェースと豊富な機能を提供し、他の深層学習フレームワーク(TensorFlow、Theano、CNTK等)と統合されているものとなる。(“tensorflowとKerasとpytorchの比較“においてその他の代表的なライブラリであるtensorflow、Keras、pytorchの比較も行なっているのでそちらも参照のこと)

以下に、Python Kerasの特徴と利点を挙げる。

• 簡単な構文: Kerasはシンプルで直感的なAPIを提供し、ニューラルネットワークのモデルを簡潔に記述できる。モデルの構築に必要なコードの量が少なくなるため、開発者はより迅速に実験やプロトタイプの作成に取り組むことができる。
• モジュール性と拡張性: Kerasでは、モデルをレイヤーとして構築し、それらを組み合わせて複雑なネットワークを作成することができる。また、既存のレイヤーやモデルを再利用することも容易となる。Kerasはモジュール性が高く、様々なタイプのレイヤーや活性化関数、損失関数、最適化アルゴリズムなどが提供されている。
• マルチバックエンド: Kerasは、バックエンドとしてTensorFlow、Theano、CNTKなどの深層学習フレームワークを使用できる。これにより、バックエンドの切り替えや異なるフレームワークの利点を活用することができる。
• コミュニティとドキュメント: Kerasは非常にアクティブなコミュニティを持っており、ユーザーが情報やサポートを交換できる場がある。また、公式ドキュメントも充実しており、機能の解説やチュートリアルなどが提供されている。
• GPUサポート: KerasはGPUをサポートしており、GPUを利用して高速なディープラーニングの計算を実行することができる。特に、TensorFlowバックエンドを使用する場合は、GPUを使用するための設定が容易となる。

次に実際に、Kerasを使用するための環境設定について述べる。Kerasの詳細に関しては「PythonとKerasによるディープラーニング」が良質な参考図書となる。そちらも参照のこと。

環境設定

PythonのKerasライブラリを使用するための環境を構築する方法について述べる。

• Pythonのインストール: KerasはPythonで動作するため、Pythonのインストールが必要となる。これは公式ウェブサイトよりPythonの最新バージョンをダウンロードし、インストールしてください。
• 仮想環境の作成 (オプション): 利用するライブラリのスパゲッティ状態を回避するため、Pythonの仮想環境を作成する。仮想環境を使用することで、プロジェクトごとにライブラリのバージョンを管理できるようになる。仮想環境を作成するには、venvモジュールを利用する。

python3 -m venv myenv  # 仮想環境の作成
source myenv/bin/activate  # 仮想環境のアクティベート (Linux/Mac)
myenv\Scripts\activate  # 仮想環境のアクティベート (Windows)

なお、python開発環境の構築の詳細に関しては、”各種言語でのコード開発環境の作り方“や”SublimeText4とVS codeでのPython開発環境立ち上げ“等を参照のこと。

• Kerasのインストール: Kerasは、Pythonのパッケージ管理ツールであるpipを使用してインストールできる。仮想環境がアクティベートされている場合は、以下のコマンドを実行する。

pip install keras

• 更にに必要に応じて、GPUサポートを有効にするために、tensorflow-gpuパッケージもインストールできる。

pip install tensorflow-gpu

注意: Kerasは現在、TensorFlowの一部として提供されており、tensorflowパッケージの一部としてもインストールされている。

• 必要な追加ライブラリのインストール: Kerasを使用するためには、いくつかの追加ライブラリも必要となる。以下のコマンドを使用して、必要なライブラリをインストールする。ここでは、数値計算のためのNumPyライブラリとグラフのプロットのためのMatplotlibライブラリがインストールしている。

pip install numpy matplotlib

以上の手順を実行することで、PythonのKeras環境のセットアップが完了する。個々の課題を解くには更に適宜、他のパッケージやツールをインストールしてプロジェクトを構築していくことが必要となる。

MNISTでの手書き文字認識

まず手始めとして、”ニューラルネットワークのHello World、MNISTデータによる手書き認織の実装“等でもKerasのHello Worldとして述べられているMNISTデータセットの手書き数字を分類するタスクのPythonのKerasライブラリを使用した簡単な実装例を示す。

import numpy as np
from keras.models import Sequential
from keras.layers import Dense, Flatten
from keras.datasets import mnist
from keras.utils import to_categorical

# MNISTデータセットの読み込み
(x_train, y_train), (x_test, y_test) = mnist.load_data()

# 入力データの前処理
x_train = x_train.reshape(-1, 28, 28, 1) / 255.0
x_test = x_test.reshape(-1, 28, 28, 1) / 255.0
y_train = to_categorical(y_train)
y_test = to_categorical(y_test)

# モデルの構築
model = Sequential()
model.add(Flatten(input_shape=(28, 28, 1)))
model.add(Dense(128, activation='relu'))
model.add(Dense(10, activation='softmax'))

# モデルのコンパイル
model.compile(optimizer='adam', loss='categorical_crossentropy', metrics=['accuracy'])

# モデルの訓練
model.fit(x_train, y_train, batch_size=128, epochs=10, verbose=1)

# モデルの評価
test_loss, test_acc = model.evaluate(x_test, y_test)
print('Test loss:', test_loss)
print('Test accuracy:', test_acc)

この例では、KerasのSequentialモデルを使用して、フルコネクトのニューラルネットワークを構築している。Flattenレイヤーを使用して、入力画像を1次元のベクトルに変換し、Denseレイヤーを使用して隠れ層と出力層を定義し、活性化関数としてReLU関数を使用し、出力層では”ソフトマックス関数の概要と関連アルゴリズム及び実装例について“で述べられているソフトマックス関数を使用して確率分布を得るように設定している。ここでのReLU(Rectified Linear Unit)関数は、ニューラルネットワークにおいて広く使用される活性化関数の一つであり、入力が0以下の場合は0を出力し、入力が0より大きい場合は入力値をそのまま出力する関数となる。式としては以下のような定義となる。

f(x) = max(0, x)

またソフトマックス関数(Softmax function)は、ニューラルネットワークの出力を確率分布として解釈するために使用される関数であり、一般的に多クラス分類の最終層の活性化関数として使用されるものとなる。定義式は以下のようになる。

\[Softmax(x_i) = \frac{exp(x_i)}{\displaystyle\sum(exp(x_j))}\]

これらのモデルの理解には深層学習の知識が必要となるが、それらの詳細に関しては”深層学習について“を参照のこと。

次にモデルのコンパイルとして、最適化アルゴリズムと損失関数を指定している。この例では、最適化アルゴリズムとしてAdamを、損失関数として”クロスエントロピーの概要と関連アルゴリズム及び実装例“で述べているカテゴリカルクロスエントロピーを使用している。Adamは計算を効率化するアルゴリズムである確率的勾配降下法(Stochastic Gradient Descent; SGD)の改良版であり、理論的な詳細に関しては”確率的最適化“を参照のこと。また、カテゴリカルクロスエントロピー(Categorical Cross-Entropy)は、機械学習やディープラーニングにおいて、多クラス分類のタスクで使用される損失関数の一つであり以下の式で表されるものとなる。

\[CategoricalCrossEntropy\ =\ -\displaystyle\sum(y * log(p))\]

モデルの訓練では、fitメソッドを使用して入力データとターゲットデータを与え、バッチサイズとエポック数を指定し、最後に、モデルの評価では、テストデータを使用してモデルの性能を評価し、損失と精度を表示している。

Autoencoder

Autoencoder（オートエンコーダー）は、教師なし学習の一種であり、入力データを表現するための低次元のコード(エンコーディング)を学習し、元のデータを再構築するためのデコーダーを学習するニューラルネットワークモデルとなる。エンコーダーとデコーダーは通常、対称的な構造を持つ。また”特徴量はどこから来るのか“や”で述べているように近年の深層学習技術の隆盛のきっかけとなった技術でもある。

Autoencoderは、データの圧縮や特徴抽出に利用される。エンコーダーは入力データを低次元の表現に変換し、その表現を元のデータにできるだけ近づけるようにデコーダーが再構築し、エンコーダーの出力が入力データと一致するように学習されるため、エンコーダーはデータの特徴を捉える能力を持つ。Autoencoderの詳細に関しては”オートエンコーダー“を参照のこと。

Autoencoderは以下の手順で構築される。

1. エンコーダーの構築：入力データを低次元の表現に変換するニューラルネットワークを構築する。通常、全結合層や畳み込み層などの層を使用する。
2. デコーダーの構築：低次元の表現を元の次元に戻すニューラルネットワークを構築する。エンコーダーと同様に、全結合層や畳み込み層などの層を使用する。
3. オートエンコーダーの構築：エンコーダーとデコーダーを結合してオートエンコーダーモデルを構築する。
4. モデルの訓練：オートエンコーダーモデルに入力データを与え、エンコーダーの出力を元のデータとできるだけ一致させるように学習する。
5. 特徴抽出やデータ圧縮：エンコーダーの出力を用いて、データの特徴抽出や次元削減などのタスクを実行する。

Autoencoderは、異常検知やノイズ除去、特徴抽出などのさまざまな応用に使用されたり、深層学習の事前学習(pre-training)の手法としても利用されることもある汎用的な技術となる。

以下に、PythonのKerasライブラリを使用したAutoencoder（オートエンコーダー）の実装例を示す。

from keras.layers import Input, Dense
from keras.models import Model
from keras.datasets import mnist
import numpy as np

# MNISTデータセットの読み込み
(x_train, _), (x_test, _) = mnist.load_data()

# 入力データの前処理
x_train = x_train.astype('float32') / 255.0
x_test = x_test.astype('float32') / 255.0
x_train = np.reshape(x_train, (len(x_train), np.prod(x_train.shape[1:])))
x_test = np.reshape(x_test, (len(x_test), np.prod(x_test.shape[1:])))

# オートエンコーダーの構築
input_dim = 784  # 入力データの次元数
encoding_dim = 32  # エンコーディング次元数

# エンコーダーの定義
input_img = Input(shape=(input_dim,))
encoded = Dense(encoding_dim, activation='relu')(input_img)

# デコーダーの定義
decoded = Dense(input_dim, activation='sigmoid')(encoded)

# オートエンコーダーモデルの定義
autoencoder = Model(input_img, decoded)

# エンコーダーモデルの定義
encoder = Model(input_img, encoded)

# オートエンコーダーモデルのコンパイル
autoencoder.compile(optimizer='adam', loss='binary_crossentropy')

# オートエンコーダーモデルの訓練
autoencoder.fit(x_train, x_train, epochs=50, batch_size=256, shuffle=True, validation_data=(x_test, x_test))

# テストデータの変換と再構築
encoded_imgs = encoder.predict(x_test)
decoded_imgs = autoencoder.predict(x_test)

この例では、MNISTデータセットの画像を対象としたAutoencoderの実装を行っている。

モデルの構築では、InputレイヤーとDenseレイヤーを使用してエンコーダーとデコーダーを定義している。エンコーダーの出力はエンコーディング次元数に制約され、デコーダーの出力は入力データの次元数と一致する。モデルのコンパイルでは、最適化アルゴリズムと損失関数を指定する。この例では、最適化アルゴリズムとしてAdamを使用し、損失関数として二値交差エントロピーを使用している。モデルの訓練では、fitメソッドを使用して入力データと目標データ（入力データ自体）を与え、エポック数やバッチサイズなどのパラメータを設定してモデルを訓練する。

CNN(Convolutional Neural Network)

CNN(Convolutional Neural Network)は、主に画像処理タスクにおいて優れた性能を発揮するために開発されたニューラルネットワークの一種となる。CNNを用いることで、画像認識、物体検出、セグメンテーションなどの各種画像タスクにおいて優れた性能を発揮し、深層学習の代表的なモデルとなっている。CNNは畳み込み層(Convolutional Layer)とプーリング層(Pooling Layer)から構成され、一般的にはこれらの層の組み合わせを積み重ねたネットワークとして構築される。CNNは以下のような特徴を持つ。

• 畳み込み層(Convolutional Layer)：畳み込み層は、画像や特徴マップに対して、畳み込み演算を行い特徴を抽出するものとなる。畳み込み演算は、カーネル(フィルタ)をスライドさせながら入力データとの要素ごとの積和演算を行うことで特徴マップを生成し、畳み込み層は特徴の局所的な構造を抽出する役割を持つ。
• プーリング層(Pooling Layer)：プーリング層は畳み込み層で得られた特徴マップの空間的な次元を削減するために使用される。一般的に最大プーリング(Max Pooling)が使用され、特徴マップ内の領域から最大値を取り出して新しい特徴マップを生成する。プーリング層は特徴の位置の変化に対して頑健な表現を獲得する役割を持つ。
• 活性化関数(Activation Function)：畳み込み層やプーリング層の後には、非線形な活性化関数が適用される。この活性化関数としては一般的にReLU(Rectified Linear Unit)が使用される。活性化関数はネットワークに非線形性を導入し、モデルの表現能力を高める役割を持つ。
• 全結合層(Fully Connected Layer)：畳み込み層やプーリング層の後には、通常、全結合層が追加される。全結合層は畳み込み層やプーリング層で抽出された特徴を受け取り、最終的な出力を生成する。

更に詳しい画像情報処理技術に関しては”画像情報処理技術“を参照のこと。

このCNNのPythonのKerasライブラリを使用した実装例を以下に示す。この例では、CIFAR-10データセットの画像分類タスクを対象としている。

import numpy as np
from keras.models import Sequential
from keras.layers import Conv2D, MaxPooling2D, Flatten, Dense
from keras.datasets import cifar10
from keras.utils import to_categorical

# CIFAR-10データセットの読み込み
(x_train, y_train), (x_test, y_test) = cifar10.load_data()

# 入力データの前処理
x_train = x_train.astype('float32') / 255.0
x_test = x_test.astype('float32') / 255.0
y_train = to_categorical(y_train, num_classes=10)
y_test = to_categorical(y_test, num_classes=10)

# モデルの構築
model = Sequential()
model.add(Conv2D(32, (3, 3), activation='relu', padding='same', input_shape=(32, 32, 3)))
model.add(Conv2D(32, (3, 3), activation='relu'))
model.add(MaxPooling2D(pool_size=(2, 2)))
model.add(Conv2D(64, (3, 3), activation='relu', padding='same'))
model.add(Conv2D(64, (3, 3), activation='relu'))
model.add(MaxPooling2D(pool_size=(2, 2)))
model.add(Flatten())
model.add(Dense(512, activation='relu'))
model.add(Dense(10, activation='softmax'))

# モデルのコンパイル
model.compile(optimizer='adam', loss='categorical_crossentropy', metrics=['accuracy'])

# モデルの訓練
model.fit(x_train, y_train, batch_size=128, epochs=10, validation_data=(x_test, y_test))

# モデルの評価
test_loss, test_acc = model.evaluate(x_test, y_test)
print('Test loss:', test_loss)
print('Test accuracy:', test_acc)

この例では、CIFAR-10データセットを使用して、畳み込みニューラルネットワーク(CNN)を構築している。CIFAR-10は、32×32ピクセルのカラー画像からなる10の異なるクラスのデータセットとなる。

モデルの構築では、Conv2DレイヤーとMaxPooling2Dレイヤーを使用して畳み込みとプーリングを行っている。最終的に、Flattenレイヤーで特徴マップを1次元のベクトルに変換し、全結合層のDenseレイヤーでクラスの予測を行う。モデルのコンパイルでは、最適化アルゴリズムと損失関数を指定しており、この例では、最適化アルゴリズムとしてAdamを、損失関数としてカテゴリカルクロスエントロピーを利用している。

CNNの詳細に関しては”PythonとKerasによるコンピュータービジョンのためのディープラーニング(1)-畳み込みとプーリング“や”PythonとKerasによるコンピュータービジョンのためのディープラーニング(2)少量のデータを使ったCNNのデータ拡張による改善“等も参照のこと。

RNN(Recurrent Neural Network)

RNN(Recurrent Neural Network)は、時系列データや自然言語などのシーケンシャルデータを処理するために設計されたニューラルネットワークの一種となる。RNNは、過去の情報を保持しながら現在の入力を処理し、次のステップに情報を伝達する特徴を持っている。RNNの特徴は以下のようになる。

• 再帰的な結合：RNNは、自己ループを持つ再帰的な結合を持っており、隠れ状態(hidden state)を保持する。この隠れ状態は、前の時刻の入力に対する情報を保持する役割を果たす。この再帰的な結合により、過去の情報を現在の処理に反映することができる。
• 入力と出力のシーケンス：RNNは、シーケンスデータを入力として受け取り、シーケンスデータを出力として生成することができる。これにより、時系列データの予測やシーケンス変換のようなタスクに適用することができる。
• 長期の依存関係のモデリング：RNNは、長期の時系列データの依存関係をモデル化する能力を持つ。過去の情報が隠れ状態を介して次のステップに伝播するため、遠い過去の情報も考慮できる。
• シーケンス方向の処理：RNNは通常、時系列データを先頭から末尾へ順番に処理する。このため、シーケンスデータの構造を考慮した処理が可能となる。

RNNの代表的なアーキテクチャとしては、”LSTMの概要とアルゴリズム及び実装例について“で述べているLSTM（Long Short-Term Memory）や”GRUの概要とアルゴリズム及び実装例について“で述べているGRU（Gated Recurrent Unit）がある。これらは、RNNの勾配消失問題や長期の依存関係のモデリングの課題に対処するために開発された改良されたバリエーションとなる。

RNNは、自然言語処理、音声認識、時系列予測などのタスクにおいて幅広く利用されており、また、RNNの応用としては、””Stacked RNNについて“”で述べている多層化RNN（Stacked RNN）や””Bidirectional RNN（BRNN）について“”で述べている双方向RNN（Bidirectional RNN）などもある。

なお、それぞれのタスクに適用するためには、各分野での基本的な知識が必要であり、自然言語処理の詳細に関しては”自然言語処理技術“を、音声認織に関しては”音声認識技術“を、時系列予測に関しては”時系列データ解析“をそれぞれ参照のこと。

このRNN(Recurrent Neural Network)を用いたPythonのKerasライブラリでの実装例を以下に示す。この例では、IMDB映画レビューデータセットの感情分析タスクを対象としている。

import numpy as np
from keras.datasets import imdb
from keras.models import Sequential
from keras.layers import Embedding, LSTM, Dense
from keras.preprocessing import sequence

# IMDBデータセットの読み込み
(x_train, y_train), (x_test, y_test) = imdb.load_data(num_words=10000)

# 入力データの前処理
max_len = 200  # 文書の最大長
x_train = sequence.pad_sequences(x_train, maxlen=max_len)
x_test = sequence.pad_sequences(x_test, maxlen=max_len)

# モデルの構築
model = Sequential()
model.add(Embedding(10000, 32, input_length=max_len))
model.add(LSTM(32))
model.add(Dense(1, activation='sigmoid'))

# モデルのコンパイル
model.compile(optimizer='adam', loss='binary_crossentropy', metrics=['accuracy'])

# モデルの訓練
model.fit(x_train, y_train, batch_size=128, epochs=5, validation_data=(x_test, y_test))

# モデルの評価
test_loss, test_acc = model.evaluate(x_test, y_test)
print('Test loss:', test_loss)
print('Test accuracy:', test_acc)

この例では、IMDB映画レビューデータセットを使用して、RNN（LSTM）を構築している。IMDBデータセットは、映画のレビューテキストとその感情ラベル（ポジティブまたはネガティブ）からなるデータセットとなる。

モデルの構築では、Embeddingレイヤーを使用して単語埋め込みを行い、テキストデータを密なベクトル表現に変換している。次に、LSTMレイヤーを使用して時系列情報をモデルに組み込み、最後に、Denseレイヤーを使用して感情ラベルの予測を行っている。モデルのコンパイルでは、最適化アルゴリズムと損失関数を指定しており、この例では、最適化アルゴリズムとしてAdamを、損失関数として二値交差エントロピーを使用している。

モデルの訓練では、fitメソッドを使用して入力データとラベルデータを与え、バッチサイズとエポック数を指定しており、最後に、モデルの評価では、テストデータを使用してモデルの性能を評価し、損失と精度を表示している。

RNNを用いたシーケンスデータ解析は”Huggingfaceを使った文自動生成の概要“でも述べている最新の生成系モデルの基礎となる技術でもある。

LSTM(Long Short-Term Memory)

LSTM(Long Short-Term Memory)は、RNN(Recurrent Neural Network)の一種であり、長期的な依存関係をモデル化するために設計されたニューラルネットワークのアーキテクチャとなる。LSTMは、RNNの勾配消失問題や長期の情報保持の課題を解決するために、構造的な改良が行われたものとなる。LSTMは以下のような要素を持つ。

• セル状態(Cell State)：LSTMは、セル状態と呼ばれるメモリセルを導入する。セル状態は、長期的な情報を保持するためのメモリ部分であり、情報の追加や削除が可能となる。
• ゲート(Gates)：LSTMは、ゲートと呼ばれる制御機構を持つ。ゲートは、情報の流れを制御するための閾値を学習可能な形で導入する。主なゲートには、入力ゲート(Input Gate)、忘却ゲート(Forget Gate)、出力ゲート(Output Gate)がある。
  • 入力ゲート：新しい情報をセル状態に追加するためのゲート。
  • 忘却ゲート：不要な情報をセル状態から削除するためのゲート。
  • 出力ゲート：セル状態から取り出された情報を次の隠れ状態（hidden state）に伝えるためのゲート。
• 隠れ状態(Hidden State)：LSTMは、RNNと同様に隠れ状態を持つ。隠れ状態は、現在の入力に対する過去の情報を保持する。隠れ状態は、セル状態やゲートの制御によって更新される。

LSTMは、時系列データやシーケンシャルデータの処理において、特に長期の依存関係を捉える必要がある場合に効果を発揮し、自然言語処理(言語モデリング、機械翻訳)、音声認識、動作認識などのタスクに広く使用されている。

以下に、PythonのKerasライブラリを使用したLSTM(Long Short-Term Memory)の実装例を示す。Kerasを使用してLSTMを実装する場合、keras.layers.LSTMを使用してLSTMレイヤーを追加することとなる。

import numpy as np
from keras.models import Sequential
from keras.layers import LSTM, Dense
from keras.datasets import mnist
from keras.utils import to_categorical

# MNISTデータセットの読み込み
(x_train, y_train), (x_test, y_test) = mnist.load_data()

# 入力データの前処理
x_train = x_train.astype('float32') / 255.0
x_test = x_test.astype('float32') / 255.0
y_train = to_categorical(y_train, num_classes=10)
y_test = to_categorical(y_test, num_classes=10)

# 入力データの形状を変更
x_train = np.reshape(x_train, (x_train.shape[0], x_train.shape[1], 1))
x_test = np.reshape(x_test, (x_test.shape[0], x_test.shape[1], 1))

# モデルの構築
model = Sequential()
model.add(LSTM(128, input_shape=(x_train.shape[1], 1)))
model.add(Dense(10, activation='softmax'))

# モデルのコンパイル
model.compile(optimizer='adam', loss='categorical_crossentropy', metrics=['accuracy'])

# モデルの訓練
model.fit(x_train, y_train, batch_size=128, epochs=5, validation_data=(x_test, y_test))

# モデルの評価
test_loss, test_acc = model.evaluate(x_test, y_test)
print('Test loss:', test_loss)
print('Test accuracy:', test_acc)

この例では、MNISTデータセットの手書き数字認識タスクに対して、LSTMネットワークを使用している。モデルの構築では、LSTMレイヤーを使用してLSTMユニットを追加し、最後にDenseレイヤーを使用して出力を予測し、モデルのコンパイルでは、最適化アルゴリズムと損失関数を指定している。この例では、最適化アルゴリズムとしてAdamを使用し、損失関数としてカテゴリカルクロスエントロピーを使用している。

モデルの訓練では、fitメソッドを使用して入力データとラベルデータを与え、バッチサイズとエポック数を指定してモデルを訓練し、最後に、モデルの評価では、テストデータを使用してモデルの性能を評価し、損失と精度を表示している。

LSTMは複雑な深層学習モデルの走りであり、これらが更に複雑化していくことで”Huggingfaceを使った文自動生成の概要“でも述べている最新の生成系モデルへと発展している。

参考情報と参考図書

画像情報処理全般に関しては”画像情報処理技術“、自然言語処理全般に関しては”自然言語処理技術“を、深層学習技術に関しては”深層学習について“に述べているそちらも参照のこと。

参考図書としては”物体・画像認識と時系列データ処理入門“

“Pythonで学ぶ画像認識 機械学習実践シリーズ“

“今すぐ試したい！ 機械学習・深層学習(ディープラーニング) 画像認識プログラミングレシピ“

“実践 自然言語処理 ―実世界NLPアプリケーション開発のベストプラクティス“

“BERT入門ーープロ集団に学ぶ新世代の自然言語処理“

“機械学習エンジニアのためのTransformer ―最先端の自然言語処理ライブラリによるモデル開発“等が参考となる。