AI対話エンジン
チャットボット技術の中心にあるAI対話エンジンの技術的な分類と、自然言語処理の活用、深層学習技術の活用、さらに近年注目されている知識グラフを組み合わせたものに対して、技術概要とベンチマーク、そしてClojureを用いた実装について述べる
自然言語処理
チャットボットと質疑応答技術
デジタルトランスフォーメーション(DX)、人工知能(AI)等で活用されるチャッボット技術とビジネスの観点での概要、さらに自然言語処理、深層学習、知識ネットワーク技術を組み合わせた質疑応答システムについて
保護中: トピックモデル -最尤推定、変分ベイズ推定、ギブスサンプリングによる推定
デジタルトランスフォーメーション(DX)、人工知能(AI)、自然言語処理(NLP)タスクに活用されるトピックモデルの、最尤推定、変分ベイズ、ギブスサンプリングによる推定
保護中: 言語の意味に対する2つのアプローチ(記号表現と分散表現の融合)
人工知能(AI)タスクやデジタルトランスフォーメーション(DX)タスクに活用できる自然言語の意味に対する記号表現とベクトル表現アプローチとその融合、含有関係認識、パラフレーズ認識、意味的類似度認識、データセット(RTE、RITE、STS)
保護中: 言葉の意味をコンピューターに教える(各種言語モデルについて)
自然言語処理でのWordNet(辞書)、分散仮説、PPMI、特異点分解(SVD)、Word2Vec(分散表現)による自然言語の意味
ことばのモデル入門(確率的なユニグラムモデルとベイズ推定)
デジタルトランスフォーメーション(DX)、人工知能(AI)、機械学習等に適用可能な自然言語処理。自然言語のモデル化、ユニグラムモデルとベイズ確率的なモデルの適用、ディリクレ分布
similarity(類似性)の基礎(3)言語ベースのアプローチ
デジタルトランスフォーメーション(DX)、人工知能(AI)、機械学習(ML)に活用可能な自然言語の類似性の評価への言語的なアプローチ、多言語対応を含めて
similarity(類似性)の基礎(2)文字列ベースのアプローチ
デジタルトランスフォーメーション(DX)、人工知能(AI)、機械学習(ML)の活用の為の自然言語処理のベースとなる生テキストの構造化の為の各種手法まとめ、正規化技術、部分文字列の扱い、編集距離、トークンベース
距離とパス比較について
Clojureでの one hot vectorとcategory vector
自然言語処理の機械学習の用途のためのClojureによるone-hot-vectorとcategory-vectorの実装
Clojureでのstopword除去
自然言語処理のクレンジング処理で用いるストップワード処理について、複数のClojureとpyhtonでの実装例を以下に示す。Clojureではremove関数を用いる。