python 疎密なデータでの機械学習とMoE(Mixture of Experts)
疎密なデータでの機械学習
疎な領域（データが少ない）と密な領域（データが多い）が混在するデータ集合に対して深層学習を行うと、以下のような現象や問題が起こりやすくなる。
1. バイアスが生じる（学習...
数学:Mathematics
python python 残差結合について
残差結合について
残差結合（Residual Connection）は、深層学習ネットワークにおいて層を跨いで情報を直接伝達する手法の一つであり、この手法は、特に深いネットワークを訓練する際に発生する勾配消失や勾配爆発の...
python NSGA-III(Non-dominated Sorting Genetic Algorithm III)の概要とアルゴリズム及び実装例
NSGA-III(Non-dominated Sorting Genetic Algorithm III)の概要
NSGA-IIIは、多目的最適化(MOO: Multi-Objective Optimization)のため...
python 揺らぎとその応用
揺らぎについて
「揺らぎ」とは、一般にわずかに動いて定まらない状態や、小さな変化を繰り返して安定しない様子を指す言葉になる。たとえば、「炎の揺らぎ」や「音の揺らぎ」など、物理的に微細な動きを伴う現象を示すほ...
python Soft Targetによるモデルの蒸留の概要とアルゴリズム及び実装例について
Soft Targetによるモデルの蒸留の概要
ソフトターゲット（Soft Target）によるモデルの蒸留は、大規模で計算資源の高い教師モデルの知識を、小規模で効率的な生徒モデルに伝達する手法となる。通常、ソフトターゲ...
Symbolic Logic 知識表現と機械学習と推論とGNN
知識表現と推論とGNN
"知識情報処理技術"で述べている知識表現と"推論技術"で述べている推論は、情報を構造化し、意味的な理解を促進するための重要な分野であり、これに対して、"グラフニューラルネットワーク"で述...
python Attention Transferによるモデルの蒸留の概要とアルゴリズム及び実装例について
Attention Transferによるモデルの蒸留の概要
Attention Transferは、深層学習においてモデルの蒸留（Distillation）を行うための手法の一つであり、モデルの蒸留は、大規模で計算負荷...
python 棒切り分割プロセス(Stick-breaking Process)の概要とアルゴリズム及び実装例
棒切り分割プロセス(Stick-breaking Process)の概要
棒切り分割プロセス (Stick-breaking Process) は、"ディリクレ過程（Dirichlet Process, DP）の...
哲学:philosophy 要約での抽象化型アプローチとAIによるコミュニケーション支援
自動要約における抽出型アプローチ
"自動要約技術の概要とアルゴリズムおよび実装例について"では、AIを用いた要約技術について述べている。
自動要約技術は、大きなテキスト文書や文章を短く、要点を押さえた形にま...
アルゴリズム:Algorithms SMOTE（Synthetic Minority Over-sampling Technique）の概要とアルゴリズム及び実装例について
SMOTE（Synthetic Minority Over-sampling Technique）の概要
SMOTE（Synthetic Minority Over-sampling Technique）は、不均衡なクラス...