残差結合について
残差結合について
残差結合（Residual Connection）は、深層学習ネットワークにおいて層を跨いで情報を直接伝達する手法の一つであり、この手法は、特に深いネットワークを訓練する際に発生する勾配消失や勾配爆発の...
最適化:Optimization
NSGA-III(Non-dominated Sorting Genetic Algorithm III)の概要とアルゴリズム及び実装例
NSGA-III(Non-dominated Sorting Genetic Algorithm III)の概要
NSGA-IIIは、多目的最適化(MOO: Multi-Objective Optimization)のため...
Soft Targetによるモデルの蒸留の概要とアルゴリズム及び実装例について
Soft Targetによるモデルの蒸留の概要
ソフトターゲット（Soft Target）によるモデルの蒸留は、大規模で計算資源の高い教師モデルの知識を、小規模で効率的な生徒モデルに伝達する手法となる。通常、ソフトターゲ...
Attention Transferによるモデルの蒸留の概要とアルゴリズム及び実装例について
Attention Transferによるモデルの蒸留の概要
Attention Transferは、深層学習においてモデルの蒸留（Distillation）を行うための手法の一つであり、モデルの蒸留は、大規模で計算負荷...
SMOTE（Synthetic Minority Over-sampling Technique）の概要とアルゴリズム及び実装例について
SMOTE（Synthetic Minority Over-sampling Technique）の概要
SMOTE（Synthetic Minority Over-sampling Technique）は、不均衡なクラス...
SQP法（Sequential Quadratic Programming）の概要とアルゴリズムおよひ実装例
SQP法（Sequential Quadratic Programming）の概要
Sequential Quadratic Programming (SQP) は、非線形制約付き最適化問題を解くための数値的アルゴリズム...
線形二次計画法（LQ問題）の概要とアルゴリズム及び実装例
線形二次計画法（LQ問題）の概要
線形二次計画法（LQ問題、Linear Quadratic Problem）は、制御理論や最適化問題で広く利用される手法で、特に最適制御の分野で重要なものとなる。
線形二次計画法は...
DFP法（Davidon-Fletcher-Powell法）の概要とアルゴリズム及びその実装例について
DFP法（Davidon-Fletcher-Powell法）の概要
DFP法（Davidon-Fletcher-Powell法）は、数値最適化の手法の一つで、特に非線形最適化問題に適した手法となる。この手法は、二次近似の...
Pythonと機械学習(1)数学と基本的なアルゴリズム
Pythonと機械学習
概要
Pythonは、簡単に学べること、読みやすいコードを書けること、広範囲にわたるアプリケーションに使えることなどの、多くの優れた特徴を持つ汎用プログラミング言語となる。...
Broyden–Fletcher–Goldfarb–Shanno（BFGS）法について
Broyden–Fletcher–Goldfarb–Shanno（BFGS）法について
Broyden–Fletcher–Goldfarb–Shanno (BFGS) 法は、非線形最適化問題を解決するための数値最適化アル...