python ニュートン法の導関数の計算における数値微分の代替手法について
ニュートン法の導関数の計算における数値微分の代替手法について
ニュートン法では、関数\(f(x)\)の根を求めるために導関数\(f'(x)\)を用いるが、解析的に導関数を求めるのが難しい場合や、関数が数値的にしか与えられ...
微分積分:Calculus
python python ニュートン法のリスケーリングについて
ニュートン法のリスケーリングについて
ニュートン法のリスケーリングは、数値最適化において収束速度を改善したり、特異点や局所最適解に関する問題を回避するために使用される手法の一つであり、リスケーリングは、最適化の計算過程で...
python ニュートン法での線形収束を改善する方法について
ニュートン法での線形収束を改善する方法について
"ニュートン法の概要とアルゴリズム及び実装について"でも述べているニュートン法は、特に凸最適化問題や非線形方程式の解法において非常に有力な手法だが、収束速度が線形にとどまる...
python 自然勾配法の概要とアルゴリズム及び実装例について
自然勾配法の概要
自然勾配法（Natural Gradient Descent）は、"確率的勾配降下法(Stochastic Gradient Descent, SGD)の概要とアルゴリズム及び実装例について"で述べてい...
python リーマン最適化のアルゴリズムと実装例について
リーマン最適化
リーマン最適化（Riemannian Optimization）は、通常の最適化手法をリーマン多様体上で行うアプローチとなる。
ここでの多様体とは「局所的には単純だが、全体的には複雑な空間」を表現す...
python 確率的勾配降下法(Stochastic Gradient Descent, SGD)の概要とアルゴリズム及び実装例について
確率的勾配降下法(Stochastic Gradient Descent, SGD)について
確率的勾配降下法（Stochastic Gradient Descent, SGD）は、機械学習や深層学習などで広く使用される最適化...
python 準ニュートン法について
準ニュートン法について
準ニュートン法（Quasi-Newton Method）は、非線形最適化問題を解決するための反復法の一つとなる。このアルゴリズムは、ニュートン法の一般化であり、高次導関数（ヘッセ行列）を計算せずに...
python Limited-memory Broyden–Fletcher–Goldfarb–Shanno（L-BFGS）法について
Limited-memory Broyden–Fletcher–Goldfarb–Shanno（L-BFGS）法について
Limited-memory Broyden–Fletcher–Goldfarb–Shanno（L...
グラフ理論 情報幾何とは何か
情報幾何の本質とは
情報幾何（Information Geometry）は、統計学や情報理論、機械学習などで使われる確率分布や統計モデルの幾何学的な構造を研究する分野であり、その本質的な考え方は、確率分布や統計モデルを幾...
アルゴリズム:Algorithms 勾配消失問題（vanishing gradient problem）とその対応について
勾配消失問題（vanishing gradient problem）について
勾配消失問題（Vanishing Gradient Problem）は、主に深層ニューラルネットワークにおいて発生する問題の一つであり、ネット...