最適化:Optimization

ニュートン法での特異点への対処方法について "ニュートン法の概要とアルゴリズム及び実装について"でも述べているニュートン法は、非線形方程式の解を求めるための強力な手法だが、特異点（例: ヤコビ行列が特異または近似特異にな...

ニュートン法の導関数の計算における数値微分の代替手法について ニュートン法では、関数\(f(x)\)の根を求めるために導関数\(f'(x)\)を用いるが、解析的に導関数を求めるのが難しい場合や、関数が数値的にしか与えられ...

ニュートン法のリスケーリングについて ニュートン法のリスケーリングは、数値最適化において収束速度を改善したり、特異点や局所最適解に関する問題を回避するために使用される手法の一つであり、リスケーリングは、最適化の計算過程で...

ニュートン法での線形収束を改善する方法について "ニュートン法の概要とアルゴリズム及び実装について"でも述べているニュートン法は、特に凸最適化問題や非線形方程式の解法において非常に有力な手法だが、収束速度が線形にとどまる...

自然勾配法の概要 自然勾配法（Natural Gradient Descent）は、"確率的勾配降下法(Stochastic Gradient Descent, SGD)の概要とアルゴリズム及び実装例について"で述べてい...

リーマン最適化 リーマン最適化（Riemannian Optimization）は、通常の最適化手法をリーマン多様体上で行うアプローチとなる。 ここでの多様体とは「局所的には単純だが、全体的には複雑な空間」を表現す...

確率的勾配降下法(Stochastic Gradient Descent, SGD)について 確率的勾配降下法（Stochastic Gradient Descent, SGD）は、機械学習や深層学習などで広く使用される最適化...

ヒルベルトワンド変換について ヒルベルト変換（Hilbert transform）は、信号処理や数学の分野で広く使用される操作であり、信号のアナリティシティ（解析的性質）を導入するために利用されている手法となる。ヒルベル...

準ニュートン法について 準ニュートン法（Quasi-Newton Method）は、非線形最適化問題を解決するための反復法の一つとなる。このアルゴリズムは、ニュートン法の一般化であり、高次導関数（ヘッセ行列）を計算せずに...