機械学習における数学について

2021.07.21
人工知能技術 デジタルトランスフォーメーション 機械学習技術 プログラミング技術 本ブログのナビ

機械学習における数学について

機械学習は、数学的な理論や手法に基づいて構築された技術であり、機械学習アルゴリズムは、数学的なモデルを使用してデータを解析し、パターンを発見することができるものとなる。数学は、数字、量、構造、空間、変化、不確実性などの概念を扱い、論理的に推論し、模型化する学問で、数学の基本的な分野としては、基本的な計算を扱う算術、数学的表現や方程式を扱う代数、空間の形や大きさ、位置関係を扱う幾何、極限や微積分を扱う解析などがある。さらにこれらの分野に加えて、確率論、統計学、数理論理学、数理最適化、位相幾何学などの様々な応用分野がある。

機械学習に関する数学的なトピックには、確率論、統計学、線形代数、微積分、最適化などがある。これは例えば、線形回帰、ロジスティック回帰、決定木、ランダムフォレスト、ニューラルネットワークなどの機械学習アルゴリズムでは、線形代数や微積分の概念が使用されて構築されており、データの前処理、モデルの評価、ハイパーパラメータのチューニングなどのタスクには、統計学や最適化の知識が必要となる。

機械学習を使いこなすためには、数学に関する基本的な知識を習得することが重要であり、さらに、機械学習の分野は常に進化しているため、最新の技術やトピックについても常に学習する必要がある。

本ブログでは、これら数学に対して様々なトピックを述べている。特に人工知能、機械学習等のコンピューターでの利用を念頭においてそれらに必要だと思われる情報を中心にまとめている。

概要

コンピューターサイエンスの根底には数学がある。例えば深層学習や自然言語処理等に用いられるの機械学習には関数から始まり微分/積分を使った最適化の計算が使われ、人工知能で使われるシンボリックなアプローチでは集合論がベースに式の評価が行われたりしている。それらのデジタルトランスフォーメーション応用やITシステム応用を考える前にそれぞれの基礎的な要素について知識を整理することは重要な作業となる。

小島寛之氏による「数学入門」は、ピタゴラスの定理から始まる幾何学、機械学習の世界によく現れる関数、微分、代数、積分、そして最後に基礎数学の土台である集合について述べられている文字通り数学の入門書で、分量も新書版で250ページとお手頃な分量となる。

構造とはwikiによると「ひとつのものを作りあげている部分部分の組み合わせかた[1]。ひとつの全体を構成する諸要素同士の、対立・矛盾・依存などの関係の総称[2]。複雑なものごとの 部分部分や要素要素の 配置や関係」とある。数学の世界では、この「一つのものを作り上げている部分部分」をなるべく抽象化してそれらの関係を求めるということが基本のアプローチとなる。

数学とは数の学と書くが、古代からそれがすべてかというとそうではなく、例えば幾何学の世界は空間や図形の学問であって必ずしも数の学ではない。遠山はこれらを受けて、数学の起源として人類のもののパターンを認織する能力をあげている。本書によると、このパターンを認織する能力により複雑なこの世界を理解可能な形に切り出して、学問として昇華し数学として成り立たせていると述べられている。これは例えると、1,2,3,…というシンプルな数の概念も、単純に数だけではなく2個のりんご、2個のみかん、2人の人間、2匹の犬等の異なるものの間にある共通の形態、もしくはパターンの抽象化により導き出されたものが2という抽象的な概念であるとしている。

関数は、一般的に、ある集合内の各要素に対して、別の集合内の唯一の要素を割り当てる規則として数学的に定義されるものとなる。この関数という概念は、17世紀に数学者のゴットフリート・ライプニッツとアイザック・ニュートンによって発明された。

さらに関数はプログラム内で再利用可能なコードブロックであり、特定の処理を実行するために呼び出されるものとなる。関数は、プログラムの構造を分割し、複数の関数を組み合わせることで、複雑な処理を実現することができる。

そして、関数は機械学習の最適化においても重要な役割を果たす。

集合論とは、数学の基礎的な分野のひとつであり、集合という概念を扱うものとなる。集合は、要素の集まりであり、数学的には、特定の条件を満たすオブジェクトの集まりを指す。

集合は、様々な形で表現されることがある。たとえば、{}で囲まれた要素の列をリストアップする方法、または、特定の条件を満たす要素をリストアップする方法などがある。たとえば、{1, 2, 3, 4}という集合は、1, 2, 3, 4という要素から成る集まりを表し、また、{x | xは自然数かつxが偶数}という集合は、自然数でかつ偶数である要素から成る集まりを表す。

古典的統計学と異なるベイズ統計の考え方がどのようにして生まれてきたのか?またそれらがシャノンによる情報理論とどのようにして結びつくのか

チョコレートの消費量とノーベル賞の受賞者数には明らかに相関があるように見え、ノーベル賞を取るにはチョコーレートを食べれば良いという結論も導けてしまう。

実際には、スイスには有名な国際研究機関が多々ありそこから多数のノーベル賞受賞者が出ているのであり、チョコレートの本場で一人当たりの消費量が多いという事実とはほぼ関係がない。元のデータについての考察がないままに機械学習を行い結果だけを見てしまうと、このようにたまたまそうなっている結果を「因果関係」や「相関関係」としてしまうことがある。

そのような間違いを犯さないため、一般的な自然科学系の実験では前提条件(実験条件)を明確に定義して固定した上で、原因として予測する条件を変化させた時の結果を見て因果関係を判定する。自然科学の世界ではこのように比較的容易に前提条件を固定することが比較的容易だ。

強化学習のアルゴリズムにも用いられる意思決定の為の4つの基準「マックスミン基準」、「マックスマックス基準」、「期待値基準」、複数信念(multiple prior)」がある。

    現代数学における最重要分野の一つともいえる圏論。その高度な抽象性と一般性は、物理学や計算機科学、生物学、言語学、美学などあらゆる領域で豊かな威力を発揮しつつある。本特集では圏論の基本からさまざまな応用の実際、さらには哲学的な射程についても紹介・検討することで、今ひときわ注目をあつめる数学的思考法の真髄に迫りたい。

    線形代数とテンソル

    線形代数は、ベクトルや行列を用いて、線形の関係を解析する数学の分野であり、機械学習においても重要な基礎的な数学的ツールの一つとなる。このような線形代数をコンピューター上で行う為、様々なプログラミング言語において、線形代数を扱うライブラリが開発されている。以下に代表的なものを示す。更に線形代数に関する参考図書について述べる。

    特異値分解（Singular Value Decomposition、SVD）は、行列を3つの行列の積に分解する手法であり、この分解は、行列の特性を理解し、行列のランクや次元削減、最適化、データ圧縮、ノイズ除去などのさまざまな目的に使用されるものとなる。

    非負値行列因子分解（Non-negative Matrix Factorization、NMF）は、与えられた非負の行列を2つの非負の行列の積に分解する手法となる。具体的には、与えられた\(m \times n\)の非負の行列\(V\)を以下のように分解している。

    Alternating Least Squares for Matrix Factorization（ALS-MF）は、行列因子分解の手法の一つで、与えられた行列を複数の部分行列の積に分解することで、行列の潜在的な構造を抽出する手法となる。具体的には、与えられた行列\(R\)（通常はユーザー-アイテムの評価行列）を以下のように分解している。

    ガウス・ザイデル法は、線形方程式の連立方程式の解を求めるための反復法の一つであり、特に、係数行列が対角要素が非ゼロであり、対角優位性を持つ場合に効果的な手法となる。この方法では、方程式の各変数を順番に仮定し、他の変数を既知として解を計算し、その後、計算された解を使って次の変数を更新し、これを繰り返して全ての変数が収束するまで続ける。

    CP分解（CANDECOMP/PARAFAC）は、テンソル分解の一種で、多次元データの分解手法の一つとなる。CP分解は、テンソルを複数のランク1テンソルの和として近似している。通常、3次元以上のテンソルに対して適用されますが、ここでは3次元のテンソルを例に述べる。

    Non-Negative Tensor Factorization（非負テンソル分解、NTF）は、多次元データの表現を求めるための手法であり、テンソル（多次元配列）を非負の要素に分解するものとなる。NTFは、非負の制約が適用されることが特徴であり、主に非負のデータや信号の解析、特徴抽出、次元削減などのアプリケーションで利用されている。

    Tucker分解は、多次元データの分解手法であり、テンソル分解の一種となる。Tucker分解は、テンソルを複数の低ランクなテンソルの積として近似している。

    モード型（Mode-based）テンソル分解は、多次元データであるテンソルを低ランクのテンソルの積に分解する手法で、これは特にテンソルを分解してデータセット内の潜在的な構造やパターンを抽出するために使用されるものとなる。テンソル分解は、行列分解（例: SVD）を多次元拡張したものと見なすこともできる。

    PARAFAC2（Parallel Factor 2）分解は、テンソルの分解手法の一つであり、”モード型（Mode-based）テンソル分解の概要とアルゴリズム及び実装例“でも述べているモード型テンソル分解の一種となる。通常のPARAFAC（カノニカル分解）は、3次元以上のテンソルを低ランクなテンソルの和として近似するが、PARAFAC2はより一般的な形状のテンソルに対しても適用可能となる。

    Tensor Power Methodは、テンソルの特異値分解や固有値問題を解くための反復法の一種であり、テンソルの特異値や固有値の近似解を求めるのに有用なものとなる。以下にTensor Power Methodの基本的な概要について述べる。

    Alternating Least Squares (ALS)は、最小二乗法（Least Squares）を用いて最適化問題を解く手法の一つで、特に行列分解やテンソル分解の文脈でよく使われるものとなる。以下にALSの概要について述べる。

    Alternating Least Squares for Tensor Factorization (ALS-TF)は、テンソルの因子分解（tensor factorization）を行うための手法の一つであり、テンソルは多次元のデータ構造であり、ALS-TFはテンソルを複数の部分テンソル（factors）に分解することを目的としている。ALS-TFは特にレコメンデーションシステムやテンソルデータの解析などで応用される手法となる。

    Alternating Least Squares for Non-Negative Matrix Factorization (ALS-NMF)は、非負行列因子分解（Non-Negative Matrix Factorization, NMF）の一種であり、主に非負のデータに対して因子分解を行う手法となる。NMFは非負性制約を持つ行列 \( V \) を非負な行列 \( W \) と \( H \) の積に分解する手法で、ALS-NMFはこれを非負制約を保ったまま最適化している。

    Block Term Decomposition (BTD) は、テンソルデータ解析のための手法の1つとなる。テンソルデータは、2次元の行列に類似した多次元のデータ構造であり、BTDはそのテンソルデータを低ランクなブロック構造に分解することを目的としている。

    テンソル分解のランダムアルゴリズムは、大きなテンソルをより小さなテンソルの積に分解する方法で、テンソルは多次元配列であり、テンソル分解はそのテンソルを複数のランク1テンソル（またはランクがより小さいテンソル）の積に分解することを目指すものとなる。ランダムアルゴリズムは、テンソルをランダムな行列で近似することから始まり、この近似行列は、テンソルの低ランク近似を見つけるための初期推定値として使用される

    Higher Order Singular Value Decomposition（HOSVD）は、テンソル（3次元以上の多次元配列）の次元削減およびデータ圧縮のための手法で、通常のSVDが行列に対して適用されるのに対し、HOSVDはテンソルに対して適用されるものとなる。HOSVDは、テンソルを多数の小さなテンソルに分解し、各テンソルの情報を圧縮することで、元のテンソルの構造をキャプチャしている。具体的には、HOSVDはテンソルを特異値分解（SVD）を用いて多次元に分解し、各モード（次元）において、特異値分解によって得られる左特異行列と右特異行列を利用してテンソルを分解する。

    Tensor Train Decomposition（TT分解）は、多次元テンソルの次元削減やデータ圧縮の手法の一つであり、テンソルを複数の低ランクテンソルの積として近似することで、効率的なデータ表現を提供するアプローチとなる。TT分解は、テンソルを多次元の列ベクトルに変換し、その列ベクトルを特定の積（テンソル列）に再構成することで実現され、テンソルの各要素をテンソル列の内積として表現することができる。

    High-Order Orthogonal Iteration（HOOI）は、テンソルの高次元の特異値分解（SVD）に基づく手法の一つとなる。HOOIはテンソルの各モードにおいて特異値分解を反復的に適用し、テンソルの低ランク近似を求めている。

    Tensor-Train Matrix（TTM）は、テンソルのユニークな表現形式であり、行列のテンソル化を通じて行列のテンソル形式の表現を可能にするアプローチとなる。TTMは、テンソルの行列化という手法を用いて、高次元の行列を低ランクなテンソルの積として近似することができる。TTMは、Tensor Train（TT）分解を行列に適用したものであり、TT分解は、テンソルを複数の低ランクテンソルの積として近似する手法となる。TTMは、このTT分解を行列に適用することで、高次元の行列の効率的な表現を提供している。

    情報幾何学は最初に統計学に表れた。確率分布の空間を幾何学的に考察することで、従来の数理統計学に新しい見方と知見を加えた。例えば、問題とする確率分布の空間の曲がり方(曲率)が、パラメータ推定器の性能に関係づけられる。これは幾何学ならではという美しい結果となる。

    これらの結果は、確率分布の空間が持ついくつかの双対的な構造から導かれる。相違というとこ馬の使い方は多様で、ここで”双対的な構造”というのは、あるものを2回裏返すと元に戻ったり、2つのものが協調して何かを支え合っている構造イメージとなる。このような双対性を備える”情報幾何学的な構造”は、確率分布の空間にだけ現れる特殊なものではない。例えば最適化に現れる”双対性”、あるいは熱力学に現れる”自由エネルギー”と”エントロピー”などがその例とみなせる。このように情報幾何学は統計科学の枠を超えて広がり、さまざまな分野にその応用が見出される。

    今回はガウシアングラフィカルモデルという因果推論における基本モデルを導入し、そこに顕れる正定値対称行列の情報幾何について述べる。

    情報幾何が活躍する分野の一つとしては統計学がよく知られているが、今回は情報幾何が別の分野に現れる典型例として、半正定値計画問題とその情報幾何について述べる。特に、半正定値計画問題の主要解法である内点法の反復回数が、情報幾何的な曲率を積分した量として表現できることを中心に述べる。

    確率統計

    確率とは、ある事象が起こる可能性の程度を数値化したものであり、具体的には、ある事象が発生する確率は、その事象が起こる場合の数（好ましい結果）を、全体の場合の数（可能な全ての結果）で割ることによって計算される。この確率と密接な関係を持つ不確実性は、似たようなものとして認織されることが多いが、厳密には確率と異なる概念を持つ。またランダム性と確率もは密接に関連している。

    不確実性(Uncertainty)とは、将来の出来事や結果が予測しにくい、不明確な状態や情報のことを指し、我々が持つ知識や情報の限界によって引き起こされるものであり、完全な情報や確信を持つことが難しい状態を表す。不確実性を取り扱うために、確率論や統計学などの数学的手法やモデルが使われる。これらの手法は、不確実性を数値化したり、リスクを最小化したりするために重要なツールとなる。

    ここではこの不確実性を扱う為の確率理論と様々な実装について述べている。

    クロスエントロピー（Cross Entropy）は、情報理論や機械学習などの分野でよく使われる概念です、特に、分類問題において、モデルの予測と実際のデータとの間の差異を定量化するために使われるものとなる。クロスエントロピーは、情報理論に由来しており、情報理論で、情報の量を測る尺度として用いる「エントロピー」という概念を利用したものとなる。エントロピーは情報の不確かさや予測の難しさを表す指標で、確率分布が均等な場合に最大となり、確率が特定の値に集中するほど小さくなる。

    カルバック・ライブラー変分推定（Kullback-Leibler Variational Estimation）は、確率分布間の差異を評価し、それを最小化することで、データの確率モデルを近似的に推定する手法の一つであり、この手法は、ベイズ統計学や機械学習、情報理論の文脈で広く使用されている。主な用途は以下のようになる。

    ディリクレ分布（Dirichlet distribution）は、多変量確率分布の一種であり、主に確率変数の確率分布をモデリングするために使用されるものとなる。ディリクレ分布は、K個の非負実数からなるベクトル（多次元ベクトル）を生成する確率分布で、これをディリクレ分布と呼ぶ。

    ソフトマックス関数（Softmax function）は、実数のベクトルを確率分布に変換するために使用される関数であり、通常、機械学習の分類問題において、モデルの出力を確率として解釈するために使われるものとなる。ソフトマックス関数は、入力された要素の指数関数を計算し、それを正規化して確率分布を得ることができる。

    クラメール・ラウ・ローバー下界は、統計学において、ある推定量がどれだけ不確かさを持つかを測定するための下界を提供するもので、これは、”フィッシャー情報行列の概要と関連アルゴリズム及び実装例について“で述べているフィッシャー情報量行列（Fisher Information Matrix）を使用して推定量の分散の下限を与えるものとなる。以下に、CRLBの導出手順について述べる。

    モンテカルロドロップアウト（Monte Carlo Dropout）は、ドロップアウト（Dropout）を用いたニューラルネットワークの推論時における不確かさの推定手法となる。通常、ドロップアウトは訓練時にランダムにノードを無効にすることでネットワークの汎化を促進する手法だが、モンテカルロドロップアウトではこれを推論時に利用する。

    NUTS（No-U-Turn Sampler）は、”確率積分計算の為のMCMC法:メトロポリス法以外のアルゴリズム(HMC法)“でも述べているハミルトニアンモンテカルロ法（HMC）の一種であり、確率分布からのサンプリングを行うための効率的なアルゴリズムとなる。HMCは、物理学のハミルトニアン力学をベースにしており、マルコフ連鎖モンテカルロ法の一種で、NUTSは、HMCの手法を改良して、自動的に適切なステップサイズやサンプリング方向を選択することで、効率的なサンプリングを実現している。

    統計的な仮説検定(Statistical Hypothesis Testing)は、統計学の中で、ある仮説が真であるかどうかを確率的に評価する手法であり、統計手法の評価に用いられるだけではなく、機械学習においても、予測の信頼性評価やモデルの選択と評価に用いられたり、”説明できる機械学習“でも述べているような特徴選択の評価に用いられたり、”異常検知と変化検知技術“で述べている様な正常と異常の判別性能の検証などで用いられるなど、基本的な技術となっている。ここでは、この統計的な仮説検定に関して、様々な手法とそれらの具体的な実装例について述べている。

    確率と統計は、数学の分野の1つであり、不確実な事象の確率や、データの解析やモデル化などの分野を扱う理論となる。ここでは、データ解析や機械学習を行う際に不可欠な確率・統計の根本に流れる思想と、それらを実践するための各種言語でのライブラリおよび参考情報について述べる。

    一般的な統計解析では、標本を要約統計量という観点からどのように記述するか、また、そこからどのように母集団のパラメータを推測できるかについて考える。このような分析は、一般的な母集団と特に標本について何かを教えてくれるが、個々の要素について非常に正確な記述をすることはできない。これは、データを平均と標準偏差という2つの統計量に還元することで、多くの情報が失われてしまうからである。

    さらに踏み込んで、2つ以上の変数間の関係を確立したり、ある変数から別の変数を予測したりしたいこともよくある。そこでは、相関と回帰の研究を行うことになる。相関は、2つ以上の変数間の関係の強さと方向性に関係する。回帰は、この関係の性質を決定し、そこから予測を行うことができる。

    線形回帰は、初歩的な機械学習アルゴリズムとなる。データのサンプルが与えられると、モデルは線形方程式を学習し、新しい未知のデータについて予測を行うことができるようになる。そのために、Clojureの統計ライブラリであるIncanterを用いて、オリンピック選手の身長と体重の関係を、Incanter を使ってどのように行列を操作できるかについて述べる。

    確率的生成モデルの近似モデルとして利用される各種確率モデル概要(スチューデントt分布、ウィシャート分布、ガウス分布、ガンマ分布、逆ガンマ分布、ディリクレ分布、ベータ分布、カテゴリ分布、ポアソン分布、ベルヌーイ分布)

    高度に発展した経済数学の本質を、70点に及ぶ図・グラフを中心に、直観的に理解していきます。本書では、「確率・統計編」として、正規分布曲線ができるメカニズムを学び、確率統計論で最も重要な原理とされる、中心極限定理の不思議に触れ、教養としてのブラック・ショールズ理論を身につけていきます

    確率をめぐる数学的考察は、賭け事に関してパスカルとフェルマが交わした往復書簡に始まると言われる。組み合わせの概念に基づく古典的確率論は、20世紀になるとボレルやコルモゴロフの手により、集合論に基礎づけられた「現代数学」へと大きく飛躍した。本書はその確率論の古典と現代とを橋渡しする目的で書かれており、トランプやサイコロ投げといった初歩的な具体例を豊富に示しつつ、抽象的な数式の意味を読者にわかりやすく説く。高校数学で習う確率を、より深く学び直すことのできる入門書。

    パスカル、フェルマーからフォン・ノイマン、ケインズまで。「偶然」を測ることで不確実な未来を予測することに挑んだ確率・統計学のパイオニアたちの発想を、彼らと著者との仮想対話形式でわかりやすく紹介する。

    「確率・統計」の問題はとても身近でわかりやすくおもしろい反面、解答を考えるとなると、いくつも正しそうな答えが出てきて、なかなか難しかったりする。実際に、現代の中学生・高校生が正しく答えられる問題でも、当時の大数学者が間違えてしまった例があるほどである。一方で、大数学者たちによる、ユニークな問題に対しての数理的センスに満ちたエレガントな解法も残っている。そうした一見不思議な問題や巧みな思考を要する事柄、興味深い歴史的なエピソードを、アクチュアリーで数学パズル・デザイナーでもある著者のユニークな視点で、たくさん紹介されている。

    コーシー分布は，期待値が定義できず，正規分布より減衰が遅い，裾の厚い分布（裾の重い分布）として有名なものとなる。確率密度関数は \(p(x) = \frac{1}{\pi(x^2+1)}\)となる。これについて，その定義と性質の証明を詳しく述べる。

    データの幾何学的アプローチ

    情報を幾何的に扱うアフーローチには様々なものがある。一つが柔らかい幾何と呼ばれる情報の位相を扱うものでトポジカルデータアナリシス等がある。もう一つが固い情報幾何とよばれる確率分布を要素とする統計モデルに関する微分幾何学的研究を扱うもので、リーマン幾何学、シンプレクティック幾何学、複素幾何学等のアプローチがある。

    情報幾何学の応用は、EMアルゴリズムのような統計的推論のみならず、統計物理学や学習理論、情報熱力学にまで及んでおり、さらに、量子情報幾何やワッサースタイン幾何、ルピナー幾何などの発展も期待されている。また、人工知能の分野では、ニューラルネットや神経発火パターンの情報の解釈に応用されたり、超弦理論と量子情報を結ぶ学術領域では、情報幾何学が応用され始めているものとなる。

    本ブログでは 以下のページにて、このデータの幾何学的アプローチについて述べる。

    最適化の数学

    本書は具体的に理解できるよう、図形的説明を多用しながら分かりやすく詳説する。問題と解法の直感的理解を促し、具体的な問題を解けるようになることを目標とする。本文を簡潔に述べるように努めて、追加説明や他に言及したいことなどを側注とした。各章末には練習問題を配し巻末に全ての問題の解答を付けている。はじめて最適化問題を学ぶ初学者には、数学的復習から入っていくので、大変理解しやすく学べる好書である。

    ヘッセ行列（Hessian matrix）は、多変数関数の2階偏導関数を行列として表現したものであり、一変数関数の2階導関数が2階導関数として考えられるように、多変数関数の各変数に関する2階偏導関数がヘッセ行列に格納されたものとなる。ヘッセ行列は、非線形最適化や数値解析などの多くの数学的および科学的アプリケーションで重要な役割を果たしている。

    交差エントロピー損失（Cross-Entropy Loss）は、機械学習や深層学習において、分類タスクのモデルの性能を評価し、最適化するために使用される一般的な損失関数の一つであり、特に、二値分類（2つのクラスのうちの1つを選択する）や多クラス分類（3つ以上のクラスから1つを選択する）の問題で広く用いられている手法となる。

    Gelman-Rubin統計量（またはGelman-Rubin診断、Gelman-Rubin統計テスト）は、マルコフ連鎖モンテカルロ（MCMC）サンプリング法の収束診断のための統計的手法で、特に、MCMCサンプリングが複数のチェーンで行われる場合に、各チェーンが同じ分布からサンプリングされているかどうかを評価するために使用されるものとなる。この手法は、ベイズ統計学の文脈でよく利用されている。具体的には、Gelman-Rubin統計量は複数のMCMCチェーンから得られるサンプルの変動と各チェーン内の変動の比率を評価し、統計的な収束が達成されている場合、この比率は1に近くなる。

    Kronecker-factored Approximate Curvature（K-FAC）は、機械学習の最適化問題において、”ヘッセ行列と正則性について“で述べているヘッセ行列（Hessian matrix）の逆行列を効率的に近似する手法となる。この手法は、特にニューラルネットワークの訓練において、効率的でスケーラブルな最適化手法として注目されている。K-FACは、ニューラルネットワークの最適化問題において、”フィッシャー情報行列の概要と関連アルゴリズム及び実装例について“で述べているフィッシャー情報行列（Fisher information matrix）やヘッセ行列の逆行列を効率的に近似するために開発されたものとなる。これにより、ニューラルネットワークの大規模性においても高い効率で訓練を行うことが可能となる。

    フィッシャー情報行列（Fisher information matrix）は、統計学と情報理論の分野で使用される概念であり、確率分布に関する情報を提供する行列となる。この行列は、統計モデルのパラメータに関する情報や精度を評価するために使用されており、具体的には、確率密度関数（または確率質量関数）をパラメータについて微分したものの期待値に関する情報を含んでいる。

    フィッシャー計算法（Fisher’s Linear Discriminant）は、2つのクラスを区別するための線形な識別モデルを構築するための手法で、クラス間の分散を最大化し、クラス内の分散を最小化するような射影を見つけることを目指すものとなる。具体的には、以下の手順でモデルを構築する。

    Block K-FAC（Block Kronecker-factored Approximate Curvature）は、深層学習モデルの最適化において使用される一種のカーブチャート（curvature information）の近似手法となる。

    Procrustes分析（Procrustes analysis）は、二つのデータセットの対応する点群間の最適な回転、スケーリング、並進変換を見つけるための手法となる。この手法は主に、2つのデータセットが同じ対象や形状を表しているが、回転、スケーリング、並進により合わせる必要がある場合に使用される。

    逐次二次計画法（Sequential Quadratic Programming, SQP法）は、非線形制約を持つ非線形最適化問題を解くための反復型の最適化アルゴリズムであり、SQP法は制約つき最適化問題の数値解法として広く使用され、特に工学、経済学、運輸計画、機械学習、制御システム設計など多くの領域で応用されている手法となる。

    整数線形プログラミング（Integer Linear Programming, ILP）は、数学的な最適化問題を解くための手法の一つであり、特に制約条件の下で整数解を求める場合に利用される手法となる。ILPは線形プログラミング（Linear Programming, LP）の一種で、目的関数および制約条件が線形であり、かつ変数が整数値を取るという条件が付加されている。

    ニュートン法（Newton’s method）は、非線形方程式や関数の数値的な解を求めるための反復的な最適化アルゴリズムの一つであり、主に方程式の根を求めるために使用され、連続的な関数の極小値や極大値も見つけるのに適している手法となる。ニュートン法は高速な収束性を持つため、多くの機械学習アルゴリズムで利用されている。

    修正されたニュートン法（Modified Newton Method）は、通常のニュートン-ラフソン法を改良して、いくつかの課題に対処するために開発されたアルゴリズムで、修正されたニュートン法の主な目的は、収束性や数値的な安定性を向上させることとなる。

    • 準ニュートン法について

    準ニュートン法（Quasi-Newton Method）は、非線形最適化問題を解決するための反復法の一つとなる。このアルゴリズムは、ニュートン法の一般化であり、高次導関数（ヘッセ行列）を計算せずに目的関数の最小値を探索している。準ニュートン法は、ヘッセ行列の近似を使用し、ヘッセ行列を正確に計算する必要がないため、実装が比較的容易にできる。

    • ニュートン-ラフソン法（Newton-Raphson Method）について

    ニュートン-ラフソン法（Newton-Raphson Method）は、非線形方程式の数値解法や関数の根を求めるための反復法の一つであり、このアルゴリズムは、初期の推定解から始めて、連続関数のゼロ点を近似的に求めるために使用されるものとなる。ニュートン-ラフソン法は、関数が充分に滑らかである場合に高速に収束し、特に一次導関数（勾配）や二次導関数（ヘッセ行列）が計算できる場合に効果的な手法となる。

    • 勾配消失問題（vanishing gradient problem）とその対応について

    勾配消失問題（Vanishing Gradient Problem）は、主に深層ニューラルネットワークにおいて発生する問題の一つであり、ネットワークが非常に深い場合や特定のアーキテクチャを使用する場合によく発生する問題となる。

    • ヒルベルトワンド変換の概要とアルゴリズム及び実装例について

    ヒルベルト変換（Hilbert transform）は、信号処理や数学の分野で広く使用される操作であり、信号のアナリティシティ（解析的性質）を導入するために利用されている手法となる。ヒルベルト変換は、実数値の信号を複素数値の信号に変換し、ヒルベルト変換によって得られた複素数値の信号を用いることで、元の実数値の信号から位相情報や振幅情報を取り出すことが可能になる。

    • 残差結合について

    残差結合（Residual Connection）は、深層学習ネットワークにおいて層を跨いで情報を直接伝達する手法の一つであり、この手法は、特に深いネットワークを訓練する際に発生する勾配消失や勾配爆発の問題に対処するために導入されたものとなる。残差結合は、2015年にMicrosoft ResearchのKaiming Heらによって提案され、その後大きな成功を収めている。

    最尤推定(Maximum Likelihood Estimation, MLE)は、統計学において使用される推定方法の一つとなる。この方法は、与えられたデータや観測値に基づいて、モデルのパラメータを推定するための手法であり、最尤推定では、パラメータの値を変えたときにデータが観測される確率を最大化しようとするものとなる。ここでは、この最尤推定法の概要とアルゴリズム、pythonによる実装例について述べている。

    双対問題(Dual problem)は、数理最適化理論における重要な概念となる。最適化問題において、与えられた制約条件の下で目的関数を最小化または最大化する問題を考える場合、それと関連する双対問題が存在する。

    双対問題は、元の最適化問題と同様の性質を持ちながら、制約条件と目的関数の役割を交換したものとなる。具体的には、元の問題が目的関数を最小化する問題であれば、双対問題は目的関数を最大化する問題となる。

    ここではこの双対問題に関して、ラグランジュ乗数法をベースに述べている。

    勾配法は機械学習や最適化アルゴリズムで広く使用される手法の一つであり、そのの主な目的は、関数の最小値(または最大値)を見つけるために、反復的にパラメータを更新していくことになる。機械学習では、通常、コスト関数(損失関数とも呼ばれる)を最小化することが目標で、例えば、回帰や分類問題において、予測値と実際の値の誤差を表すコスト関数が定義され、このコスト関数が最小となるパラメータの値を見つけるのに役立つ。

    ここでは、この勾配法に関して様々なアルゴリズムと各種言語による実装例について述べている。

    • 確率的勾配降下法(Stochastic Gradient Descent, SGD)の概要とアルゴリズム及び実装例について

    確率的勾配降下法（Stochastic Gradient Descent, SGD）は、機械学習や深層学習などで広く使用される最適化アルゴリズムの一つで、SGDは、訓練データセット全体ではなく、ランダムに選ばれたサンプル（ミニバッチ）を使用して勾配を計算し、モデルのパラメータを更新するものとなる。以下に、SGDの基本的な概念と特徴について述べる。

    • 自然勾配法の概要とアルゴリズム及び実装例について

    自然勾配法（Natural Gradient Descent）は、”確率的勾配降下法(Stochastic Gradient Descent, SGD)の概要とアルゴリズム及び実装例について“で述べている確率的勾配降下法（Stochastic Gradient Descent, SGD）の一種であり、モデルのパラメータを効率的に更新するための最適化手法であり、モデルのパラメータ空間における幾何学的構造を考慮し、勾配情報を適切にスケーリングして利用するアプローチとなる。

    ガウス・エルミート積分(Gaussian-Hermite Integration)は、数値積分の手法の1つで、特に確率密度関数がガウス分布(正規分布)であるような確率論的な問題や、量子力学の波動関数などの積分によく使用され、この積分は、ガウス・エルミート多項式を用いて積分を近似する方法となる。ここでは、このガウス・エルミート積分の概要とアルゴリズム及び実装について述べている。

    • オルナシュテイン-ウーレンベック過程（Ornstein-Uhlenbeck process）の概要とアルゴリズム及び実装例について

    オルナシュテイン-ウーレンベック過程（Ornstein-Uhlenbeck process）は、確率過程の一種であり、特に連続時間の確率変数の動きをモデル化するために使用されるものとなる。この過程は、物理学、金融、統計学、および機械学習などの様々な分野で広く応用されている。オルナシュテイン-ウーレンベック過程は、ブラウン運動（またはウィーナープロセス）に回復力を導入することで得られる。通常、ブラウン運動はランダムな変動を表現しますが、オルナシュテイン-ウーレンベック過程ではそのランダムな変動に対して、ある平均に向かって戻る回復力が加えられている。

    モデル予測制御（Model Predictive Control, MPC）は、制御理論の一手法であり、制御対象のモデルを使用して将来の状態や出力を予測し、最適な制御入力を計算するためのオンライン最適化手法となる。MPCはさまざまな産業および制御アプリケーションで使用される。

    • Broyden–Fletcher–Goldfarb–Shanno（BFGS）法について

    Broyden–Fletcher–Goldfarb–Shanno (BFGS) 法は、非線形最適化問題を解決するための数値最適化アルゴリズムの一種であり、このアルゴリズムは、関数の最小値または最大値を見つけるために使用されるものとなる。BFGS法は準ニュートン法として知られ、多くの実世界の最適化問題に対して効果的な解法を提供している。

    • Limited-memory Broyden–Fletcher–Goldfarb–Shanno（L-BFGS）法について

    Limited-memory Broyden–Fletcher–Goldfarb–Shanno（L-BFGS）法は、”Broyden–Fletcher–Goldfarb–Shanno（BFGS）法について“で述べたBFGS法の変種で、特に大規模な非線形最適化問題に適したアルゴリズムとなる。L-BFGS法は、BFGS法と同様に準ニュートン法の一形態で、ヘッセ行列の逆行列の近似を使用して目的関数を最小化している。しかし、L-BFGS法はメモリ消費を低減するために設計されており、特に高次元の問題に向いている。

    • 共役勾配法について

    共役勾配法（Conjugate Gradient Method）は、連立線形方程式の解法や非線形最適化問題の解法に使用される数値計算アルゴリズムであり、共役勾配法は特に大規模な連立線形方程式の解法に効果的で、また非線形最適化問題の準ニュートン法としても応用される手法となる。

    • トラストリージョン法について

    トラストリージョン法（Trust Region Method）は、非線形最適化問題を解決するための最適化アルゴリズムの一つであり、このアルゴリズムは、目的関数の最小化（または最大化）において、制約条件の下での解を見つけるために使用されるものとなる。トラストリージョン法は、制約付き最適化問題や非線形最小二乗法の問題に適しており、特に大域的な最適解を見つける場合に有用となる。

    • Stochastic Gradient Langevin Dynamics（SGLD）の概要とアルゴリズム及び実装例について

    Stochastic Gradient Langevin Dynamics（SGLD）は、確率的勾配法とモンテカルロ法を組み合わせた、確率的な最適化アルゴリズムであり、SGLDはベイズ的な機械学習とベイジアン統計モデリングにおいて広く使用され、事後分布を推定するために利用されるものとなる。

    • Stochastic Gradient Hamiltonian Monte Carlo（SGHMC）の概要とアルゴリズム及び実装例について

    Stochastic Gradient Hamiltonian Monte Carlo（SGHMC）は、ハミルトニアンモンテカルロ法（Hamiltonian Monte Carlo、HMC）の一種であり、確率的勾配法を組み合わせた確率的なサンプリング手法であり、大規模なデータセットや高次元のパラメータ空間でのベイズ統計推論に適したものとなる。

    ε-グリーディ法（ε-greedy）は、強化学習などの探索と活用（exploitationとexploration）のトレードオフを取り扱うためのシンプルで効果的な戦略であり、このアルゴリズムは、最適な行動を選択する確率と、ランダムな行動を選択する確率を調整する方法となる。

    マルコフ決定過程（MDP、Markov Decision Process）は、強化学習における数学的なフレームワークであり、エージェントが状態と行動に関連付けられた報酬を受け取る環境内での意思決定問題をモデル化するために使用されるものとなる。MDPは確率論的な要素とマルコフ性質を持つプロセスを表現している。

    • DFP法（Davidon-Fletcher-Powell法）の概要とアルゴリズム及びその実装例について

    DFP法（Davidon-Fletcher-Powell法）は、数値最適化の手法の一つで、特に非線形最適化問題に適した手法となる。この手法は、二次近似のアプローチを用いて最適な探索方向を見つけることを特徴としており、DFP法は準ニュートン法と呼ばれるカテゴリーに属して、ヘッセ行列の逆行列の近似を更新しながら最適な解を求めるものとなる。

    フランク・ウォルフ法(Frank-Wolfe method)は、1956年にマルグリート・フランクとフィリップ・ウォルフによって提案された、非線形最適化問題を解くための数値計算アルゴリズムとなる。フランク・ウォルフ法は、線形計画問題にも関連しており、連続最適化問題への適用も可能な手法となる。ただし、収束速度は一般的な最適化アルゴリズムよりも遅い場合があり、そのため、高次元の問題に対しては他の効率的なアルゴリズムが好まれることがある。フランク・ウォルフ法は、大規模な最適化問題や制約付き最適化問題において有用であり、機械学習や信号処理、画像処理などの分野で広く利用されている。また、フランク・ウォルフ法は、他の最適化手法と組み合わせて使用することも多くある。

    確率的最適化

    インターネット、センサ技術およびコンピューターの発達により、さまざまな種類のデータが大量に手に入る現在、大量のデータから意味ある情報を取り出すための機械学習技術が注目され、大きく発展している。多種多様なデータが取得可能になったことで様々な問題が解けるようになった一方で、データサイズの肥大化による計算量増大の問題が生じている。

    機械学習技術をフル活用するには大量データの学習をなるべく効率よく行う必要がある。確率的最適化は大量データの大規模学習問題を解くための強力な手法であり、現在の機械学習における基本的構成要素となっている。ここでは機械学習における確率的最適化の諸手法について述べる。

    本ブログでは 以下のページにて、この確率的最適化について述べる。

      統計的学習理論

      機械学習アルゴリズムの統計的性質に関する理論を用いることで、機械学習アルゴリズムの性能や、データセットのサイズや複雑度による影響が理論的に解明され、モデルの選択や学習プロセスの改善を行うことができる。それらの理論には、汎化誤差の理論、アルゴリズムの性能に対する理論、確率的勾配降下法の理論等がある。

      本ブログでは 以下のページにて、この統計的学習理論の詳細について述べる。

      機械学習のための連続最適化

        高度に情報化した現代社会において、データから有用な知見を得ることは、科学的に重要な発見を行い、産業・経済社会を促進する上で、極めて重要な課題となっている。今日、データは大規模化、高次元化、多様化の一途を辿っている。このようなデータを適切に扱うための基盤技術として、近年、機械学習と呼ばれる分野が勃興し、急速に発展している。統計学やデータサイエンスなど、データを扱う従来の学問分野では、主に統計的推論を適切に行うためのモデリング技術が発展してきた。

        一方機械学習では、効率的な計算手法の開発により重点が置かれている点に特徴があるといえる。ビッグデータ時代を背景にして、機械学習の分野で開発された様々な手法が社会に大きなインパクトをあたえつつある。

        本ブログでは 以下のページにて、この機械学習アルゴリズムを構成する上で欠かすことのできない計算手法である連続最適化の方法について述べる。

        アルゴリズムと数学

        ここでテーマはプログラミングだが、ほとんどのプログラミング本と異なり、アルゴリズムやコードに加えて、数学証明や、古代から現代までの数学上の発見に関する歴史的経緯が含まれている。

        もう少し具体的に言うと、テーマはジェネリックプログラミング(generic programming)となる。ジェネリックプログラミングは1980年台に登場したプログラミングの手法であり、1990年代にC++のTL(Standard Template Library)が開発された。ここで、ジェネリックプログラミングとは、アルゴリズムとデータ構造を設計することに焦点を合わせ、効率を低下させることなく、それらを最も一般的な環境で動作させるためのプログラミング手法となる。

        コメント

        1. 人工知能や機械学習等のプログラミングの基礎となるアルゴリズム | Deus Ex Machina より:
          2021年7月21日 6:58 AM

          […] アルゴリズムは関数であり、また一定の順序に連結された操作の連鎖である。更に、一定の順序に連結された操作の連鎖とはプログラミングそのものでもあり、数学の世界とプログラミングの世界をつなぐものでもある。アルゴリズムの世界に現れるデータ構造や解析手法は、様々な言語の使いこなしや、機械学習/人工知能技術のための基礎となる。 […]

          返信
        2. 化学物質や自然言語の学習で活用するグラフニューラルネットワーク | Deus Ex Machina より:
          2021年8月11日 4:37 AM

          […] また、このグラフを数学的に表すと、グラフの集合G={V,E}に対して、V={1,2,3,4,5,6}、E={(1,2),(1,5),(2,3),(2,5),(3,4),(4,5),(4,6)}のように表すことができる。ここではグラフと無向グラフとして(1,2)と(2,1)は同等と見做し、省略している。有向グラフの場合は(1,2)と(2,1)はそれぞれ区別される。また、ノードの近傍を表す集合N(v)として、N(1)={2,5}、N(2)={1,3,5}、N(5)={1,2,4}のように表すことができる。 […]

          返信
        3. 確率と論理の統合、知識ベースによるベイジアンネットの自動生成 | Deus Ex Machina より:
          2021年8月15日 7:25 AM

          […] これを数学的に表現すると、有限個の確率変数X1,..XNをノードとする有効グラフと各ノードに付随する条件付き確率表(conditional probability table:CPT)からなり、X1,..,XNの同時分布 P(X1=x1,..XN=xn) を以下のようなグラフ構造で表す。 […]

          返信
        4. アルゴリズムを抽象化したジェネリックプログラミングについて | Deus Ex Machina より:
          2021年11月3日 7:34 AM

          […] この本のテーマはプログラミングだが、ほとんどのプログラミング本と異なり、アルゴリズムやコードに加えて、数学証明や、古代から現代までの数学上の発見に関する歴史的経緯が含まれている。 […]

          返信
        5. 物理学や計算機科学、生物学、言語学、美学等の領域への圏論の適用 | Deus Ex Machina より:
          2021年12月18日 4:17 AM

          […] 人工知能タスクで用いられる現代数学の重要な理論の一つである圏論にについて幅広く述べられた図書「現代思想2020年7月号　 特集＝圏論の世界 ――現代数学の最前線」より。読書メモ。 […]

          返信
        6. 機械学習プロフェッショナルシリーズ「機械学習のための連続最適化」読書メモ | Deus Ex Machina より:
          2022年1月22日 5:25 AM

          […] 数学サマリー　機械学習技術サマリー　 […]

          返信
        7. 機械学習の最適化アルゴリズムの根本にある数学的理論の解説 | Deus Ex Machina より:
          2022年1月23日 8:19 AM

          […] 数学サマリー　機械学習技術サマリー　 […]

          返信
        8. 深層学習を行う基盤としてのNumpy等を用いたテンソル操作と数学 | Deus Ex Machina より:
          2022年1月29日 8:35 PM

          […] 人工知能技術サマリー 　デジダルトランスフォーメーションサマリー　深層学習技術サマリー　機械学習技術サマリー   数学サマリー […]

          返信
        9. ニューラルネットワーク実装のための、確率勾配降下法と誤差逆伝搬法 | Deus Ex Machina より:
          2022年1月29日 8:46 PM

          […] 人工知能技術サマリー 　デジダルトランスフォーメーションサマリー　深層学習技術サマリー　機械学習技術サマリー   数学サマリー […]

          返信
        10. 人工知能、機械学習技術の基礎となるコンピューターの数学の概要 | Deus Ex Machina より:
          2022年2月2日 7:06 PM

          […] 機械学習技術サマリー　人工知能技術サマリー　プログラミング技術サマリー 　デジタルトランスフォーメーションサマリー　深層学習サマリー　自然言語処理サマリー    ITシステムサマリー   機械学習における数学サマリー […]

          返信
        11. 人工知能、機械学習のモデルのベースとなる因果と相関に対する考察 | Deus Ex Machina より:
          2022年2月2日 8:30 PM

          […] 人工知能や機械学習のプログラミングやアルゴリズムの基礎となる数学 | Deus Ex Machina より: 2021年12月18日 4:13 AM […]

          返信
        12. 強化学習、オンライン予測、株式自動売買などに用いられる数理的な意思決定技術。 | Deus Ex Machina より:
          2022年2月2日 8:39 PM

          […] 人工知能や機械学習のプログラミングやアルゴリズムの基礎となる数学 | Deus Ex Machina より: 2022年1月22日 6:51 AM […]

          返信
        13. データベースのアルゴリズム基礎、データ構造と一貫性とバックアップ | Deus Ex Machina より:
          2022年2月2日 10:13 PM

          […] 数学サマリー　機械学習技術サマリー　人工知能技術サマリー　プログラミング技術サマリー 　アルゴリズムサマリー   データベース技術サマリー […]

          返信
        14. データベースのアルゴリズムの基礎、リレーショナルデータベース | Deus Ex Machina より:
          2022年2月2日 10:16 PM

          […] 数学サマリー　機械学習技術サマリー　人工知能技術サマリー　プログラミング技術サマリー 　アルゴリズムサマリー   データベース技術サマリー […]

          返信
        15. データ圧縮アルゴリズムの概要、ロスなしデータ圧縮アルゴリズム | Deus Ex Machina より:
          2022年2月2日 10:23 PM

          […] 数学サマリー　機械学習技術サマリー　人工知能技術サマリー　プログラミング技術サマリー 　アルゴリズムサマリー  […]

          返信
        16. 誤り訂正符号アルゴリズム概要、自分で誤りを訂正するアルゴリズム | Deus Ex Machina より:
          2022年2月3日 5:23 AM

          […] 数学サマリー　機械学習技術サマリー　人工知能技術サマリー　プログラミング技術サマリー 　アルゴリズムサマリー  […]

          返信
        17. セキュアな通信のためのデジタル署名アルゴリズムの基礎 | Deus Ex Machina より:
          2022年2月3日 5:26 AM

          […] 数学サマリー　機械学習技術サマリー　人工知能技術サマリー　プログラミング技術サマリー 　アルゴリズムサマリー  […]

          返信
        18. pythonを用いた機械学習における最適化技術の概要 | Deus Ex Machina より:
          2022年2月3日 7:00 AM

          […] 数学サマリー　機械学習技術サマリー　人工知能技術サマリー　プログラミング技術サマリー. pyhtonサマリー　アルゴリズムとデータ構造サマリー […]

          返信
        19. Pythonのプログラミングの基礎とアルゴリズムの実装参考図書 | Deus Ex Machina より:
          2022年2月3日 7:05 AM

          […] 数学サマリー　機械学習技術サマリー　人工知能技術サマリー　プログラミング技術サマリー. pyhtonサマリー　アルゴリズムとデータ構造サマリー […]

          返信
        20. 初心者の教育のための公開鍵暗号アルゴリズム | Deus Ex Machina より:
          2022年2月6日 6:05 AM

          […] 数学サマリー　機械学習技術サマリー　人工知能技術サマリー　プログラミング技術サマリー 　アルゴリズムサマリー    データ圧縮/セキュリティ技術サマリー […]

          返信
        21. データベース技術の概要、CRUDとACID、CAPについて | Deus Ex Machina より:
          2022年2月7日 9:22 PM

          […] 数学サマリー　機械学習技術サマリー　人工知能技術サマリー　プログラミング技術サマリー 　アルゴリズムサマリー   デジタルトランスフォーメーションサマリー　ICT技術サマリー […]

          返信
        22. RDFストアとSPARQLの概要、BlazeGrpahを使った動作 | Deus Ex Machina より:
          2022年2月7日 9:36 PM

          […] 数学サマリー　機械学習技術サマリー　人工知能技術サマリー　プログラミング技術サマリー 　アルゴリズムサマリー   データベース技術サマリー.  デジタルトランスフォーメーシ […]

          返信
        23. 高速キーバリューデータベースRedisのClojureでの活用 | Deus Ex Machina より:
          2022年2月7日 9:41 PM

          […] 数学サマリー　機械学習技術サマリー　人工知能技術サマリー　プログラミング技術サマリー 　アルゴリズムサマリー   データベース技術サマリー.  デジタルトランスフォーメーシ […]

          返信
        24. シームレスなデータ交換や変換を可能にするスキーママッチング概要 | Deus Ex Machina より:
          2022年2月7日 9:43 PM

          […] 数学サマリー　機械学習技術サマリー　人工知能技術サマリー　プログラミング技術サマリー 　アルゴリズムサマリー   データベース技術サマリー.  デジタルトランスフォーメーシ […]

          返信
        25. 統計的因果推論と探索について | Deus Ex Machina より:
          2022年2月15日 2:29 PM

          […] 機械学習技術サマリー　人工知能技術サマリー　数学サマリー  デジタルトランスフォーメーション技術サマリー […]

          返信
        26. データ圧縮や特徴量抽出に活用されるスパースモデル機械学習 | Deus Ex Machina より:
          2022年2月15日 3:54 PM

          […] 人工知能技術サマリー　　　　数学サマリー　  […]

          返信
        27. モデルの当てはまりから見たスパースモデリングとL1正則化 | Deus Ex Machina より:
          2022年2月15日 3:57 PM

          […] 人工知能技術サマリー　数学サマリー　  […]

          返信
        28. データの次元削減や機械学習モデルの説明に活用されるスパースモデル | Deus Ex Machina より:
          2022年2月15日 3:59 PM

          […] 人工知能技術サマリー　数学サマリー　  […]

          返信
        29. グラフデータスパースモデル構築の為のグラフィカルlasso | Deus Ex Machina より:
          2022年2月15日 4:03 PM

          […] 人工知能技術サマリー　数学サマリー　  […]

          返信
        30. スパースモデリングの時間変異情報(顧客の購買関心の変化)への適用 | Deus Ex Machina より:
          2022年2月15日 5:30 PM

          […] スパース性を用いた機械学習サマリー　機械学習技術サマリー　デジタルトランスフォーメーション技術サマリー  人工知能技術サマリー　数学サマリー　  説明できる機械学習サマリー […]

          返信
        31. スパースランドモデルを利用したノイズ除去等画像処理の応用 | Deus Ex Machina より:
          2022年2月15日 5:31 PM

          […]  画像情報処理技術サマリー　スパース性を用いた機械学習サマリー　機械学習技術サマリー　デジタルトランスフォーメーション技術サマリー  人工知能技術サマリー　数学サマリー　  説明できる機械学習サマリー […]

          返信
        32. 行列データの機械学習への適用の基礎、特異点分解、低ランク行列近似 | Deus Ex Machina より:
          2022年2月15日 5:54 PM

          […] 自然言語処理サマリー  スパース性を用いた機械学習サマリー　機械学習技術サマリー　デジタルトランスフォーメーション技術サマリー  人工知能技術サマリー　数学サマリー　  説明できる機械学習サマリー […]

          返信
        33. 行列データ解析の機械学習への適用、SVD、PMD、NMF | Deus Ex Machina より:
          2022年2月15日 5:57 PM

          […] 自然言語処理サマリー    スパース性を用いた機械学習サマリー　機械学習技術サマリー　デジタルトランスフォーメーション技術サマリー  人工知能技術サマリー　数学サマリー　  説明できる機械学習サマリー […]

          返信
        34. 行列分解(SVD、PMD、NMF)のRによる実線 | Deus Ex Machina より:
          2022年2月15日 5:59 PM

          […] R言語サマリー  スパース性を用いた機械学習サマリー　機械学習技術サマリー　デジタルトランスフォーメーション技術サマリー  人工知能技術サマリー　数学サマリー　  説明できる機械学習サマリー […]

          返信
        35. 機械学習における正則化等に活用されるスパースモデリングの概要 | Deus Ex Machina より:
          2022年2月15日 6:01 PM

          […] スパース性を用いた機械学習サマリー　機械学習技術サマリー　デジタルトランスフォーメーション技術サマリー  人工知能技術サマリー　数学サマリー　  説明できる機械学習サマリー […]

          返信
        36. スパース性を利用した効率的な機械学習概要、L1ノルム正則化 | Deus Ex Machina より:
          2022年2月15日 6:02 PM

          […] スパース性を用いた機械学習サマリー　機械学習技術サマリー　デジタルトランスフォーメーション技術サマリー  人工知能技術サマリー　数学サマリー　  説明できる機械学習サマリー […]

          返信
        37. スパース性を利用した効率的な機械学習の基礎とノルムと正則化 | Deus Ex Machina より:
          2022年2月15日 6:04 PM

          […] スパース性を用いた機械学習サマリー　機械学習技術サマリー　デジタルトランスフォーメーション技術サマリー  人工知能技術サマリー　数学サマリー　  説明できる機械学習サマリー […]

          返信
        38. データ圧縮や特徴量抽出に活用されるスパースモデル機械学習とノルム | Deus Ex Machina より:
          2022年2月15日 6:05 PM

          […] スパース性を用いた機械学習サマリー　機械学習技術サマリー　デジタルトランスフォーメーション技術サマリー  人工知能技術サマリー　数学サマリー　  説明できる機械学習サマリー […]

          返信
        39. 統計的因果推論基礎:反事実モデルでの因果の定義と構造方程式モデル | Deus Ex Machina より:
          2022年2月25日 4:37 AM

          […] 機械学習技術サマリー　人工知能技術サマリー　数学サマリー　統計的因果推論/探索サマリー    デジタルトランスフォーメーション技術サマリー […]

          返信
        40. 因果情報を統計的学習する手法の概要、各種因果関係の判定方法 | Deus Ex Machina より:
          2022年2月25日 4:42 AM

          […] 機械学習技術サマリー　人工知能技術サマリー　数学サマリー　統計的因果推論/探索サマリー    デジタルトランスフォーメーション技術サマリー […]

          返信
        41. 膨大なデータから原因と結果の関係を見いだす統計的因果探索 | Deus Ex Machina より:
          2022年2月26日 7:18 AM

          […] 機械学習技術サマリー　人工知能技術サマリー　数学サマリー　統計的因果推論/探索サマリー    デジタルトランスフォーメーション技術サマリー […]

          返信
        42. 代数的構造の視点から見た言葉の意味 | Deus Ex Machina より:
          2022年2月26日 6:29 PM

          […] 人工知能や機械学習のプログラミングやアルゴリズムの基礎となる数学 | Deus Ex Machina より: 2021年7月25日 1:22 PM […]

          返信
        43. 統計的因果推論の基礎としての構造的因果モデルとランダム化実験 | Deus Ex Machina より:
          2022年2月28日 4:50 AM

          […] 機械学習技術サマリー　人工知能技術サマリー　数学サマリー　統計的因果推論/探索サマリー    デジタルトランスフォーメーション技術サマリー […]

          返信
        44. 統計的因果探索の基礎の為の枠組みと基本問題への3つのアプローチ | Deus Ex Machina より:
          2022年3月1日 4:45 AM

          […] 機械学習技術サマリー　人工知能技術サマリー　数学サマリー　統計的因果推論/探索サマリー    デジタルトランスフォーメーション技術サマリー […]

          返信
        45. 統計的因果探索の基礎の為の3つのアプローチの識別可能性 | Deus Ex Machina より:
          2022年3月3日 4:43 AM

          […] 機械学習技術サマリー　人工知能技術サマリー　数学サマリー　統計的因果推論/探索サマリー    デジタルトランスフォーメーション技術サマリー […]

          返信
        46. 因果探索の為の因果的マルコフ条件、忠実性、PC、GESアルゴリズム | Deus Ex Machina より:
          2022年3月4日 4:44 AM

          […] 機械学習技術サマリー　人工知能技術サマリー　数学サマリー　統計的因果推論/探索サマリー    デジタルトランスフォーメーション技術サマリー […]

          返信
        47. LiNGAMモデルを理解する為の独立成分分析(信号処理技術) | Deus Ex Machina より:
          2022年3月7日 4:58 AM

          […] 機械学習技術サマリー　人工知能技術サマリー　数学サマリー　統計的因果推論/探索サマリー    デジタルトランスフォーメーション技術サマリー […]

          返信
        48. LiNGAMによる因果構造方程式モデルでの係数行列の推論 | Deus Ex Machina より:
          2022年3月8日 3:43 AM

          […] 機械学習技術サマリー　人工知能技術サマリー　数学サマリー　統計的因果推論/探索サマリー    デジタルトランスフォーメーション技術サマリー […]

          返信
        49. 独立成分分析と回帰分析を用いたLiNGAMモデルの推定 | Deus Ex Machina より:
          2022年3月9日 4:34 AM

          […] 機械学習技術サマリー　人工知能技術サマリー　数学サマリー　統計的因果推論/探索サマリー    デジタルトランスフォーメーション技術サマリー […]

          返信
        50. 回帰分布と独立性評価を繰り返すアプローチによるLiNGAM推定 | Deus Ex Machina より:
          2022年3月10日 4:11 AM

          […] 機械学習技術サマリー　人工知能技術サマリー　数学サマリー　統計的因果推論/探索サマリー    デジタルトランスフォーメーション技術サマリー […]

          返信
        51. 独立成分分析で未観測共通原因をモデルに組み込むLiNGAMアプローチ | Deus Ex Machina より:
          2022年3月11日 3:26 AM

          […] 機械学習技術サマリー　人工知能技術サマリー　数学サマリー　統計的因果推論/探索サマリー    デジタルトランスフォーメーション技術サマリー […]

          返信
        52. 未観測共通原因を和としてモデル化するLiNGAMアプローチ | Deus Ex Machina より:
          2022年3月14日 4:07 AM

          […] 機械学習技術サマリー　人工知能技術サマリー　数学サマリー　統計的因果推論/探索サマリー    デジタルトランスフォーメーション技術サマリー […]

          返信
        53. LiNGAMアプローチ仮定(線形性、非巡回性、非ガウス性)の拡張 | Deus Ex Machina より:
          2022年3月15日 4:11 AM

          […] 機械学習技術サマリー　人工知能技術サマリー　数学サマリー　統計的因果推論/探索サマリー    デジタルトランスフォーメーション技術サマリー […]

          返信
        54. 因果関係と疑似相関を区別する為の交絡因子を制御するランダム化実験 | Deus Ex Machina より:
          2022年3月17日 5:07 AM

          […] 機械学習技術サマリー　人工知能技術サマリー　数学サマリー　統計的因果推論/探索サマリー    デジタルトランスフォーメーション技術サマリー […]

          返信
        55. 層別解析と回帰モデルによる分析による因果推論の理論と実際 | Deus Ex Machina より:
          2022年3月18日 3:57 AM

          […] 機械学習技術サマリー　人工知能技術サマリー　数学サマリー　統計的因果推論/探索サマリー    デジタルトランスフォーメーション技術サマリー […]

          返信
        56. 回帰係数と介入効果の値のズレから見た相関関係と因果関係の相違 | Deus Ex Machina より:
          2022年3月22日 3:57 AM

          […] 機械学習技術サマリー　人工知能技術サマリー　数学サマリー　統計的因果推論/探索サマリー    デジタルトランスフォーメーション技術サマリー […]

          返信
        57. バックドア基準により「介入効果を観測すべき変数」を絞り込む | Deus Ex Machina より:
          2022年3月23日 4:51 AM

          […] 機械学習技術サマリー　人工知能技術サマリー　数学サマリー　統計的因果推論/探索サマリー    デジタルトランスフォーメーション技術サマリー […]

          返信
        58. データが先にありそこからどのように因果関係を検証するのかについて | Deus Ex Machina より:
          2022年3月25日 3:39 AM

          […] 機械学習技術サマリー　人工知能技術サマリー　数学サマリー　統計的因果推論/探索サマリー    デジタルトランスフォーメーション技術サマリー […]

          返信
        59. ルービン効果モデルに基づく因果効果の定義と統計的因果効果の推定 | Deus Ex Machina より:
          2022年3月29日 3:14 AM

          […] 機械学習技術サマリー　人工知能技術サマリー　数学サマリー　統計的因果推論/探索サマリー    デジタルトランスフォーメーション技術サマリー […]

          返信
        60. 回帰モデル手法、マッチングと層別解析手法を使った因果効果推定 | Deus Ex Machina より:
          2022年3月30日 3:46 AM

          […] 機械学習技術サマリー　人工知能技術サマリー　数学サマリー　統計的因果推論/探索サマリー    デジタルトランスフォーメーション技術サマリー […]

          返信
        61. 統計的因果効果の基礎(3)操作変数法とまとめ | Deus Ex Machina より:
          2022年3月31日 3:31 AM

          […] 機械学習技術サマリー　人工知能技術サマリー　数学サマリー　統計的因果推論/探索サマリー    デジタルトランスフォーメーション技術サマリー […]

          返信
        62. 因果効果推定の応用 – CM接触の因果効果と調整効果 | Deus Ex Machina より:
          2022年4月6日 4:34 AM

          […] 機械学習技術サマリー　人工知能技術サマリー　数学サマリー　統計的因果推論/探索サマリー    デジタルトランスフォーメーション技術サマリー […]

          返信
        63. 因果推論の応用としての傾向スコアを用いた野球のバント効果の推定 | Deus Ex Machina より:
          2022年4月7日 5:01 AM

          […] 機械学習技術サマリー　人工知能技術サマリー　数学サマリー　統計的因果推論/探索サマリー    デジタルトランスフォーメーション技術サマリー […]

          返信
        64. 差の差法による因果推論の実際(保育所整備と女性就業率の関係) | Deus Ex Machina より:
          2022年4月8日 4:41 AM

          […] 機械学習技術サマリー　人工知能技術サマリー　数学サマリー　統計的因果推論/探索サマリー    デジタルトランスフォーメーション技術サマリー […]

          返信
        65. C/C++言語と各種機械学習アルゴリズム | Deus Ex Machina より:
          2022年4月9日 5:57 PM

          […] 数学サマリー　機械学習技術サマリー　人工知能技術サマリー　プログラミング技術サマリー   デジタルトランスフォーメーションサマリー […]

          返信
        66. 機械学習の汎用的なツールとしてのR言語の概要 | Deus Ex Machina より:
          2022年4月13日 6:59 AM

          […] 数学　アルゴリズムとデータ構造    機械学習技術　人工知能技術　プログラミング技術   デジタルトランスフォーメーション […]

          返信
        67. Rによる機械学習の概要、Rの歴史と参考図書紹介 | Deus Ex Machina より:
          2022年4月13日 3:13 PM

          […] 数学　アルゴリズムとデータ構造    機械学習技術　人工知能技術　プログラミング技術   デジタルトランスフォーメーション […]

          返信
        68. Rを使った機械学習、階層クラスタリング関数hclustでの分類 | Deus Ex Machina より:
          2022年4月13日 3:24 PM

          […] 数学　アルゴリズムとデータ構造    機械学習技術　人工知能技術　プログラミング技術  R言語と機械学習   デジタルトランスフォーメーション […]

          返信
        69. Rを使った機械学習、k-meansを使った教師なし、非階層分類 | Deus Ex Machina より:
          2022年4月13日 3:27 PM

          […] 数学　アルゴリズムとデータ構造    機械学習技術　人工知能技術　プログラミング技術  R言語と機械学習   デジタルトランスフォーメーション […]

          返信
        70. 機械学習モデルの説明に活用されるスパースモデルのRでの実装 | Deus Ex Machina より:
          2022年4月13日 3:49 PM

          […] 人工知能技術　数学　R言語と機械学習  […]

          返信
        71. Pythonのプログラミングの基礎とアルゴリズムの実装参考図書 | Deus Ex Machina より:
          2022年4月16日 8:04 AM

          […] 数学　機械学習技術　人工知能技術　プログラミング技術. pyhton　アルゴリズムとデータ構造 […]

          返信
        72. 岩波データサイエンスシリーズvol.3「因果論 実世界のデータから因果を読む」読書メモ | Deus Ex Machina より:
          2022年4月18日 3:16 PM

          […] 機械学習技術　人工知能技術　数学　統計的因果推論/探索    デジタルトランスフォーメーション技術 […]

          返信
        73. グラフデータの次元削減に活用されるグラフデータスパースモデル | Deus Ex Machina より:
          2022年4月18日 5:20 PM

          […] 人工知能技術　数学　  説明できる機械学習  […]

          返信
        74. データ圧縮や特徴量抽出に活用されるスパースモデル機械学習とノルム | Deus Ex Machina より:
          2022年4月27日 7:10 PM

          […] スパース性を用いた機械学習　機械学習技術　デジタルトランスフォーメーション技術  人工知能技術　数学　  説明できる機械学習 […]

          返信
        75. 確率を用いた機械学習理論の概要とpythonを用いた実装 | Deus Ex Machina より:
          2022年5月2日 5:39 AM

          […] 数学　機械学習技術　人工知能技術　プログラミング技術. pyhton　デジタルトランスフォーメーション   アルゴリズムとデータ構造 […]

          返信
        76. 機械学習の理論や特徴とpythonによる実装を解説した参考図書 | Deus Ex Machina より:
          2022年5月2日 5:41 AM

          […] 数学　機械学習技術　人工知能技術　プログラミング技術. pyhton　デジタルトランスフォーメーション   アルゴリズムとデータ構造 […]

          返信
        77. ウェブ上でのデータ共有としてのLinked Open Data | Deus Ex Machina より:
          2022年5月2日 5:44 AM

          […] 数学　機械学習技術　人工知能技術　プログラミング技術 　アルゴリズム   データベース技術.  デジタルトランスフォーメーション　ICT技術 　セマンティックウェブ技術 […]

          返信
        78. リレーショナルデータベースとSQL言語の概要について | Deus Ex Machina より:
          2022年5月6日 3:58 PM

          […] 数学　機械学習技術　人工知能技術　プログラミング技術 　アルゴリズム   データベース技術.  デジタルトランスフォーメーション　ICT技術 […]

          返信
        79. プログラミング言語、自然言語処理の基礎となる形式言語学概要 | Deus Ex Machina より:
          2022年5月8日 9:07 PM

          […] 機械学習技術　人工知能技術　プログラミング技術 　デジタルトランスフォーメーション　深層学習　自然言語処理    ITシステム   機械学習における数学 […]

          返信
        80. 初心者のための機械学習概要、学習の種類と結果の相違 | Deus Ex Machina より:
          2022年5月9日 5:39 AM

          […] って性能評価の良いアルゴリズムを選ぶことで最終的な予測や判断を行うもので、高度な数学の知識がなくとも多少のプログラミング技術があれば機械学習システムを構築可能なアプロー […]

          返信
        81. 暗号化とセキュリティ技術およびデータ圧縮技術について | Deus Ex Machina より:
          2022年5月22日 4:39 AM

          […] 数学　機械学習技術　人工知能技術　プログラミング技術  デジタルトランスフォーメーション　アルゴリズム  […]

          返信
        82. 機械学習プロフェッショナルシリーズ 統計的学習理論 読書メモ | Deus Ex Machina より:
          2022年6月4日 4:25 AM

          […] 数学　人工知能技術.  デジタルトランスフォーメーション   機械学習技術　 […]

          返信
        83. 機械学習プロフェッショナルシリーズ 確率的最適化 読書メモ | Deus Ex Machina より:
          2022年6月11日 4:52 AM

          […] 数学　人工知能技術.  デジタルトランスフォーメーション   機械学習技術　 […]

          返信
        84. 世界を変えた確率と統計のカラクリ134話　読書メモ | Deus Ex Machina より:
          2022年6月18日 4:22 AM

          […] 数学　機械学習技術　人工知能技術　デジタルトランスフォーメーション   アルゴリズムとデータ構造 […]

          返信
        85. 確率論入門　読書メモ | Deus Ex Machina より:
          2022年6月25日 5:06 AM

          […] 数学　機械学習技術　人工知能技術　デジタルトランスフォーメーション   アルゴリズムとデータ構造 […]

          返信
        86. 人間と社会を変えた9つの確率・統計物語　読書メモ | Deus Ex Machina より:
          2022年7月2日 5:04 AM

          […] 数学　機械学習技術　人工知能技術　デジタルトランスフォーメーション   アルゴリズムとデータ構造 […]

          返信
        87. 経済数学の直感的方法 確率・統計編　読書メモ | Deus Ex Machina より:
          2022年7月9日 4:42 AM

          […] 数学　機械学習技術　人工知能技術　デジタルトランスフォーメーション   アルゴリズムとデータ構造 […]

          返信
        88. デジタルトランスフォーメーションに活用される画像認識技術について | Deus Ex Machina より:
          2023年6月1日 2:29 PM

          […] デジタルトランスフォーメーション技術 アルゴリズム 機械学習における数学 深層学習 […]

          返信
        89. 人工知能技術の理論と基本的なアルゴリズム | Deus Ex Machina より:
          2023年6月9日 11:25 AM

          […] ICT技術 コンピューターアーキテクチャ ITインフラストラクチャ技術 機械学習における数学 深層学習 […]

          返信
        90. スパースモデリングの概要と適用事例及び実装 | Deus Ex Machina より:
          2023年6月9日 1:21 PM

          […] 機械学習技術 デジタルトランスフォーメーション技術 人工知能技術 数学 説明できる機械学習 IOT スパース性を用いた機械学習 画像処理 […]

          返信
        91. 深層学習をはじめとする機械学習技術の音声信号処理への適用 | Deus Ex Machina より:
          2023年6月13日 1:42 PM

          […] デジタルトランスフォーメーション技術 アルゴリズム 機械学習における数学 深層学習 […]

          返信
        92. テクノロジー雑話- 様々な最新技術に対する考察 | Deus Ex Machina より:
          2023年6月14日 8:50 AM

          […] コンピューターアーキテクチャ ITインフラストラクチャ 深層学習 機械学習における数学 コンピュータのハードウェア DXの事例 […]

          返信
        93. 機械学習の様々なアプローチ – FPGA・光/量子コンピューティング | Deus Ex Machina より:
          2023年6月20日 1:53 PM

          […] ICT技術 ITインフラストラクチャ技術 深層学習 機械学習における数学 […]

          返信
        94. 数学と音楽とコンピューター | Deus Ex Machina より:
          2023年6月25日 5:08 AM

          […] Twitter Facebook はてブ Pocket LINE コピー 2023.06.25 2023.01.03 機械学習と数学 life Tips&雑記 Clojureと関数型プログラミング Javaと汎用プログラミング […]

          返信
        95. IA（Intelligence Augmentation）とその適用事例について | Deus Ex Machina より:
          2023年7月6日 3:46 AM

          […] ICT技術 コンピューターアーキテクチャ ITインフラストラクチャ技術 機械学習における数学 深層学習 人工知能技術について DXの事例 […]

          返信
        96. ゲーム理論の概要とAI技術との融合と実装例 | Deus Ex Machina より:
          2023年7月6日 4:16 AM

          […] デジタルトランスフォーメーション技術 人工知能技術 禅と人工知能 機械学習における数学 機械学習技術 確率的生成モデル 統計的因果推論/探索 強化学習技術 […]

          返信
        97. 金融工学とブラックショールズモデルと人工知能技術 | Deus Ex Machina より:
          2023年7月15日 4:02 AM

          […] 機械学習技術 デジタルトランスフォーメーション技術 人工知能技術 数学 アルゴリズムとデータ構造 lif tips&雑記 […]

          返信
        98. 因果推論と因果探索技術の概要と実装 | Deus Ex Machina より:
          2023年7月17日 4:49 AM

          […] 確率的生成モデル技術 説明できる機械学習技術 自然言語処理技術 機械学習における数学 問題解決と思考法及び実験計画 関係データ学習 統計的因果推論/探索 […]

          返信
        99. DXの事例としての人工知能技術 | Deus Ex Machina より:
          2023年7月17日 6:11 AM

          […] ICT技術 コンピューターアーキテクチャ ITインフラストラクチャ技術 機械学習における数学 深層学習 人工知能技術について  […]

          返信
        100. マルチタスク学習の概要と適用事例と実装例 | Deus Ex Machina より:
          2023年7月17日 6:13 AM

          […] 機械学習技術 デジタルトランスフォーメーション技術 人工知能技術 数学 アルゴリズムとデータ構造 画像認識 自然言語処理 音声認識 […]

          返信
        101. コンピューターにおけるハードウェア | Deus Ex Machina より:
          2023年8月1日 4:49 AM

          […] コンピューターアーキテクチャ ITインフラストラクチャ技術 深層学習 機械学習における数学 […]

          返信
        102. 気づきと人工知能技術 | Deus Ex Machina より:
          2023年8月26日 4:35 AM

          […] ICT技術 コンピューターアーキテクチャ ITインフラストラクチャ技術 機械学習における数学 深層学習 人工知能技術について DXの事例 経済とビジネス 物理・数学 […]

          返信
        103. 統計的学習理論の概要(数式を使わない解説) | Deus Ex Machina より:
          2023年9月6日 4:13 AM

          […] Twitter Facebook はてブ Pocket LINE コピー 2023.09.06 2023.05.23 数学 人工知能技術 デジタルトランスフォーメーション 機械学習技術 […]

          返信
        104. 勾配法の概要とアルゴリズムおよび実装例について | Deus Ex Machina より:
          2023年10月9日 5:19 AM

          […] Twitter Facebook はてブ Pocket LINE コピー 2023.10.09 数学 人工知能技術 デジタルトランスフォーメーション 機械学習技術 […]

          返信
        105. 人工知能技術について | Deus Ex Machina より:
          2023年11月26日 5:44 AM

          […] ICT技術 コンピューターアーキテクチャ ITインフラストラクチャ技術 機械学習における数学 深層学習 […]

          返信
        106. ニュートン法の概要とアルゴリズム及び実装について | Deus Ex Machina より:
          2023年12月11日 4:38 AM

          […] プログラミング技術 デジタルトランスフォーメーション 深層学習 機械学習における数学 データの情報幾何的アプローチ […]

          返信
        107. 交差エントロピー損失について | Deus Ex Machina より:
          2024年1月10日 7:00 AM

          […] プログラミング技術 デジタルトランスフォーメーション 深層学習 機械学習における数学 データの情報幾何的アプローチ […]

          返信
        108. モデル予測制御（Model Predictive Control, MPC）の概要とアルゴリズム及び実装例について | Deus Ex Machina より:
          2024年1月10日 12:02 PM

          […] プログラミング技術 デジタルトランスフォーメーション 深層学習 機械学習における数学 データの情報幾何的アプローチ […]

          返信
        109. ヘッセ行列と正則性について | Deus Ex Machina より:
          2024年1月10日 12:02 PM

          […] プログラミング技術 デジタルトランスフォーメーション 深層学習 機械学習における数学 データの情報幾何的アプローチ […]

          返信
        110. Gelman-Rubin統計量の概要と関連アルゴリズム及び実装例について | Deus Ex Machina より:
          2024年1月10日 12:29 PM

          […] プログラミング技術 デジタルトランスフォーメーション 深層学習 機械学習における数学 データの情報幾何的アプローチ […]

          返信
        111. 禅とメタ認知とAI | Deus Ex Machina より:
          2024年1月20日 4:43 AM

          […] デジタルトランスフォーメーション技術 アルゴリズム 機械学習における数学 深層学習 人工知能技術について セマンティックウェブ技術 […]

          返信
        112. コンピューターの基本理論であるチューリング計算理論入門概要 | Deus Ex Machina より:
          2024年1月22日 5:33 AM

          […] ICT技術 コンピューターアーキテクチャ ITインフラストラクチャ技術 機械学習における数学 深層学習 テクノロジー雑記 […]

          返信
        113. テンソル分解法によるダイナミックモジュール検出について | Deus Ex Machina より:
          2024年2月5日 4:09 AM

          […] プログラミング技術 デジタルトランスフォーメーション 深層学習 機械学習における数学 データの情報幾何的アプローチ […]

          返信
        114. はじめての最適化 読書メモ | Deus Ex Machina より:
          2024年2月12日 5:31 AM

          […] Twitter Facebook はてブ Pocket LINE コピー 2024.02.12 2022.08.06 数学 人工知能技術 デジタルトランスフォーメーション 機械学習技術 […]

          返信
        115. 正定値行列の情報幾何 ガウシアングラフィカルモデルから凸最適化へ | Deus Ex Machina より:
          2024年2月12日 7:29 AM

          […] 人工知能や機械学習のプログラミングやアルゴリズムの基礎となる数学 | Deus Ex Machina より: 2023年8月18日 11:07 AM […]

          返信
        116. 正定値行列の情報幾何としての双対的な幾何構造の導入 | Deus Ex Machina より:
          2024年2月12日 7:32 AM

          […] 人工知能や機械学習のプログラミングやアルゴリズムの基礎となる数学 | Deus Ex Machina より: 2023年8月18日 11:06 AM […]

          返信
        117. クラメール・ラウ・ローバー下界（Cramér-Rao Lower Bound, CRLB）の導出について | Deus Ex Machina より:
          2024年2月12日 7:38 AM

          […] 確率を使ったアプローチについては、”機械学習における数学について“、”確率的生成モデルについて“、”ベイズ推論とグラフィカルモデルによる機械学習“等で […]

          返信
        118. アルゴリズムイントロダクション | Deus Ex Machina より:
          2024年2月12日 7:26 PM

          […] Twitter Facebook はてブ Pocket LINE コピー 2024.02.12 2022.07.30 数学 機械学習技術 人工知能技術 グラフデータアルゴリズム […]

          返信
        119. メタヒューリスティクスの概要と参考図書 | Deus Ex Machina より:
          2024年2月12日 7:29 PM

          […] Twitter Facebook はてブ Pocket LINE コピー 2024.02.12 2023.01.08 数学 機械学習技術 人工知能技術 プログラミング技術 […]

          返信
        120. 構造学習の概要と各種適用事例および実装例 | Deus Ex Machina より:
          2024年2月21日 4:33 AM

          […] 関係データ学習 アルゴリズムとデータ構造 数学 プログラミング技術 R言語 一般的な機械学習 構造学習 […]

          返信
        121. Tucker分解の概要とアルゴリズム及び実装例 | Deus Ex Machina より:
          2024年2月26日 4:22 AM

          […] プログラミング技術 デジタルトランスフォーメーション 深層学習 機械学習における数学 データの情報幾何的アプローチ […]

          返信
        122. PARAFAC2 (Parallel Factor 2) 分解の概要とアルゴリズム及び実装例 | Deus Ex Machina より:
          2024年3月11日 4:39 AM

          […] プログラミング技術 デジタルトランスフォーメーション 深層学習 機械学習における数学 データの情報幾何的アプローチ […]

          返信
        123. CP (CANDECOMP/PARAFAC) 分解の概要とアルゴリズム及び実装例 | Deus Ex Machina より:
          2024年3月11日 4:39 AM

          […] プログラミング技術 デジタルトランスフォーメーション 深層学習 機械学習における数学 データの情報幾何的アプローチ […]

          返信
        124. Alternating Least Squares (ALS)の概要と関連アルゴリズム及び実装例について | Deus Ex Machina より:
          2024年3月18日 4:30 AM

          […] プログラミング技術 デジタルトランスフォーメーション 深層学習 機械学習における数学 データの情報幾何的アプローチ […]

          返信
        125. Non-Negative Tensor Factorization (NTF)の概要とアルゴリズム及び実装例について | Deus Ex Machina より:
          2024年4月15日 4:28 AM

          […] プログラミング技術 デジタルトランスフォーメーション 深層学習 機械学習における数学 データの情報幾何的アプローチ […]

          返信
        126. Alternating Least Squares for Tensor Factorization (ALS-TF)の概要とアルゴリズム及び実装例について | Deus Ex Machina より:
          2024年4月22日 4:32 AM

          […] プログラミング技術 デジタルトランスフォーメーション 深層学習 機械学習における数学 データの情報幾何的アプローチ […]

          返信
        127. 連続最適化の基本事項 – 微積分・線形代数の基礎 | Deus Ex Machina より:
          2024年5月18日 2:27 PM

          […] Twitter Facebook はてブ Pocket LINE コピー 2024.05.18 2022.10.28 数学 人工知能技術 デジタルトランスフォーメーション […]

          返信
        128. モード型（Mode-based）テンソル分解の概要とアルゴリズム及び実装例 | Deus Ex Machina より:
          2024年5月20日 4:05 AM

          […] プログラミング技術 デジタルトランスフォーメーション 深層学習 機械学習における数学 データの情報幾何的アプローチ […]

          返信
        129. ガウス・ザイデル法の概要とアルゴリズム及び実装例について | Deus Ex Machina より:
          2024年5月30日 3:54 AM

          […] プログラミング技術 デジタルトランスフォーメーション 深層学習 機械学習における数学 データの情報幾何的アプローチ […]

          返信
        130. Higher Order Singular Value Decomposition (HOSVD)の概要とアルゴリズム及び実装例について | Deus Ex Machina より:
          2024年6月10日 4:42 AM

          […] プログラミング技術 デジタルトランスフォーメーション 深層学習 機械学習における数学 データの情報幾何的アプローチ […]

          返信
        131. Tensor Power Methodの概要とアルゴリズム及び実装例について | Deus Ex Machina より:
          2024年6月10日 4:44 AM

          […] プログラミング技術 デジタルトランスフォーメーション 深層学習 機械学習における数学 データの情報幾何的アプローチ […]

          返信
        132. DBSCAN(Density-Based Spatial Clustering of Applications with Noise)の概要と適用事例および実装例について | Deus Ex Machina より:
          2024年6月12日 4:24 AM

          […] 機械学習技術 デジタルトランスフォーメーション技術 人工知能技術 数学 アルゴリズムとデータ構造 画像認識 自然言語処理 推薦技術  […]

          返信
        133. 最尤推定の概要とアルゴリズムおよびその実装について | Deus Ex Machina より:
          2024年6月17日 4:07 AM

          […] プログラミング技術 デジタルトランスフォーメーション 深層学習 機械学習における数学 データの情報幾何的アプローチ […]

          返信
        134. 音声認識システムの概要と作り方 | Deus Ex Machina より:
          2024年7月5日 9:59 AM

          […] デジタルトランスフォーメーション技術 アルゴリズム 機械学習における数学 深層学習 音声認識技術 Python […]

          返信
        135. トレースノルムの概要と関連アルゴリズム及び実装例について | Deus Ex Machina より:
          2024年7月24日 4:10 AM

          […] 機械学習技術 デジタルトランスフォーメーション技術 人工知能技術 数学 説明できる機械学習 IOT スパース性を用いた機械学習 画像処理 […]

          返信
        136. フロベニウスノルムの概要とアルゴリズム及び実装例 | Deus Ex Machina より:
          2024年7月30日 4:31 AM

          […] 機械学習技術 デジタルトランスフォーメーション技術 人工知能技術 数学 説明できる機械学習 IOT スパース性を用いた機械学習 画像処理 […]

          返信
        137. Kronecker-factored Approximate Curvature（K-FAC）行列の概要と関連するアルゴリズム及び実装例について | Deus Ex Machina より:
          2024年8月5日 3:54 AM

          […] プログラミング技術 デジタルトランスフォーメーション 深層学習 機械学習における数学 データの情報幾何的アプローチ […]

          返信
        138. アトミックノルムの概要と適用事例と実装例 | Deus Ex Machina より:
          2024年8月14日 4:13 AM

          […] 機械学習技術 デジタルトランスフォーメーション技術 人工知能技術 数学 説明できる機械学習 IOT スパース性を用いた機械学習 画像処理 […]

          返信
        139. 進化的アルゴリズムの概要とアルゴリズム及び実装例について | Deus Ex Machina より:
          2024年9月10日 4:35 AM

          […] Twitter Facebook はてブ Pocket LINE コピー 2024.09.10 数学 機械学習技術 人工知能技術 プログラミング技術 […]

          返信
        140. 整数線形プログラミング（ILP）による最適化の概要とアルゴリズム及び実装例について | Deus Ex Machina より:
          2024年9月16日 6:37 AM

          […] プログラミング技術 デジタルトランスフォーメーション 深層学習 機械学習における数学 データの情報幾何的アプローチ […]

          返信
        141. データの幾何学的アプローチ | Deus Ex Machina より:
          2024年9月29日 4:44 AM

          […] アルゴリズム:Algorithms Twitter Facebook はてブ Pocket LINE コピー 2024.09.29 2022.12.25 人工知能技術 デジタルトランスフォーメーション 機械学習技術 プログラミング技術 本ブログのナビ 問題解決と思考法及び実験計画 life Tips&雑記 統計的因果推論/探索 機械学習と数学 […]

          返信
        142. 場の理論とコミュニケーション活性化へのAI技術の適用 | Deus Ex Machina より:
          2024年11月16日 2:46 AM

          […] ICT技術 コンピューターアーキテクチャ ITインフラストラクチャ技術 機械学習における数学 深層学習 人工知能技術について DXの事例 経済とビジネス 物理・数学 […]

          返信
        タイトルとURLをコピーしました