- スパース性を用いた機械学習
- 概要
- スパースモデリング
- 実装
- スパースモデリングの概要と適用事例及び実装
- トレースノルムの概要と関連アルゴリズム及び実装例について
- フロベニウスノルムの概要とアルゴリズム及び実装例
- アトミックノルムの概要と適用事例と実装例
- 重複のあるグループ正則化の概要と実装例について
- フランク・ウォルフ法の概要と適用事例及び実装例
- スパースモデリングと多変量解析(3)glmnetとgensalloを用いた実際のlasso
- スパースモデリングと多変量解析(11) RによるSVD、PMD、NMFの実践例
- スパースモデリングと多変量解析(2)lassoを用いたスパース推定と計算手法
- スパースモデリングと多変量解析(4) 関係性へのスパース性の導入
- スパースモデリングと多変量解析(5) グラフィカルlassoとその活用(異常検知等)
- スパースモデリングと多変量解析(6) 画像処理とスパース(信号処理の機械学習の概要)
- スパースモデリングと多変量解析(7) 画像処理とスパース(スパースランドモデルの応用)
- スパースモデリングと多変量解析(8) 時間遷移のスパース性
- スパースモデリングと多変量解析(9) 行列データの分解の基礎
- スパースモデリングと多変量解析(10) 行列データの分解の活用
- スパースモデリング性を用いた機械学習の理論
- 機械学習プロフェッショナルシリーズ「スパース性に基づく機械学習」読書メモ
- スパース性に基づく機械学習の概要
- スパース性とL1ノルムの導入
- ノイズなしL1ノルム最小化の理論 線型方程式を満たすスパースな解を求める問題
- スパース性に基づく機械学習としてのノイズありL1ノルム最小化の理論(1)
- スパース性に基づく機械学習としてのノイズありL1ノルム最小化の理論(2)
- スパース学習モデルのための L1ノルム正則化のための最適化手法
- L1ノルム正則化のための最適化手法としての双対拡張ラグランジュ法・双対交互方向乗数法
- グループL1ノルム正則化に基づくスパース機械学習
- トレースノルム正則化に基づくスパース機械学習
- 重複型スパース正則化によるスパース機械学習
- アトミックノルムによるスパース機械学習の定義と具体例
- アトミックノルムによるスパース機械学習の数学的性質と最適化
- 何がスパース性を誘発して、どのような問題にスパース性は適しているのか?
- マルチタスク学習の概要と適用事例と実装例
- スパースモデリングについての外部(HARCUS)の記事
- スパースモデリングの教科書(英語)
スパース性を用いた機械学習
概要
スパース性に基づく機械学習とは、スパース性を利用して、高次元データの特徴選択や次元削減などのタスクを行う機械学習手法となる。
ここでのスパース性とは、データの中でほとんどの要素が0に近い値を持ち、ごく一部の要素だけが非ゼロの値を持つ性質のことを言い、L1正則化を用いた線形回帰やロジスティック回帰などのモデルによって引き出すことで、特徴選択や次元削減を行うものとなる。スパース性に基づく機械学習は、このように高次元データに対する解釈性を向上させることができるため、データの解析や予測モデル構築などの領域で広く利用されている。
スパース性に基づく機械学習は、以下のような様様なアプリケーションに応用される。
- センサーデータ処理：複数のセンサーからのデータを処理する場合、スパース性に基づく手法を用いることで、不要なデータを取り除き、必要な情報だけを抽出することができる。
- 画像処理：画像に対するスパース表現を用いることで、画像の圧縮、復元、特徴抽出などのタスクが可能になる。
- 自然言語処理：テキストデータのスパース表現を用いることで、単語の特徴選択や文書の分類などのタスクが可能になる。
このスパース性は、正則化とよばれる、機械学習での過学習を防ぐための手法として用いられる。正則化は、モデルの複雑度を調整するために広く用いられる手法であり、機械学習における重要な要素の一つとなっている。
機械学習では、モデルの複雑度が高くなると、訓練データに過剰に適合し、汎化性能が低下する傾向があり、正則化は、このような過学習を防ぎ、汎化性能を向上させる手法となる。
代表的な正則化手法には、以下の2つがある。
- L1正則化(Lasso): L1正則化は、回帰係数の大きさに応じて罰則を与え、小さな係数を0に近づけることで、スパースなモデルを作り出す。L1正則化は、不要な特徴を自動的に削除するため、特徴選択に有効なものとなる。
- L2正則化(Ridge): L2正則化は、回帰係数の大きさに応じて罰則を与え、小さな係数を0に近づけることで、モデルの複雑度を調整する。L2正則化は、全ての特徴を残したまま、重みを減らすことで、過学習を抑制することができる。
正則化は、その他にもElastic NetやMax Norm正則化など、様々な手法が存在する。
本ブログではこのスパース性を用いた機械学習における理論や実装について述べている。
スパースモデリング
岩波データサイエンスシリーズ「スパースモデリングと多変量データ解析」より。スパースモデリングについて。
「2000年前半に、海外の統計学、情報理論、信号処理といった理論的分野の学会の発表は、スパースモデリングで埋め尽くされていた。中心となるのは絶対値の和で定義されたL1(エルワン)ノルムによる正則化であった。圧縮センシングの立役者の一人であるCandesは「L2ノルムが20世紀のノルムだとするならばL1ノルムは21世紀のノルムだ」と言っていた。この物言いはいささか大袈裟だが、L1ノルム正則化を用いることでそれまで諦めていた情報処理が可能となったことは事実である。
論理的枠組みが確立すると、他の分野での問題に応用されるようになる。スパースモデリングも、バイオイナフォマティックス、工学をはじめ、ビッグデータを含めたあらゆるデータ解析において、その方法が取り込まれてきた。今となってはスパース性が使われていない分野を探す方が大変なくらいだ。スパースモデリングは、基礎的な方法としてすっかり定着している」
スパースモデリングとは、与えられたデータに応じて、統計モデルの必要な部分を自動的に抽出する技術となる。重回帰分析の場合で言えば、多数の説明変数のリストから少数の必要なものを取り出す、というものになる。これに対して、昔からある言葉として「モデル選択」や「変数選択」がある。「変数選択」はモデルに取り入れる変数を選ぶ場合に、「モデル選択」はより一般的に、たとえば雑音の分布の選択などを含めて行われる。
ここでは、「複数のモデルをあてはめた後で、その中から選ぶ」方法を変数選択/モデル選択、L1正規化(lasso)のように「懲罰項を加えて推定することで、パラメータ推定と同時に未知パラメータの数が削減される」方法をスパースモデリングと呼び分ける。
この問題を考えるには、次の3つのレベルを区別すると良い
- なぜ単純なモデルが欲しいのか(根本問題)
- 具体的にどういう数式を最適にするのか(数理的表現)
- 最適なモデルをどうやって探すのか(アルゴリズム)
スパースモデリングで重要な進展があったのは、このうち3の部分となる。ただし、その中には「3がうまくいくためには、2の表式をどう設定したら良いのか」という部分も含まれる。
このスパースモデリングは、現代の機械学習のブレークスルーとして、深層学習、カーネル法に並ぶものとして挙げられている。
実装
スパースモデリングの概要と適用事例及び実装
スパースモデリングの概要と適用事例及び実装。スパースモデリングは、信号やデータの表現においてスパース性(疎な性質)を利用する手法となる。スパース性とは、データや信号において非ゼロの要素がごく一部に限られている性質を指す。スパースモデリングでは、スパース性を活用してデータを効率的に表現し、ノイズの除去、特徴選択、圧縮などのタスクを行うことが目的となる。
ここではこのスパースモデリングに関して、Lasso、コンプレッション推定、Ridge正則化、エラスティックネット、Fused Lasso、グループ正則化、メッセージ伝搬アルゴリズム、辞書学習等の各種アルゴリズムの概要と、画像処理、自然言語処理、推薦、シグナル処理、機械学習、信号処理、脳科学等の様々な適用事例に対する実装について述べている。
トレースノルムの概要と関連アルゴリズム及び実装例について
トレースノルムの概要と関連アルゴリズム及び実装例について。トレースノルム（または核ノルム）は、行列のノルムの一種であり、行列の特異値の和として定義されるものとなる。これは特に、行列の低ランク近似や行列の最小化問題において重要な役割を果たしている。
フロベニウスノルムの概要とアルゴリズム及び実装例
フロベニウスノルムの概要とアルゴリズム及び実装例。フロベニウスノルムは、行列のノルムの一種であり、行列の要素の2乗和の平方根として定義されるものとなる。これは、行列 \( A \) のフロベニウスノルム \( ||A||_F \) が以下の式で与えられることを意味する。
\[ ||A||_F = \sqrt{\sum_{i=1}^m \sum_{j=1}^n |a_{ij}|^2} \]
ここで、\( A = [a_{ij}] \) は \( m \times n \) 行列で、フロベニウスノルムは、行列をベクトルとみなした場合のユークリッドノルムに対応している。
アトミックノルムの概要と適用事例と実装例
アトミックノルムの概要と適用事例と実装例。アトミックノルム（Atomic norm）は、最適化や信号処理などの分野で使用されるノルムの一種であり、一般的に、アトミックノルムはベクトルや行列の構造的な特性を反映するために設計されたものとなる。
重複のあるグループ正則化の概要と実装例について
重複のあるグループ正則化の概要と実装例について。重複のあるグループ正則化（Overlapping Group Lasso）は、機械学習や統計モデリングにおいて、特徴選択やモデルの係数の推定に使用される正則化手法の一種であり、通常のグループ正則化とは異なり、特徴が複数のグループに同時に属することが許容される手法となる。ここではこの重複のあるグループ正則化の概要と様々な実装例について述べる。
フランク・ウォルフ法の概要と適用事例及び実装例
フランク・ウォルフ法の概要と適用事例及び実装例。フランク・ウォルフ法(Frank-Wolfe method)は、1956年にマルグリート・フランクとフィリップ・ウォルフによって提案された、非線形最適化問題を解くための数値計算アルゴリズムとなる。フランク・ウォルフ法は、線形計画問題にも関連しており、連続最適化問題への適用も可能な手法となる。ただし、収束速度は一般的な最適化アルゴリズムよりも遅い場合があり、そのため、高次元の問題に対しては他の効率的なアルゴリズムが好まれることがある。フランク・ウォルフ法は、大規模な最適化問題や制約付き最適化問題において有用であり、機械学習や信号処理、画像処理などの分野で広く利用されている。また、フランク・ウォルフ法は、他の最適化手法と組み合わせて使用することも多くある。
スパースモデリングと多変量解析(3)glmnetとgensalloを用いた実際のlasso
スパースモデリングと多変量解析(3)glmnetとgensalloを用いた実際のlasso。Rのスパースモデルツールであるglmnetやgenlassoを用いたlassoの適用について述べている。適用例としてRでの重回帰分析の変数選択の解説によく使われるボストンの住宅に関するデータを用い「1000ドル単位で示された当該属性の住宅価格の中央値(mdev、目的変数)をその他の変数から予測する」課題を解く。
さらにfused lasso(gen lasso)を使って雑音の加わった系列データから、背景にある真の値の系列データを推定する課題を解く。
スパースモデリングと多変量解析(11) RによるSVD、PMD、NMFの実践例
スパースモデリングと多変量解析(11) RによるSVD、PMD、NMFの実践例 。R(arules、PMA、NMF)を使ったSVD(特異値分解:Singular Valu Decomposition)、PMD(スパース行列分解:Penalized Matrix Decomposition)、NMF(非負値行列因子分解:Non-negative Matrix Factorization)の実践
スパースモデリングと多変量解析(2)lassoを用いたスパース推定と計算手法
スパースモデリングと多変量解析(2)lassoを用いたスパース推定と計算手法。lasso(Least Absolute Shrinkage and Selection Operator)を用いたスパース推定について、線形回帰問題をベースに、多くの患者の血液を調べて疾患とそれにかかわる遺伝子の関係を推定したいとした時、血液のサンプルをとる人数はそれほど多くできないが、技術が進み、血液から調べられる遺伝子の種類pは非常に大きいようなケースを例に、実際のL1ノルムの計算手法について述べる。
スパースモデリングと多変量解析(4) 関係性へのスパース性の導入
スパースモデリングと多変量解析(4) 関係性へのスパース性の導入。データがスカラーの出力yとM次元ベクトルxの組でD={(y(n),x(n))|n=1,…,N}のように与えられている時、線形回帰としてスパースな解を実現する(回帰係数をスパースにしたり、変数ではなく、余分な標本を消すと言う意味でのスパース化を行う)ことについて述べる。
ユースケースとしては観測データがノイズで汚染されており、必ずしもすべての標本が信用できないと言う場合や、グラフデータに拡張して、ある機械を決まった数のセンサーで常時監視するような場合等のグラフモデル(関係モデル)への適用について述べる。
スパースモデリングと多変量解析(5) グラフィカルlassoとその活用(異常検知等)
スパースモデリングと多変量解析(5) グラフィカルlassoとその活用(異常検知等)。関係性にスパース性を導入したグラフィカルlasso(ガウス型グラフィカルモデルの疎構造学習)とその活用として異常検知への適用(ホテリングT2スコアの拡張)について述べる。
スパースモデリングと多変量解析(6) 画像処理とスパース(信号処理の機械学習の概要)
スパースモデリングと多変量解析(6) 画像処理とスパース(信号処理の機械学習の概要)。辞書データを用いた画像のスパース表現について、信号処理の知見から得られた辞書(JPEGのDCT基底がある)ではなく、、スパースランドモデルをベースとした機械学習による辞書生成の概要。
スパースモデリングと多変量解析(7) 画像処理とスパース(スパースランドモデルの応用)
スパースモデリングと多変量解析(7) 画像処理とスパース(スパースランドモデルの応用)。スパースランドモデルを用いた画像情報からのノイズの除去の実際
スパースモデリングと多変量解析(8) 時間遷移のスパース性
スパースモデリングと多変量解析(8) 時間遷移のスパース性。消費者がn種類のメーカーから異なるメーカーへ「乗り換える」という現象を、nxn次元の遷移行列で表現し、fused lassoで解析。例として自動車会社ののシェア時間的変化データに適用。
スパースモデリングと多変量解析(9) 行列データの分解の基礎
スパースモデリングと多変量解析(9) 行列データの分解の基礎。多変量データは行列の形に表せることが多い。例えば、学生のいろいろな科目の成績を、たくさんの学生について集めたデータは、学生x科目の形の行列に表すのが自然である。行列の要素の値は、ある学生のある科目(例えば英語)の成績となる。また、ある顧客がどの商品をどれだけ購入したか(あるいは、購買したか否か)、ある文書にある単語がどれだけ現れたか(あるいは現れたか否か)をたくさんの顧客や文書について集めたデータも、顧客x商品や、文書x単語の形の行列として表せる。
本記事は、こうした行列の形をしたデータをいくつかの行列の席に分解するタイプのデータ解析について述べている。これによって個々のデータはいくつかの値の積の和に分解され、本質的な変数が抽出される。そして、そこでスパース性の性質が導入される形となる。
ここでは、この行列の分解の手法として行列の特異値分解(singular value decomposition:SVD)の理論について述べている。
スパースモデリングと多変量解析(10) 行列データの分解の活用
スパースモデリングと多変量解析(10) 行列データの分解の活用。行列の因子分解は無数に考えられるが、元の行列の各行のベクトルの正規直行基底による展開を与えるような分解で、かつ展開を途中までで打ち切った場合に、それが元のデータを2乗誤差最小の意味で近似しているような分解が、特異値分解によって求められる。
こうした分解を通じた低ランク近似は、顧客x商品のデータに限らず、さまざまなデータに対して適用されている。例えば、Xが文書x単語のデータの場合には、その行列を特異値分解する手法は、潜在意味解析(latent semansic analysis:LSA)あるいは、潜在意味索引付け(latent semantic indexing:LSI)と呼ばれている。
この行列を特異値分解すると、文章の意味を表すための新しい基底(複数の単語の意味を重み付きで組み合わせたような概念=トピック)と、それを用いた文書の表現が得られる。たとえば、先程の買い物の例を文書x単語行列だと見ると、パンに関する文書群と、くだものに関する文書群のデータから、パンのトピックと、果物のトピックが抽出されると解釈できる。
スパースモデリング性を用いた機械学習の理論
機械学習プロフェッショナルシリーズ「スパース性に基づく機械学習」読書メモ
機械学習プロフェッショナルシリーズ「スパース性に基づく機械学習」読書メモ。
スパース性に基づく機械学習の概要
スパース性に基づく機械学習の概要。スパースについての概略について述べている。
機械学習の基礎とノルムと正則化
機械学習の基礎とノルムと正則化。今回はデータから学習することは何かについて述べ、期待誤差、経験誤差、UIなど機械学習の一般的な用語を説明し、なぜか学習を抑えるために正則化が必要なのか述べる。
スパース性とL1ノルムの導入
スパース性とL1ノルムの導入。今回はオッカムの剃刀(いわゆるケチの原理)からスパース性を導入し、その凸近似として直感的にL1ノルム正則化を導入する。また、人工データを用いていくつかのヒューリスティクスとL1ノルム正則化を比較し、単純なヒューリスティクスよりも性能が良いことを示す。
ノイズなしL1ノルム最小化の理論 線型方程式を満たすスパースな解を求める問題
ノイズなしL1ノルム最小化の理論 線型方程式を満たすスパースな解を求める問題。今回はL1ノルムを最小化することにより、少数の観察から整形方程式を満たすスパースな解を求める問題について述べる。与えられた観測から真のスパースなベクトルを見つけることができる条件を幾何学的に考察し、さらにランダムに問題が与えられた場合にそのような条件が満たされる確率を計算する式を与える。
スパース性に基づく機械学習としてのノイズありL1ノルム最小化の理論(1)
スパース性に基づく機械学習としてのノイズありL1ノルム最小化の理論(1)。前回は、観測雑音のない場合に低次元の観測から高次元のスパースなベクトルを復元することが可能な条件を調べた。ここでは、雑音を含む線形観測からスパースなベクトルを復元する問題を考え、L1ノルム正則化に基づく推定量の性能を解析する。前回までとの相違点は観測雑音を考慮する点と、真のベクトルが厳密にスパースでない場合にも対応している点になる。またこれらの解析を通じてなぜ高次元の場合(n≪d)にL1ノルムが有効なのかを明らかにする。
スパース性に基づく機械学習としてのノイズありL1ノルム最小化の理論(2)
スパース性に基づく機械学習としてのノイズありL1ノルム最小化の理論(2)。真の回帰係数ベクトルω*の絶対値の上位k個の係数によって張られるk次元部分空間をSk∈ℝdとし、その直交補空間を\(S_k^⊥\)とする。したがって、前述で定義した\(\omega*=\omega_{S_k}^*+\omega_{S_k^⊥}^*\)は直交成分となる。例えば、ω*=(0.5,1,-2,0.1)Tであれば、k=2に関する分解は以下のようになる。
スパース学習モデルのための L1ノルム正則化のための最適化手法
スパース学習モデルのための L1ノルム正則化のための最適化手法。今回は機械学習で頻繁に現れる最適化問題のための最適化法として、繰り返し重みつき縮小法、(加速付き)近接更新式、双対拡張ラグランジュ法、双対交互方向乗数法について述べる。また、その仮定でノルムの変分表現、prox作用素、凸共役などの概念についても述べる。
L1ノルム正則化のための最適化手法としての双対拡張ラグランジュ法・双対交互方向乗数法
L1ノルム正則化のための最適化手法としての双対拡張ラグランジュ法・双対交互方向乗数法。(加速付き)近接勾配法は勾配法をなめらかでない正則化項を持つ問題に拡張したものとなる。そのために勾配法の持つ問題点も継承している。例えば下図(b)に示すようにデータ行列Xの条件数が悪い場合、収束はかなり遅くなることがある。
グループL1ノルム正則化に基づくスパース機械学習
グループL1ノルム正則化に基づくスパース機械学習。今回はあらかじめ定義したグループ構造を時間遷移として利用し、グループ単位でゼロ/非ゼロを選択するためのノルムについて述べ、マルチタスク学習、マルチカーネル学習や、ベクトル場の推定に有効であることをみる。
トレースノルム正則化に基づくスパース機械学習
トレースノルム正則化に基づくスパース機械学習。低ランク行列は協調フィルタリング、システム同定、行列を入力とするnxdなど、非常に多くの応用がある。ただし、低ランク行列を直接扱うことは、非凸であり、やや解きにくい最適化問題となってしまう。今回は、L1ノルム正則化の自然な拡張として得られるトレースノルムが低ランク性を誘発すること、双対ノルムやprox作用素などの多くのL1ノルムに関する性質が行列の特異値に対して拡張されることについて述べる。
重複型スパース正則化によるスパース機械学習
重複型スパース正則化によるスパース機械学習。今回は重複のあるスパース正則化について述べる。重複のあるスパース正則化は、例えばベクトルω∈ℝdの部分ベクトルや線形変換したものに関するスパース正則化項を雲合わせたもので、画像処理、統計、テンソル分解などの応用がある。
アトミックノルムによるスパース機械学習の定義と具体例
アトミックノルムによるスパース機械学習の定義と具体例。L1ノルム、グループL1ノルム、トレースノルムは、それぞれベクトルの要素単位のスパース性、グループ単位のスパース性、行列の低ランク性という異なる種類のスパースを誘導する。直感的には、これらのノルムの単位球はそれぞれの意味でスパースとなる点で尖っているために、それぞれスパース性と結びついている。今回は、この幾何学的な直感をアトミックノルムを用いて述べ、上記のノルムがこの枠組みから得られるだけでなく、新しいスパース性を導くノルムを定義することができることについて述べる。
アトミックノルムによるスパース機械学習の数学的性質と最適化
アトミックノルムによるスパース機械学習の数学的性質と最適化。アトミックノルムとアトム集合の凸包を単位球とするノルムの等価性とアトミックノルムの双対ノルムの表現の2つの数学的性質について述べる。アトミックノルムは数学的に洗練されており、さまざまなスパース性を誘導するノルムを含んでいるものの、L1ノルム、グループL1ノルム、トレースノルムなどの特殊な場合をのぞいて、ノルムを計算すること自体や、ノルムに関するprox作用素を計算することが困難となる。ある程度の精度の最適化で十分な場合に有効なフランク・ウォルフェ法と、もうすしこ高い精度の解を得たい場合に有効な双対交互方向乗数法について述べる。最後にロバスト主成分分析を用いた前景画像抽出の具体例を示す。
何がスパース性を誘発して、どのような問題にスパース性は適しているのか?
何がスパース性を誘発して、どのような問題にスパース性は適しているのか?。スパース学習では、「非ゼロ要素の数」という最適化しにくい量の代わりにL1ノルムが用いられる。L1ノルムは連続で、非ゼロ要素の数が少ない(スパースな)点で微分不可能なため、最適解は一般にスパースになる。この意味においては、以下のような連続で、ベクトルωの各要素の絶対値|ωj|に関して凹(上に凸)で単調な関数gの和は、同様にスパース正則化項として有効だと言える。
マルチタスク学習の概要と適用事例と実装例
マルチタスク学習の概要と適用事例と実装例。マルチタスク学習（Multi-Task Learning）は、複数の関連するタスクを同時に学習する機械学習の手法となる。通常、個々のタスクは異なるデータセットや目的関数を持っているが、マルチタスク学習ではこれらのタスクを同時にモデルに組み込むことで、相互の関連性や共有できる情報を利用して互いに補完しあうことを目指している。
ここではこのマルチタスクに対して、共有パラメータモデル、モデルの蒸留、転移学習、多目的最適化等の手法の概要について述べ、自然言語処理、画像認識、音声認識、医療診断等の応用事例とpythonによる簡易な実装例について述べている。
スパースモデリングについての外部(HARCUS)の記事
スパースモデリングについての外部(HARCUS)の記事。スパースモデリングの基本的なアイデアとLassoの紹介。線形回帰モデルでのノイズ因子の除去についての実例を踏まえた解説。
スパースモデリングの教科書(英語)
スパースモデリングの教科書(英語)。スパースモデリングに対する世界的に有名な教科書
スパースモデリングと多変量データ解析
スパースモデリングと多変量解析(1)モデルの当てはまりと予測性能の違いとlasso
スパースモデリングと多変量解析(1)モデルの当てはまりと予測性能の違いとlasso。bias-variance delemma(bias-variance trade-off)とは「当てはめるモデルが複雑になればなるほど、それぞれのパラメータによるばらつきの影響が大きくなり、サンプルの数が少ない場合はそれらの影響が、パラメータを増やすことによるモデルの表現力の向上(データを無理やり自分の型にはめこんで歪める降下(bias)」よりも強くなっている」こと。
データ解析では「真のモデル」がわかっているわけではないので、モデル選択を行うためには、真のモデルなしで「予測の良さ」を見積もるCV、AIC、Cp等の手法を用いる。
モデルの説明変数の候補がM個ある場合に、上記の手法を使ってもれなく探索するには(定数関数も含めて)2M個のモデルから選ぶ必要があり、それらの中から効率的に選択する手法としてスパースモデリングがある。
医学研究におけるメタアナリシス 科学的根拠に基づく医療におけるエビデンス統合の方法
医学研究におけるメタアナリシス 科学的根拠に基づく医療におけるエビデンス統合の方法。メタアナリシスでは、個々の試験では情報量が不足し、十分な精度のもとで推測を行えないような場合にも、複数の試験のデータを統合することによって、より大きな情報量に基づく治験効果の評価が可能となる。
ここで問題となるのは「すべての試験における相対リスクは共通」という仮定となる。一般的に、このように集められた試験は、異なる時期、異なる地域(国)・施設で行われており、試験間で、参加者の背景や試験薬の用量・アウトカムの定義など、さまざまな要因が厳密には異なることが一般的となる。
スパース学習を用いた応用
疎構造学習による異常検知 – 変数同士の依存関係の崩れを異常と結びつけるグラフモデルとL1正則化
疎構造学習による異常検知 – 変数同士の依存関係の崩れを異常と結びつけるグラフモデルとL1正則化 。多変量の変数で表される系の監視業務などでは、個々の異常現象に対する各変数の寄与度を知ることが重要になる。単純ベイズ法のようなある意味極端な方法を除き、それを行うための手段は多くない。ここでは、変数同士の依存関係の崩れを異常と結びつけるという考え方に基づき、個々の変数の異常度を計算する手段について述べる。変数同士の依存関係を学習するにあたっては、本質的な依存関係を効率よく抽出できるように算法を工夫する。それにより、見かけ状の次元が高くても、系に内在するモジュール構造を自動的に抽出することが可能となる。
劣モジュラ最適化を用いた構造正則化学習(1)正則化とp-ノルムの復習
劣モジュラ最適化を用いた構造正則化学習(1)正則化とp-ノルムの復習。構造正則化学習は、教師あり学習において、データ変数間の構造を利用するための枠組みちなる。ここでは、構造正則化と劣モジュラ関数の関係と、この関係を用いた劣モジュラ最適化による構造正則化のためのアルゴリズムについて述べる。
機械学習の手法を適用したいデータが手元にあるとき、そのデータの各変数が互いにまったく無関係であることはまずない。たとえば画像データを扱うときは、モデル中の変数が画像中の画素に対応するので、画素の隣接構造が変数間の関係として存在しているといえる。また、遺伝子データを扱うときは、各変数は遺伝子に対応するので、知られている遺伝子相互作用などが存在する。学習においては、こうした関係を考慮することで精度の向上が可能となったり、解釈しやすいモデルが得られることが期待できる。
ここでは、このようなデータ変数間の構造を未知いた機械学習手法である構造正則化について述べる。この様な構造は、いわば学習における事前情報となるので、うまく利用することで問題の実質的な次元を減らし学習性を向上させる。このため構造正則化はいわゆる疎性モデリングへのアプローチであるとも捉えられる。
近年では、構造正則化は、劣モジュラ最適化と密接な関係があることが指摘され注目されている。理論的な面白さだけではなく、実用的には、構造正則化学習が極めて高速に計算できるネットワークフローへと帰着できることも、この関係の重要な点となる。
劣モジュラ最適化を用いた構造正則化学習(2)劣モジュラ関数から得られる構造的疎性
劣モジュラ最適化を用いた構造正則化学習(2)劣モジュラ関数から得られる構造的疎性。ここで劣モジュラ関数から得られる構造的疎性について述べる。前述した𝓵pノルムによる正則化は、この形からわかる様に、各変数ω1,…,ωdについて一様な扱いをする形となっている。しかし、この一妖精は正則化においては必須ではない。ここでは、正則化を拡張し、データの変数間にある関係を明示的に利用する方法である構造正則化(structured regularization)について述べる。
正則化により得られる疎性には、大きく2つのタイプが存在する。まずぬつは、上記の𝓵1正則化のように、多くのパラメータを縮退させて0の値を取るという形の疎性となる。𝓵1正則化では疎性が促される単位は各変数であったが、後述する様にこれを拡張させて、事前に与えた変数上のグループ単位で考えることもできる。そして、もう一つのタイプは、性質の近い複数のパラメータが同じ値を取りやすい様な疎性となる。ここでは、前者のタイプをグループ型の正則化、そして後者のタイプを結合型の正則化と呼ぶこととする。
劣モジュラ最適化を用いた構造正則化学習(3)構造正則化問題の劣モジュラ最適化による定式化
劣モジュラ最適化を用いた構造正則化学習(3)構造正則化問題の劣モジュラ最適化による定式化。離散情報の最適化手法である劣モジュラ関数最適化の構造正則化問題への適用と劣モジュラ最適化を用いた定式化(線形近似と最急効果法、加速近接勾配法、FISTA、パラメトリック劣モジュラ最小化、分割アルゴリズム)
ノンパラメトリックベイズを用いた因子分析・スパースモデリングへの応用
ノンパラメトリックベイズを用いた因子分析・スパースモデリングへの応用。今回は、因子分析・スパースモデリングにおけるノンパラメトリックベイズについて述べる。ここでは、ベータ過程というノンパラメトリックベイズモデルを構成するもう一つの確率過程を中心に述べる。
アプローチとしては、ベータ-ベルヌーイ分布モデルを使った無限次元のバイナリ行列生成過程を考えるものとなる。具体的なアルゴリズムはインド料理ブュッフェ過程(Indian buffet process,IBP)と呼ばれている。これらをギブスサンプリングを用いて計算する。
圧縮センシングとスパースモデリングの違い
圧縮センシングとスパースモデリングの違い。圧縮センシングが少ない観測データからスパースな元のデータを推定するデコーディング手法であるのに対し、元のデータを辞書と呼ばれる基底ベクトルとスパースなベクトルで表現するためのエンコーディング手法であるスパースコーディングも2000年代に提唱されている。スパースコーディングを使うことによりデータの圧縮を行えるだけでなく、画像からノイズを除去したり、画像の解像度を上げる超解像などさまざまな応用が可能となる。
スパース性をベースに考える問題として有効なものに以下のようなものがある。
- 次元dがサンプル数nよりもずっと大きい学習/推定問題
- 予測性能だけではなく、なぜ予測されたのかを説明できることが重要な問題
- 検出したい信号の分布が裾が重い
- 除去したい雑音の分布が裾が軽い
バイオインフォマティクスなどの分野でスパース性が積極的に利用されているのは仮説候補の数dがサンプルnよりもずっと大きいというa.の理由と、究極の目的が予測することではなく生物というシステムを理解することであるというb.の理由が考えられる。
また地学の物理探索や画像の雑音除去などで比較的早い時期からスパース性が用いられたのは、これらの問題が逆問題であるというa.の問題だけではなく、以下のように検出したい信号の裾が重いというc.の性質が要綱な仮説であるという理由が挙げられる。
また、これらを計算するためのアルゴリズムについては、Rだとglmnetライブラリ、pythonだとscikit-learnにもある。また、富岡が公開している双対拡張ラグランジェ(DAL)法のパッケージや、フランスののグループSPAMS(sparse modeling software)等もある。
コメント
[…] これに対して機械学習の領域では、計算の効率化や最適化アルゴリズムなどを統計理論に取り入れることで、大規模データへの適応を目指して発展してきた。例としては、機械学習の初期の大きな成功であるサポートベクトルマシンや、近年爆発的に発展している高次元スパース学習、そして従来の統計的パターン認識の限界を大きく超え、人間に劣らない認識能力を発達しつつある深層学習等がある。 […]
[…] ノンパラメトリックベイズモデルは、一言で言うと「無限次元」空間での確率モデルであり、それらを効率的に計算できるマルコフ連鎖モンテカルロ法に代表される近代的な探索アルゴリズムでもある。その適用先としては、フレキシブルな生成モデルによるクラスタリングや、統計モデルを用いた構造変化推定、因子分析やスパースモデリングへの応用等がある。 […]
[…] ここで特徴量が何百、何千とあった場合には、特徴量をすべてそのまま使うと解釈性は下がってしまう。インスタンスよりも特徴量が多い場合は学習ができないという状況にも陥る。このような場合には、以前述べたスパース学習で解説したLassoを用いて、特徴量の選択と選択された特徴量の重みの正規化を行うアプローチがよく用いられる。 […]
[…] FriedmanとPopescuにより2008年に提案されたRuleFitアルゴリズムは、元の特徴量と決定規則である多数の新しい特徴量を用いて、スパース線形モデルを学習することで、特徴間の相互作用を結合したスパース線形モデルの学習に使われる。生成される特徴量は、決定木から分割された決定を結合し、規則とすることで、木を通る各パスを決定規則に変換することで自動的に生成される。 […]
[…] これらに適用される技術としては、離散データの最適化である劣モジュラ最適化や、スパースモデリングを使った圧縮センシング、また各種推論技術等がある。 […]
[…] これらオントロジーによって整理されたナレッジとストリームデータハンドリングに代表されるIOT技術、更にスパースモデリングや深層学習、時系列データ解析等の機械学習技術や、各種推論技術を組み合わせることで、自律的なリスク管理システムの構築が可能となる。 […]
[…] Valu Decomposition)、PMD(スパース行列分解:Penalized Matrix Decomposition)、NMF(非負値行列因子分解:Non-negative Matrix […]
[…] 2000年代後半には、画像認識アルゴリズムの発展に合わせて、画像認識用のデータ集合にも大規模かつ低バイアスなものに進化していく。大規模データにも対応可能なように、線形分類器との相性の良いスパースコーディングやカーネル法を利用した画像特徴の開発が盛んに行われている。 […]
[…] 機械学習技術のブレークスルーの一つであるスパース性を用いた機械学習技術の参考図書である機械学習プロフェッショナルシリーズ 「スパース性に基づく機械学習」より。読書メモを記載する。 […]
[…] 機械学習技術のブレークスルーの一つであるスパース性を用いた機械学習技術の参考図書である機械学習プロフェッショナルシリーズ 「スパース性に基づく機械学習」より。今回はスパース性を用いたの機械学習の概要について述べる。 […]
[…] 機械学習技術のブレークスルーの一つであるスパース性を用いた機械学習技術の参考図書である機械学習プロフェッショナルシリーズ 「スパース性に基づく機械学習」より。前回は概要を述べた、今回はスパース性学習の基本となる機械学習の基礎とノルムと正則化について述べる。 […]
[…] 機械学習技術のブレークスルーの一つであるスパース性を用いた機械学習技術の参考図書である機械学習プロフェッショナルシリーズ 「スパース性に基づく機械学習」より。前回はスパース性学習の基本となる機械学習の基礎とノルムについて述べた、今回はスパース性とL1ノルムの導入について述べる。 […]
[…] データ圧縮や特徴量抽出に活用されるスパースモデル機械学習 | Deus Ex Machi… より: 2021年8月9日 4:48 AM […]
[…] まず最初の分類が本質的 (intrinsic) か後付けか (post-hoc) で、本質的な解釈は機械学習モデルの構造をシンプルに述べられる場合に行われるもので、例えば単純な決定木やスパース制約をかけた線形モデルが該当する。後付けの解釈はモデルを学習した後に解釈するための手法で、例えばPermutation Feature Importance は決定木に適用する後付けの解釈となる。 […]
[…] 機械学習技術サマリー スパース性を用いた機械学習サマリー 説明できる機械学習サマリー […]
[…] 機械学習技術サマリー スパース性を用いた機械学習サマリー 説明できる機械学習サマリー […]
[…] 機械学習技術サマリー スパース性を用いた機械学習サマリー 説明できる機械学習サマリー […]
[…] 機械学習技術サマリー スパース性を用いた機械学習サマリー 説明できる機械学習サマリー […]
[…] データ圧縮や特徴量抽出に活用されるスパースモデル機械学習 | Deus Ex Machi… より: 2021年8月30日 5:00 AM […]
[…] 機械学習技術サマリー スパース性を用いた機械学習サマリー 画像情報処理技術サマリー 説明できる機械学習サマリー […]
[…] 機械学習技術サマリー スパース性を用いた機械学習サマリー 画像情報処理技術サマリー 説明できる機械学習サマリー […]
[…] 機械学習技術サマリー スパース性を用いた機械学習サマリー 説明できる機械学習サマリー […]
[…] 機械学習技術サマリー スパース性を用いた機械学習サマリー 説明できる機械学習サマリー […]
[…] 機械学習技術サマリー スパース性を用いた機械学習サマリー 自然言語処理サマリー 説明できる機械学習サマリー […]
[…] デジタルトランスフォーメーションサマリー 人工知能技術サマリー 異常検知・変化検知技術サマリー 機械学習技術サマリー スパース性を用いた機械学習サマリー 説明できる機械学習サマリー […]
[…] 人工知能技術サマリー デジダルトランスフォーメーションサマリー 深層学習技術サマリー 機械学習技術サマリー スパースモデリングサマリー […]
[…] 機械学習技術サマリー 確率的生成モデルサマリー サポートベクトルマシンサマリー スパースモデリングサマリー 人工知能技術サマリー デジタルトランスフォーメーション技術サマリー […]
[…] 機械学習技術 確率的生成モデル サポートベクトルマシン スパースモデリング 人工知能技術 異常検知・変化検知技術 関係データ学習 デジタルトランスフォーメーション技術 […]
[…] 機械学習技術 確率的生成モデル サポートベクトルマシン スパースモデリング 人工知能技術 異常検知・変化検知技術 デジタルトランスフォーメーション技術 […]
[…] 機械学習技術 確率的生成モデル サポートベクトルマシン スパースモデリング 人工知能技術 異常検知・変化検知技術 デジタルトランスフォーメーション技術 […]
[…] スパース性を用いた機械学習 機械学習技術 デジタルトランスフォーメーション技術 人工知能技術 […]
[…] 機械学習技術 確率的生成モデル サポートベクトルマシン スパースモデリング 人工知能技術 異常検知・変化検知技術 関係データ学習 デジタルトランスフォーメーション技術 […]
[…] 雑記 テクノロジー一般 スパース性を用いた機械学習 機械学習技術 デジタルトランスフォーメーション技術 人工知能技術 オンライン学習技術 画像情報処理技術 ストリームデータの処理 […]
[…] 機械学習技術 確率的生成モデル サポートベクトルマシン スパースモデリング 人工知能技術 異常検知・変化検知技術 関係データ学習 時系列データ解析 デジタルトランスフォーメーション技術 […]
[…] 機械学習技術 確率的生成モデル サポートベクトルマシン スパースモデリング 人工知能技術 異常検知・変化検知技術 関係データ学習 時系列データ解析 デジタルトランスフォーメーション技術 […]
[…] 機械学習技術 確率的生成モデル サポートベクトルマシン スパースモデリング 人工知能技術 異常検知・変化検知技術 関係データ学習 時系列データ解析 デジタルトランスフォーメーション技術 […]
[…] 機械学習技術 確率的生成モデル サポートベクトルマシン スパースモデリング 人工知能技術 異常検知・変化検知技術 関係データ学習 時系列データ解析 Rと機械学習 デジタルトランスフォーメーション技術 […]
[…] 機械学習技術 確率的生成モデル サポートベクトルマシン スパースモデリング 人工知能技術 異常検知・変化検知技術 関係データ学習 時系列データ解析 シミュレーションと機械学習 デジタルトランスフォーメーション技術 […]
[…] 機械学習技術 確率的生成モデル サポートベクトルマシン スパースモデリング 人工知能技術 異常検知・変化検知技術 関係データ学習 時系列データ解析 シミュレーションと機械学習 デジタルトランスフォーメーション技術 […]
[…] 機械学習技術 確率的生成モデル サポートベクトルマシン スパースモデリング 人工知能技術 異常検知・変化検知技術 関係データ学習 時系列データ解析 デジタルトランスフォーメーション技術 […]
[…] 機械学習技術 確率的生成モデル サポートベクトルマシン スパースモデリング 人工知能技術 異常検知・変化検知技術 関係データ学習 時系列データ解析 デジタルトランスフォーメーション技術 […]
[…] 機械学習技術 確率的生成モデル サポートベクトルマシン スパースモデリング 人工知能技術 異常検知・変化検知技術 関係データ学習 時系列データ解析 シミュレーションと機械学習 デジタルトランスフォーメーション技術 […]
[…] 機械学習技術 確率的生成モデル サポートベクトルマシン スパースモデリング 人工知能技術 異常検知・変化検知技術 関係データ学習 時系列データ解析 Rと機械学習 デジタルトランスフォーメーション技術 […]
[…] 機械学習技術 確率的生成モデル サポートベクトルマシン スパースモデリング 人工知能技術 異常検知・変化検知技術 関係データ学習 時系列データ解析 Rと機械学習 デジタルトランスフォーメーション技術 […]
[…] 機械学習技術 確率的生成モデル サポートベクトルマシン スパースモデリング 人工知能技術 異常検知・変化検知技術 関係データ学習 時系列データ解析 シミュレーションと機械学習 デジタルトランスフォーメーション技術 […]
[…] 機械学習技術 確率的生成モデル サポートベクトルマシン スパースモデリング 人工知能技術 異常検知・変化検知技術 関係データ学習 時系列データ解析 シミュレーションと機械学習 デジタルトランスフォーメーション技術 […]
[…] 機械学習技術 確率的生成モデル サポートベクトルマシン スパースモデリング 人工知能技術 異常検知・変化検知技術 関係データ学習 時系列データ解析 デジタルトランスフォーメーション技術 […]
[…] 機械学習技術 確率的生成モデル サポートベクトルマシン スパースモデリング 人工知能技術 異常検知・変化検知技術 関係データ学習 時系列データ解析 デジタルトランスフォーメーション技術 […]
[…] ユーザーインターフェース技術 知識情報処理技術 プログラミング スパースモデリング 確率的生成モデル サポートベクトルマシン […]
[…] 確率的生成モデル 深層学習 関係データ学習 サポートベクトルマシン スパースモデリング 異常検知・変化検知技術 python […]
[…] ユーザーインターフェース技術 知識情報処理技術 プログラミング スパースモデリング 確率的生成モデル サポートベクトルマシン […]
[…] 2023.03.19 機械学習技術 確率的生成モデル サポートベクトルマシン スパースモデリング 人工知能技術 Clojure デジタルトランスフォーメーション技術 […]
[…] オントロジー技術 確率的生成モデル サポートベクトルマシン スパースモデリング トピックモデル Python […]
[…] ユーザーインターフェース技術 知識情報処理技術 プログラミング スパースモデリング 確率的生成モデル サポートベクトルマシン Prologと知識情報処理 […]
[…] 確率的生成モデル 関係データ学習 サポートベクトルマシン スパースモデリング 時系列データ解析技術 […]
[…] 検索技術 アルゴリズム 確率的生成モデル サポートベクトルマシン スパースモデリング C/C++言語と各種機械学習アルゴリズム […]
[…] 知識情報処理技術 推論技術 プログラミング スパースモデリング 確率的生成モデル サポートベクトルマシン LISP Prolog […]
[…] 確率的生成モデル 関係データ学習 サポートベクトルマシン スパースモデリング 異常検知・変化検知技術 時系列データ解析 […]
[…] オントロジー技術 確率的生成モデル サポートベクトルマシン スパースモデリング トピックモデル Python 自然言語技術 画像処理技術 音声認識技術 […]
[…] オントロジー技術 確率的生成モデル サポートベクトルマシン スパースモデリング トピックモデル Python 自然言語技術 画像処理技術 音声認識技術 […]
[…] オントロジー技術 確率的生成モデル サポートベクトルマシン スパースモデリング トピックモデル Python 自然言語技術 画像処理技術 音声認識技術 […]
[…] 知識情報処理技術 推論技術 プログラミング スパースモデリング 確率的生成モデル サポートベクトルマシン […]
[…] データ圧縮や特徴量抽出に活用されるスパースモデル機械学習 | Deus Ex Machina より: 2022年5月11日 3:21 AM […]
[…] データ圧縮や特徴量抽出に活用されるスパースモデル機械学習 | Deus Ex Machina より: 2022年5月6日 5:17 AM […]
[…] データ圧縮や特徴量抽出に活用されるスパースモデル機械学習 | Deus Ex Machina より: 2022年5月12日 4:44 AM […]
[…] ユーザーインターフェース技術 知識情報処理技術 プログラミング スパースモデリング 確率的生成モデル サポートベクトルマシン […]
[…] Twitter Facebook はてブ Pocket LINE コピー 2024.12.15 雑記 スパース性を用いた機械学習 機械学習技術 デジタルトランスフォーメーション技術 人工知能技術 […]
[…] Twitter Facebook はてブ Pocket LINE コピー 2025.01.12 雑記 スパース性を用いた機械学習 機械学習技術 デジタルトランスフォーメーション技術 人工知能技術 […]
[…] オントロジー技術 確率的生成モデル サポートベクトルマシン スパースモデリング トピックモデル Python 自然言語技術 画像処理技術 音声認識技術 […]
[…] 2024.12.27 機械学習技術 確率的生成モデル サポートベクトルマシン スパースモデリング 人工知能技術 デジタルトランスフォーメーション技術 […]
[…] ユーザーインターフェース技術 知識情報処理技術 プログラミング スパースモデリング 確率的生成モデル サポートベクトルマシン […]
[…] ユーザーインターフェース技術 知識情報処理技術 プログラミング スパースモデリング 確率的生成モデル サポートベクトルマシン […]