疎密なデータでの機械学習とMoE(Mixture of Experts)
疎密なデータでの機械学習
疎な領域（データが少ない）と密な領域（データが多い）が混在するデータ集合に対して深層学習を行うと、以下のような現象や問題が起こりやすくなる。
1. バイアスが生じる（学習...
プログラミング言語:Programming Language
非メトリックMDSの概要とアルゴリズム及び実装例
非メトリックMDS(Non-metric Multidimensional Scaling)の概要
非メトリックMDSは、データの類似性や非類似性（しばしば「順序データ」や「ランキング」として与えられる）を基に、データを...
残差結合について
残差結合について
残差結合（Residual Connection）は、深層学習ネットワークにおいて層を跨いで情報を直接伝達する手法の一つであり、この手法は、特に深いネットワークを訓練する際に発生する勾配消失や勾配爆発の...
NSGA-III(Non-dominated Sorting Genetic Algorithm III)の概要とアルゴリズム及び実装例
NSGA-III(Non-dominated Sorting Genetic Algorithm III)の概要
NSGA-IIIは、多目的最適化(MOO: Multi-Objective Optimization)のため...
パーソナライズドランキングの概要とアルゴリズム及び実装例
パーソナライズドランキングの概要
パーソナライズドランキングは、ユーザーごとに最適な順位でアイテムを提供するランキングの手法で、一般的なランキングシステムでは、全ユーザーに対して同じ順位でアイテムを提示するが、パーソナライ...
揺らぎとその応用
揺らぎについて
「揺らぎ」とは、一般にわずかに動いて定まらない状態や、小さな変化を繰り返して安定しない様子を指す言葉になる。たとえば、「炎の揺らぎ」や「音の揺らぎ」など、物理的に微細な動きを伴う現象を示すほ...
Soft Targetによるモデルの蒸留の概要とアルゴリズム及び実装例について
Soft Targetによるモデルの蒸留の概要
ソフトターゲット（Soft Target）によるモデルの蒸留は、大規模で計算資源の高い教師モデルの知識を、小規模で効率的な生徒モデルに伝達する手法となる。通常、ソフトターゲ...
OpenPoseの概要とアルゴリズム及び実装例
OpenPoseの概要
OpenPoseは、カーネギーメロン大学のペルソナ・コンピュータ・センター（Perceptual Computing Lab）によって開発された、リアルタイムで人間の姿勢を検出するライブラリで...
Code as Dataの概要とアルゴリズム及び実装例について
Code as Dataの概要
"Code as Data"は、プログラムのコード自体をデータとして扱う考え方やアプローチを指し、プログラムをデータ構造として操作し、分析、変換、処理することを可能にする方法と...
ニューラルランキングモデルの概要とアルゴリズム及び実装例
ニューラルランキングモデルの概要
ニューラルランキングモデルは、検索エンジンや推薦システムなどで利用される機械学習モデルの一種であり、主な目的は、与えられたクエリやユーザーの情報に基づいて、最適な順位でアイテム（例えばウェ...