トランスフォーマーXLの概要とアルゴリズム及び実装例について
トランスフォーマーXLについて
「トランスフォーマーXL」は、自然言語処理（NLP）などのタスクで成功を収めた深層学習モデルであるトランスフォーマー（Transformer）の拡張バージョンの一つとなる。トランスフォ...
深層学習:Deep Learning
モンテカルロドロップアウトの概要とアルゴリズム及び実装例について
モンテカルロドロップアウトの概要
モンテカルロドロップアウト（Monte Carlo Dropout）は、ドロップアウト（Dropout）を用いたニューラルネットワークの推論時における不確かさの推定手法となる。通...
Graph Isomorphism Network (GIN)の概要とアルゴリズム及び実装例について
Graph Isomorphism Network (GIN)の概要
高性能なグラフニューラルネットワークは、その構造をデザインする際に経験的な直感やヒューリスティック、 実験的な試行錯誤に頼っているものも多い。...
U-netの概要とアルゴリズム及び実装例について
U-netの概要
U-Netは、画像セグメンテーション（画像の各ピクセルを対応するクラスに割り当てるタスク）におけるディープラーニングアーキテクチャの一つであり、2015年に提案されたこのネットワークは、医療画像処理...
WordPieceの概要とアルゴリズム及び実装例について
WordPieceについて
WordPieceは、自然言語処理（NLP）タスクで用いられるトークン化アルゴリズムの一つで、特に"BERTの概要とアルゴリズム及び実装例について"にも述べているBERT（Bidire...
Denoising Diffusion Probabilistic Models (DDPM)の概要とアルゴリズム及び実装例について
Denoising Diffusion Probabilistic Models (DDPM)の概要
Denoising Diffusion Probabilistic Models（DDPM）は、画像生成やデータ補...
Unigram Language Model Tokenizerの概要とアルゴリズム及び実装例について
Unigram Language Model Tokenizerについて
Unigram Language Model Tokenizer（UnigramLM Tokenizer）は、自然言語処理（NLP）タスク...
マルコフ決定過程（MDP）と強化学習を統合したアルゴリズムと実装例
マルコフ決定過程（MDP）と強化学習を統合したアルゴリズム
"マルコフ決定過程(MDP)の概要とアルゴリズム及び実装例について"で述べているマルコフ決定過程（MDP）と"強化学習技術の概要と各種実装について"で述べ...
GAT (Graph Attention Network)の概要とアルゴリズム及び実装例について
GAT (Graph Attention Network)の概要
"深層学習におけるattentionについて"でも述べている深層学習におけるattention(注意機構)は、 画像や自然言語の特定の部分に注意を...
DDIM (Diffusion Denoising Score Matching)の概要とアルゴリズム及び実装例について
DDIM (Diffusion Denoising Score Matching)の概要
DDIM（Diffusion Denoising Score Matching）は、画像のノイズを除去するための手法の1つで、...