AGIと知識情報/グラフデータに関連する国際学会での論文

人工知能技術セマンティックウェブ技術知識情報処理技術推論技術 AI学会論文デジタルトランスフォーメーション技術オントロジー技術機械学習技術

Artificial General Intelligence（人工一般知能）

本ブログのメインテーマの一つであるAGIとは、Artificial General Intelligence（人工一般知能）の略称で、人間のような汎用的な知能を持つ人工知能を指すものとなる。現在の人工知能技術は、特定のタスクにおいて人間を超える性能を発揮することができるが、それぞれのタスクにおいて専用のモデルを開発する必要がありる一方で、AGIは、人間のように様々なタスクに対応できる一般的な知能を持つことが求められているものとなる。

また、AGI（人工汎用知能）は、様々な種類の知識や情報を網羅的に処理することができる人工知能システムとも言うことができ、知識情報処理やグラフデータとも密接に関連したものとなる。

知識情報処理は、人工知能において重要な技術の1つであり、膨大な量のデータや知識を処理し、抽出、分類、推論、意味解釈などのタスクを実行するために使用されるが、AGIでは、この様々な種類の知識情報処理技術を統合し、人間のように多様なタスクを実行することができるようになることを目指すものであるということができる。

また、グラフデータは、ノードとエッジを用いてデータや知識を表現するための手法であり、それらを用いることで、関係性やパターンを容易に把握することができるため、人工知能においても重要なデータ表現方法の一つとなっている。AGIでは、このグラフデータを効果的に利用し、膨大な量の情報から高度な知識を獲得することができるようになるものであるということができる。

今回は、著名な国際学会で最近(2024年中旬現在)発表された論文の中から、この知識情報処理とグラフデータの機械学習を中心としたトピックをピックアップしたものについて述べる。

ICML(International Conference on Machine Learning)

ICMLは、機械学習分野で最も権威のある学会の1つとして認められている学会となる。ICMLでは、機械学習の理論、アルゴリズム、応用に関する幅広いトピックが取り扱われており、それらの中には、深層学習、強化学習、教師あり学習、教師なし学習、カーネル法、グラフィカルモデル、分布推定などが含まれる。今回は最近のICMLでの注目すべき研究成果として、以下を挙げる。

“COINs: Model-based Accelerated Inference for Knowledge Graphs“：リンク予測と知識グラフのクエリ応答モデルを加速するために、COMmunity INformedグラフ埋め込み(COIN)を導入します。COINは、コミュニティ検出ベースのグラフデータ増強手順を採用し、続いて2段階の予測パイプライン、つまりコミュニティ予測によるノードのローカリゼーション、そして予測されたコミュニティ内のローカリゼーション。私たちは、時間の複雑さの軽減を直接定式化して、私たちの設定における私たちのアプローチの適用性を計るための理論的に正当化された基準を記述します。さらに、モデル評価コストにおける優れたスケーラビリティの数値的証拠を提供します
“Generalizing Knowledge Graph Embedding with Universal Orthogonal Parameterization“：知識グラフ埋め込み(KGE)の最近の進歩は、本質的な論理パターンとトポロジカル構造をモデル化するためのユークリッド/双曲線直交関係変換に依存しています。しかし、既存のアプローチは、制限された次元と均質なジオメトリを備えた厳格な関係直交化に限定されており、モデリング能力が不足しています。この作業では、世帯主反射の一般化された形式に基づく普遍的な直交パラメータ化を特徴とするGoldEという名前の強力なフレームワークを導入することにより、次元と幾何学の両方の面でこれらのアプローチを超えて移動します。このようなパラメータ化は、理論的な保証で次元の拡張と幾何学的統一を自然に達成することができ、私たちのフレームワークが重要な論理パターンと知識グラフの固有のトポロジカルな不均一性を同時にキャプチャすることを可能にします。経験的には、GoldEは3つの標準ベンチマークで最先端のパフォーマンスを達成しています。
“Community-Invariant Graph Contrastive Learning“：グラフの拡張は、近年、よく一般化されたノード/グラフ表現を学ぶためのグラフ対照学習(GCL)に大きな注目を集めています。しかし、主流のGCLメソッドは、多くの場合、拡張のためにランダムにグラフを混乱させることを好みます。これは、限られた一般化を示し、必然的に高レベルのグラフ情報、つまりグラフコミュニティの破損につながります。さらに、現在の知識ベースのグラフ増強方法は、トポロジまたはノード機能のみに焦点を当てることができるため、モデルはさまざまな種類のノイズに対する堅牢性を欠いています。これらの制限に対処するために、この研究はグラフ増強におけるグラフコミュニティの役割を調査し、学習可能なグラフ増強のための重要な利点を解明しました。私たちの観察に基づいて、学習可能なグラフ増強中にグラフコミュニティ構造を維持するためのコミュニティ不変GCLフレームワークを提案します。スペクトルの変化を最大化することで、このフレームワークはトポロジーと機能増強の両方の制約を統一し、モデルの堅牢性を高めます。21のベンチマークデータセットに関する経験的証拠は、私たちのフレームワークの排他的なメリットを示しています。

NeurIPS (Conference on Neural Information Processing Systems)

NeurIPSは、ニューラル情報処理システムに関する世界最大規模の学術会議の1つで、コンピュータサイエンスにおける最も重要な会議の1つとして認められているものとなる。NeurIPSでは、機械学習、深層学習、ニューラルネットワーク、強化学習、自然言語処理などの幅広い分野での発表が行われている。今回は最近のNeurIPSで注目された論文として、グラフニューラルネットワーク、自然言語処理、分子生成などに関する報告を挙げた。

“Learning from Both Structural and Textual Knowledge for Inductive Knowledge Graph Completion“：ルールベースのシステムの学習は、ナレッジグラフ補完(KGC)において極めて重要な役割を果たします。既存のルールベースのシステムは、システムの入力を構造知識のみに制限し、テキスト知識などの推論に役立つ知識を省略する可能性があります。この論文では、ルールベースのシステムを学ぶために、構造知識とテキスト知識の両方を課す2段階のフレームワークを提案します。最初の段階では、遠隔監督によるテキストコーパスから信頼スコア（\emph{soft triples}と呼ばれる）を持つトリプルのセットを計算し、マルチインスタンス学習を備えたテキスト包含モデルが利用され、与えられたトリプルが一連の文によって伴うかどうかを推定します。第2段階では、これらのソフトトリプルは、KGCのルールベースのモデルを学ぶために使用されます。ソフトトリプルによるノイズの悪影響を軽減するために、\emph{text enhanced rules}または略して\emph{TE-rules}という名前で、学習するルールの新しい形式主義を提案します。TEルールを効果的に学習するために、TEルールの推論をシミュレートする神経モデルを提案します。理論的には、TEルールの任意のセットは、神経モデルの特定のパラメータ割り当てによって常に解釈できることを示しています。私たちの方法の有効性を評価するために、3つの新しいデータセットを紹介します。実験結果は、ソフトトリプルとTEルールの導入により、誘導リンク予測の大幅なパフォーマンス向上をもたらすことが示されている。
“UUKG: Unified Urban Knowledge Graph Dataset for Urban Spatiotemporal Prediction“：正確な都市空間時間予測(USTP)は、スマートシティの開発と運営にとって非常に重要です。新興のビルディングブロックとして、マルチソースの都市データは通常、都市知識グラフ(UrbanKG)として統合され、都市時空間予測モデルに重要な知識を提供します。ただし、既存のUrbanKGは、特定の下流予測タスクに合わせて調整されることが多く、一般に公開されていないため、潜在的な進歩が制限されます。この論文では、知識が強化された都市時空間予測のための統一された都市知識グラフデータセットであるUUKGを紹介します。具体的には、まず、行政区、POI、道路セグメントなどの異質な都市エンティティを接続することにより、2つの大都市のための何百万ものトリプレットで構成されるUrbanKGを構築します。さらに、構築されたUrbanKGの定性的および定量的分析を行い、下流のUSTPタスクに利益をもたらすために活用できる階層やサイクルなどの多様な高次構造パターンを明らかにします。UrbanKGの使用を検証し、促進するために、KG完了タスクで15のKG埋め込み方法を実装および評価し、学習したKG埋め込みを5つの異なるUSTPタスクの9つの時空間モデルに統合します。広範な実験結果は、さまざまなタスク設定の下で知識強化USTPモデルのベンチマークを提供するだけでなく、最先端の高次構造を意識したUrbanKG埋め込み方法の可能性を強調しています。提案されたUUKGが、都市知識グラフと幅広いスマートシティアプリケーションに関する研究を促進することを願っています。
“GraphAdapter: Tuning Vision-Language Models with Dual Knowledge Graph“：アダプタースタイルの効率的な転送学習(ETL)は、低データレジームの下でのビジョン言語モデル(VLM)のチューニングで優れたパフォーマンスを示しており、VLMの一般的かつ強力な表現に基づいてタスク固有の知識を発掘するためにいくつかの追加パラメータのみが導入されています。しかし、ほとんどのアダプタースタイルの作品は、2つの制限に直面しています。(i) 単一のモダリティのみでタスク固有の知識をモデル化すること。(ii) ダウンストリームタスクにおけるクラス間関係の活用を見落とし、それによって最適ではないソリューションにつながります。それを軽減するために、GraphAdapterと呼ばれる効果的なアダプタースタイルのチューニング戦略を提案します。これは、デュアルモダリティ構造知識（つまり、テキストおよびビジュアルモダリティの異なるセマンティクス/クラスの相関）をデュアルナレッジグラフで明示的にモデル化することによってテキストアダプターを実行します。特に、デュアルナレッジグラフは、2つのサブグラフ、つまりテキストナレッジサブグラフとビジュアルナレッジサブグラフで確立され、ノードとエッジはそれぞれ2つのモダリティでセマンティクス/クラスとその相関関係を表します。これにより、各プロンプトのテキスト機能は、テキストモダリティとビジュアルモダリティの両方からタスク固有の構造知識を活用でき、ダウンストリームタスクのより効果的な分類器が得られます。11のベンチマークデータセットに関する広範な実験結果は、GraphAdapterが以前のアダプタベースの方法を大幅に上回っていることを明らかにしています。
“Fair Graph Distillation“: グラフニューラルネットワーク（GNN）は、高い計算需要のために大規模なグラフに苦労しているため、グラフデータのデータ蒸留は、両方のグラフで訓練されたGNNの同等の予測性能を維持しながら、大きな実グラフを小さな蒸留グラフに蒸留することによって、この問題を軽減することを約束します。しかし、蒸留グラフで訓練されたGNNは、実際のグラフで訓練されたGNNよりも深刻なグループ公平性の問題を示す可能性があることを観察しています。この観察に動機づけられて、グラフ蒸留法に基づいて小さな蒸留された\textit{公正で有益な}グラフを生成するためのアプローチである\textit{公正なグラフ蒸留}（\Algnameabbr）を提案します。課題は、蒸留グラフのノードの敏感な属性の不足にあり、ほとんどのデバイアス方法（正規化や敵対的デバイアスなど）が蒸留グラフにとって難治性になります。蒸留グラフのコヒーレンスと呼ばれるシンプルで効果的なバイアスメトリックを開発します。提案されたコヒーレンスメトリックに基づいて、バイレベル最適化アルゴリズムを使用した公正なグラフ蒸留のフレームワークを導入します。広範な実験は、提案されたアルゴリズムが、さまざまなデータセットとGNNアーキテクチャにわたって、より良い予測パフォーマンス公平性のトレードオフを達成できることを示しています。

CVPR (IEEE Conference on Computer Vision and Pattern Recognition)

CVPRは、IEEE（Institute of Electrical and Electronics Engineers）が主催する、コンピュータビジョンとパターン認識に関する国際会議で、コンピュータビジョン分野における最も重要な学術会議の1つとされている。CVPRでは、画像認識、画像処理、機械学習、深層学習、3Dビジョン、ロボットビジョンなど、コンピュータビジョンとパターン認識等の幅広い分野での発表が行われている。今回は最近のCVPRで注目された論文として以下を挙げる。

“EGTR: Extracting Graph from Transformer for Scene Graph Generation“：シーングラフ生成(SGG)は、オブジェクトを検出し、オブジェクト間の関係を予測する困難な作業です。DETRが開発された後、1段物体検出器に基づく1段SGGモデルが積極的に研究されてきた。しかし、複雑なモデリングはオブジェクト間の関係を予測するために使用され、オブジェクト検出器のマルチヘッド自己注意で学習されたオブジェクトクエリ間の固有の関係は無視されています。DETRデコーダのマルチヘッド自己注意層で学んださまざまな関係から関係グラフを抽出する軽量のワンステージSGGモデルを提案します。自己注意副産物を十分に活用することで、浅い関係抽出ヘッドで関係グラフを効果的に抽出することができます。オブジェクト検出タスクに対するリレーション抽出タスクの依存性を考慮して、検出されたオブジェクトの品質に応じてリレーションラベルを適応的に調整する新しいリレーションスムージング技術を提案します。関係の平滑化により、モデルは、トレーニングの開始時にオブジェクト検出タスクに焦点を当て、オブジェクト検出パフォーマンスが徐々に向上するにつれてマルチタスク学習を実行する継続的なカリキュラムに従って訓練されます。さらに、関係抽出の補助タスクとして、オブジェクトペア間に関係が存在するかどうかを予測する接続予測タスクを提案します。ビジュアルゲノムとオープンイメージV6データセットの方法の有効性と効率性を実証します。
“Dynamic Graph Representation with Knowledge-aware Attention for Histopathology Whole Slide Image Analysis“：病理組織学的なスライド画像全体(WSI)の分類は、医療顕微鏡画像処理の基本的なタスクとなっています。一般的なアプローチでは、WSIをインスタンスバッグ表現として学習し、重要なインスタンスを強調するが、インスタンス間の相互作用を捉えるのに苦労しています。さらに、従来のグラフ表現方法は、明示的な空間位置を利用してトポロジカル構造を構築しますが、特に空間的に遠い場合、任意の場所のインスタンス間の柔軟な相互作用機能を制限します。これに対応して、知識グラフ構造の一形態としてWSIを概念化する新しい動的グラフ表現アルゴリズムを提案します。具体的には、インスタンス間のヘッドとテールの関係に基づいて、ネイバーと指向エッジ埋め込みを動的に構築します。次に、各ネイバーとエッジの共同注意スコアを学習することで、ヘッドノードの機能を更新できる知識認識の注意メカニズムを考案します。最後に、更新されたヘッドのグローバルプーリングプロセスを通じてグラフレベルの埋め込みを取得し、WSI分類の暗黙の表現として機能します。当社のエンドツーエンドのグラフ表現学習アプローチは、3つのTCGAベンチマークデータセットと社内テストセットで最先端のWSI分析方法を上回っています。
“De-confounded Data-free Knowledge Distillation for Handling Distribution Shifts“：データフリー知識蒸留(DFKD)は、元のトレーニングデータに頼ることなく、実際の展開を強化するために、高性能小型モデルを訓練する有望なタスクです。既存の方法は、一般的に、合成データまたはサンプリングされたデータを利用することで、個人データに頼ることを避けます。しかし、長い間見過ごされていた問題は、それらの置換と元のデータの間で深刻な分布シフトであり、画像の品質とクラスの割合の大きな違いとして現れます。有害なシフトは、本質的にパフォーマンスのボトルネックを大きく引き起こす交絡因子です。この問題に取り組むために、この論文は、そのようなシフトの影響から学生モデルを解きほぐすための因果的推論を伴う斬新な視点を提案しています。カスタマイズされた因果グラフを設計することで、まずDFKDタスクの変数間の因果関係を明らかにします。その後、バックドア調整に基づいて知識蒸留因果介入（KDCI）フレームワークを提案し、交絡を混乱させます。KDCIは、ほとんどの既存の最先端のベースラインと柔軟に組み合わせることができます。6つの代表的なDFKDメソッドと組み合わせた実験は、KDCIの有効性を実証しています。これは、ほぼすべての設定\textit{e.g.}で既存の方法に明らかに役立ち、CIFAR-100データセットのベースラインを最大15.54\%の精度で改善します。

ACM SIGKDD (Knowledge Discovery and Data Mining)

ACM SIGKDD(Knowledge Discovery and Data Mining:知識発見とデータマイニング）の分野における研究を促進するために設立されたACM（Association for Computing Machinery）の特別利益グループとなる。ACM SIGKDDは、機械学習、統計学、データマイニング、データ分析、ビッグデータ、人工知能などの分野に関する研究成果を発表する場として、また、データ科学に関する最新の技術やトレンドに関する情報を共有する場として、世界中の研究者やエンジニアにとって重要な場となっている。今回は最近のACM SIGKDDで注目された論文として、データ拡張の重要性、グラフ生成技術の高速化、対話解体タスクの改善などについて以下に挙げる。

“Exploiting Relation-aware Attribute Representation Learning in Knowledge Graph Embedding for Numerical Reasoning“：数値推論は、推奨や情報検索などの機械学習アプリケーションをサポートするために不可欠なタスクです。推論タスクは、知識グラフで既存の関係情報と数値属性（エンティティの高さなど）を活用して、2つの項目を比較し、新しい事実（例えば、より高い）を推測することを目的としています。しかし、ほとんどの既存の方法は、数値関係を予測するために属性エンコーダまたは追加の損失関数を活用することに依存しています。したがって、属性がまばらに観察される場合、予測パフォーマンスは堅牢ではないことがよくあります。この論文では、RAKGEと呼ばれる数値推論タスクのためのRelation-AAware属性表現学習ベースのナレッジグラフ埋め込み方法を提案します。RAKGEには、関係と対応する数値属性との関連性を活用できる、新しく提案された属性表現学習メカニズムが組み込まれています。さらに、目に見えない正と負の例を生成するための堅牢な自己監視学習方法を導入し、数値属性がまばらに利用可能なときにアプローチをより信頼性の高いものにします。3つの現実世界のデータセットの評価では、提案されたモデルは最先端の方法を上回り、最高の競合他社と比較してHits@1で最大65.1%、MRRで最大52.6%の改善を達成しました。
“Knowledge Graph Self-Supervised Rationalization for Recommendation“：この論文では、知識を意識したレコメンダーシステムのためのKGRecと呼ばれる新しい自己監視合理化方法を紹介します。有益な知識のつながりを効果的に特定するために、知識のトリプレットの合理的なスコアを生成する注意深い知識合理化メカニズムを提案します。これらのスコアにより、KGRecは合理的なマスキングを通じて推奨のための生成的および対照的な自己監督タスクを統合します。知識グラフの理論的根拠を強調するために、マスキング再構築の形で新しい生成タスクを設計します。高い合理的なスコアで重要な知識を隠すことによって、KGRecは理論的根拠として役立つ有用な知識のつながりを再構築し、強調するように訓練されています。知識グラフ学習に対する共同インタラクションの影響をさらに合理化するために、知識とユーザーアイテムのインタラクションビューからの信号を調整する対照的な学習タスクを紹介します。ノイズ耐性のコントラストを確保するために、合理的なスコアで判断される両方のグラフの潜在的なノイズの多いエッジがマスクされています。3つの現実世界のデータセットに関する広範な実験は、KGRecが最先端の方法を上回っていることを示しています。
“Exploring the Potential of Large Language Models (LLMs) in Learning on Graphs“：グラフでの学習は、その幅広い現実世界のアプリケーションのために大きな注目を集めています。テキストノード属性を持つグラフで学習するための最も一般的なパイプラインは、主にグラフニューラルネットワーク（GNN）に依存しており、浅いテキストの埋め込みを初期ノード表現として利用しており、一般的な知識と深い意味理解に限界があります。近年、ラージ言語モデル(LLM)は、テキストデータを処理するための既存のワークフローに革命をもたらした広範な共通知識と強力な意味理解能力を持っていることが証明されています。この論文では、グラフ機械学習、特にノード分類タスクにおけるLLMの可能性を探求し、LLMs-as-EnhancersとLLMs-as-Predictorsの2つの可能なパイプラインを調査することを目指しています。前者は、LLMを活用して、膨大な知識でノードのテキスト属性を強化し、GNNを通じて予測を生成します。後者は、スタンドアロンの予測因子としてLLMを直接採用しようとしています。私たちは、さまざまな設定の下で、これら2つのパイプラインに関する包括的かつ体系的な研究を行っています。包括的な経験的結果から、私たちは独自の観察を行い、新しい可能性を開き、グラフで学習するためにLLMを活用するための有望な方向性を提案する新しい洞察を見つけます

ICLR (International Conference on Learning Representations)

ICLRは、機械学習における表現学習に関する世界的な学会で、表現学習とは、機械学習の一分野であり、データから有用な特徴を抽出するための手法を指す。ICLRでは、深層学習、再帰型ニューラルネットワーク、畳み込みニューラルネットワークなど、表現学習に関する様々な分野の論文が発表されている。今回は最近のICLRで注目された論文として、大規模言語モデルの性能向上、多言語処理技術の改善、画像編集技術の革新などについて以下に挙げる。

“GraphLLM: Boosting Graph Reasoning Ability of Large Language Models“：大規模言語モデル(LLM)の進歩は、画像やオーディオを含むがこれらに限定されない多様な種類の情報を理解する優れた能力により、人工一般知能(AGI)への境界を著しく押し広げました。この進歩にもかかわらず、LLMがグラフデータを巧みに理解し、推論できるようにする上で、重大なギャップが残っています。最近の研究では、基本的なグラフ推論タスクに関するLLMの圧倒的なパフォーマンスを強調しています。この論文では、グラフ推論におけるLLMを妨げる障害を発掘し、グラフを自然言語記述（Graph2Text）に変換する一般的な慣行を根本的なボトルネックとして特定するよう努めています。この障害を克服するために、グラフ学習モデルとLLMを相乗的に統合する先駆的なエンドツーエンドのアプローチであるGraphLLMを導入します。この相乗効果は、グラフ学習モデルの優れた表現力を活用して、グラフデータを巧みに解釈し、推論する能力をLLMに提供します。4つの基本的なグラフ推論タスクにわたる経験的評価は、GraphLLMの有効性を検証します。結果は、さまざまなグラフ推論タスクで96.45%の注目すべきコンテキスト削減とともに、54.44%の大幅な平均精度向上を示しています。
“Think-on-Graph: Deep and Responsible Reasoning of Large Language Model on Knowledge Graph“：大規模な言語モデル(LLM)はさまざまなタスクで大きな成功を収めていますが、特に深く責任ある推論を必要とするシナリオでは、幻覚の問題に苦労することがよくあります。これらの問題は、LLM推論に外部知識グラフ（KG）を導入することで部分的に解決できます。この論文では、新しいLLM-KG統合パラダイムを提案します。LLM⊗KGLLMをエージェントとして扱い、KGの関連エンティティや関係をインタラクティブに探索し、取得した知識に基づいて推論を実行します。LLMエージェントがKGでビーム検索を反復的に実行し、最も有望な推論パスを発見し、最も可能性の高い推論結果を返すThink-on-Graph（ToG）と呼ばれる新しいアプローチを導入することで、このパラダイムをさらに実装します。私たちは、多くのうまく設計された実験を使用して、ToGの次の利点を検討し、説明します。1）LLMと比較して、ToGはより深い推論力を持っています。2）ToGは、LLMの推論と専門家のフィードバックを活用することにより、知識のトレーサビリティと知識の正確性の能力を持っています。3）ToGは、追加のトレーニングコストなしで、さまざまなLLM、KG、およびプロンプト戦略のための柔軟なプラグアンドプレイフレームワークを提供します。4）小さなLLMモデルを使用したToGのパフォーマンスは、特定のシナリオでGPT-4などの大規模なLLMを超える可能性があり、これによりLLMの展開とアプリケーションのコストを削減します。より低い計算コストとより良い一般性を備えたトレーニングフリーの方法として、ToGは、以前のほとんどのSOTAが追加のトレーニングに依存している9つのデータセットのうち6つで全体的なSOTAを達成します。
“Towards Foundation Models for Knowledge Graph Reasoning“：言語とビジョンの基礎モデルは、言語のトークンの語彙などの譲渡可能な表現のおかげで、テキストおよび視覚的な入力に対して推論を実行する能力を持っています。知識グラフ(KG)には、一般的に重複しない異なるエンティティと関係の語彙があります。KGの基礎モデルを設計する際の重要な課題は、任意のエンティティと関係語彙を持つ任意のグラフで推論を可能にする、そのような譲渡可能な表現を学ぶことです。この作業では、このような基礎モデルへの一歩を踏み出し、普遍的で転送可能なグラフ表現を学ぶためのアプローチであるULTRAを提示します。ULTRAは、相互作用を条件とする関数としてリレーショナル表現を構築します。このようなコンディショニング戦略により、事前に訓練されたULTRAモデルは、任意の関係語彙を持つ目に見えないKGに帰納的に一般化し、任意のグラフで微調整することができます。57の異なるKGでリンク予測実験を行うと、さまざまなサイズの目に見えないグラフ上の単一の事前訓練されたULTRAモデルのゼロショット誘導推論性能は、多くの場合、特定のグラフで訓練された強いベースラインよりも同等または優れていることがわかりました。微調整はパフォーマンスをさらに向上させます。

TNNLS（IEEE Transactions on Neural Networks and Learning Systems）

TNNLSは、神経ネットワークと機械学習に関する論文を掲載する学術誌で、神経ネットワーク、深層学習、強化学習、カーネル法、統計学習理論、最適化理論、進化計算など、機械学習に関する幅広い分野の論文が掲載されているものとなる。今回は最近のTNNLSで注目された論文として、”進化的アルゴリズムの概要とアルゴリズム及び実装例について“でも述べている進化的アルゴリズムや多目的最適化手法をディープラーニングに組み合わせた新しい手法や、グラフデータに対する深層学習の応用などについて以下に挙げる。

“RARE: Robust Masked Graph Autoencoder“：マスクグラフオートエンコーダ(MGAE)は、そのシンプルさと有効性により、有望な自己監視グラフ事前トレーニング(SGP)パラダイムとして浮上しています。しかし、既存の取り組みは、グラフデータの重要な非ユークリッド特性を無視しながら、コンピュータビジョン（CV）および自然言語処理（NLP）領域で行われるように、生のデータ空間でマスクと再構築操作を実行します。その結果、非常に不安定なローカル接続構造は、マスクされたデータを推測する不確実性を大幅に高め、悪用された自己監視信号の信頼性を低下させ、下流評価のための劣った表現につながります。この問題に対処するために、高次潜在機能空間でノードサンプルをさらにマスキングおよび再構築することにより、マスクされたデータを推測する確実性と自己監視メカニズムの信頼性を向上させるために、堅牢なmAsked gRaph autoEncoder（RARE）と呼ばれる新しいSGP方法を提案します。理論的および経験的分析の両方を通じて、潜在的な機能と生のデータ空間の両方で共同マスク再構築戦略を実行すると、安定性とパフォーマンスが向上する可能性があることがわかりました。この目的のために、生データの観点から観察するのが難しい高次サンプル相関の指導の下で、マスクされたノードの潜在機能を予測するマスクされた潜在機能補完スキームを精巧に設計します。具体的には、まず潜在機能予測器を採用して、目に見えるものからマスクされた潜在機能を予測します。次に、マスクされたサンプルの生データを運動量グラフエンコーダでエンコードし、その後、結果の表現を使用して、潜在的な特徴マッチングを通じて予測結果を改善します。17のデータセットに関する広範な実験により、3つのダウンストリームタスクにわたる最先端の（SOTA）競合他社に対するRAREの有効性と堅牢性が実証されています。
“Correlation-aware Spatial-Temporal Graph Learning for Multivariate Time-series Anomaly Detection“：多変量時系列異常検出は、小売、輸送、電力網、水処理プラントなど、多くのアプリケーションで非常に重要です。この問題に対する既存のアプローチは、主に非線形関係をうまく捉えることができない統計モデル、または変数間のペアワイズ相関を明示的に学習しない従来の深層学習モデル（CNNやLSTMなど）のいずれかを採用しています。これらの制限を克服するために、時系列異常検出のための新しい方法、相関認識空間時間グラフ学習(CST-GLと呼ばれる)を提案します。CST-GLは、空間時間グラフニューラルネットワーク(STGNN)を開発できる多変量時系列相関学習モジュールを介して、ペアワイズ相関を明示的にキャプチャします。次に、1ホップおよびマルチホップのネイバー情報を悪用するグラフ畳み込みネットワークを採用することで、STGNNコンポーネントは、変数間の複雑なペア依存関係から豊富な空間情報をエンコードできます。拡張畳み込み関数で構成される時間モジュールを使用すると、STGNNは時間の経過とともに長距離依存性をさらに捕捉できます。新しい異常スコアリングコンポーネントは、純粋に監視されていない方法で異常の程度を推定するために、CST-GLにさらに統合されています。実験結果は、CST-GLが一般的な設定で異常を効果的に検出し、異なる時間遅延で早期検出を可能にすることを示しています。
“Knowledge Graph Contrastive Learning based on Relation-Symmetrical Structure“：知識グラフ埋め込み(KGE)は、さまざまな人工知能アプリケーションに利益をもたらす強力な表現を学ぶことを目的としています。一方、対照学習は、学習された表現の識別能力を高める効果的なメカニズムとして、グラフ学習で広く活用されています。しかし、KGの複雑な構造は、適切な対照的なペアを構築することを困難にします。対照的な学習戦略をKGEと統合した試みはわずかです。しかし、それらのほとんどは、グラフ構造の根底にある情報を完全に採掘するのではなく、対照的なペア構築のために言語モデル(例えば、バート)に依存し、表現能力を妨げています。驚くべきことに、関係対称構造内のエンティティは通常類似しており、相関していることがわかります。この目的のために、KGの対称構造情報をマイニングしてKGEモデルの識別能力を高める関係対称構造KGE-SymCLに基づく知識グラフ対照学習フレームワークを提案します。具体的には、関係対称位置のエンティティを正のペアとして取ることによって、プラグアンドプレイアプローチが提案されています。さらに、自己監視アライメント損失は、正のペアをまとめるように設計されています。リンク予測とエンティティ分類データセットに関する実験結果は、KGE-SymCLがパフォーマンス改善のためにさまざまなKGEモデルに簡単に採用できることを示しています。さらに、広範な実験は、私たちのモデルが他の最先端のベースラインを上回る可能性があることを示しています。

SIGGRAPH(Special Interest Group on Computer GRAPHics)

Special Interest Group on Computer GRAPHics、略してSIGGRAPH（シーグラフ）は、コンピュータグラフィックスとインタラクティブ技術に関する専門組織で、Association for Computing Machinery（ACM）の一部の国際学会となる。SIGGRAPHは、コンピュータグラフィックス、ビジュアライゼーション、アニメーション、視覚効果、仮想現実（VR）、拡張現実（AR）、人間とコンピュータの相互作用などの分野の進歩に専念している。

Zero Grads: Learning Local Surrogate Losses for Non-Differentiable Graphics

勾配に基づく最適化は、現在ではグラフィックスの世界ではどこにでもあるものだが、残念ながら勾配が未定義またはゼロの問題には適用できない。この問題を回避するために、損失関数を、同様の極小値を持つが微分可能な“代用”に手動で置き換えることができる。我々の提案するフレームワークZeroGradsは、目的関数のニューラル近似を学習することにより、このプロセスを自動化する。サロゲートは目的関数をアクティブに平滑化したバージョンで学習し、局所性を奨励することで、サロゲートの能力を現在の学習エピソードで重要なものに集中させる。フィッティングはパラメータ最適化と並行してオンラインで実行され、事前に計算されたデータや事前に訓練されたモデルなしで、自己教師付きで実行される。目的語のサンプリングは高価であるため（完全なレンダリングまたはシミュレータの実行が必要）、我々は、扱いやすい実行時間と競争力のある性能をわずかなオーバーヘッドで可能にする効率的なサンプリングスキームを考案する。レンダリングにおける視認性、プロシージャルモデリングにおける離散パラメータ空間、物理駆動アニメーションにおける最適制御など、グラフィックスにおける多様な非凸、非微分可能なブラックボックス問題の最適化を実証する。他の無微分アルゴリズムとは対照的に、我々のアプローチは高次元にも拡張可能であり、最大35k個の変数がリンクした問題で実証している。

ISWC（International Semantic Web Conference）

ISWCは、セマンティックウェブに関する研究者が集まる国際会議で、セマンティック・ウェブとは、Web上の情報を機械が処理できる形式で表現することで、Web上の情報の利活用性を高めることを目指す技術となる。ここでは最近のISWCで注目された論文として、知識グラフの補完タスクにおいてBERTを活用した手法や、ロバスト性や説明性を重視した手法、また、知識グラフの構造を考慮することで精度向上を実現する手法などに関して以下に挙げる。

“PSYCHIC: A Neuro-Symbolic Framework for Knowledge Graph Question-Answering Grounding“：国際セマンティックウェブ会議（ISWC）2023チャレンジのリンクデータ（Scholarly QALD）チャレンジでの学術的な質問への回答は、知識グラフ（KG）に関する質問への回答（QA）に取り組むための2つのサブタスクを提示します。KG質問に関連するクエリとエンティティを識別できる抽出QAモデルであるPSYCHICに基づく神経シンボリック（NS）フレームワークを提案することで、KGQA over DBLP（DBLP-QUAD）タスクに答えます。私たちのシステムは、質問の回答で00.18%のF1スコアを達成し、71.00%のスコアでエンティティリンク（EL）で3位になりました。
“Semantic Web Challenge on Tabular Data to Knowledge Graph Matching (SemTab 2023)“：SemTabチャレンジは、知識グラフからの意味情報を用いて表データを解釈し、注釈を付けるシステムのベンチマークに焦点を当てている。様々な方法が評価され、ウィキデータのような外部知識ベースを使用したセマンティックな表解釈の進歩が強調された。
“TorchicTab: Semantic Table Annotation with Wikidata and Language Models“：豊富な表形式データが存在し、幅広いアプリケーションで使用されています。しかし、これらのデータの大部分は、ユーザーやマシンがそれらを適切に理解するために必要なセマンティック情報を欠いています。このテーブルの意味理解の欠如は、データ分析パイプラインでの使用を妨げています。意味的にテーブルを解釈するためのソリューションは存在しますが、特定の注釈タスクとテーブルの種類に焦点を当てており、大規模な知識ベースに依存しているため、現実世界の設定での再利用が困難です。したがって、より正確な注釈を生成し、さまざまなテーブルタイプに適応する、より堅牢なシステムが必要です。表形式データと知識グラフマッチングに関するセマンティックウェブチャレンジ(SemTab)は、多様なデータセットとタスクでそれらを評価することにより、セマンティックテーブル解釈システムをベンチマークするために導入されました。この論文では、Wikidataなどの外部知識グラフ、またはトレーニング用の事前定義された用語を含む注釈付きテーブルを使用して、さまざまな構造を持つテーブルに注釈を付けることができる汎用性の高いセマンティックテーブル解釈システムであるTorchicTabを紹介します。SemTabチャレンジのさまざまな注釈タスクに従って、提案されたシステムを評価します。結果は、私たちのシステムがさまざまなデータセットにわたって異なるタスクの正確な注釈を生成することができることを示しています。

AAAI（Association for the Advancement of Artificial Intelligence）

AAAIは、人工知能に関する研究者が多く集まる重要な国際会議で、様々な人工知能分野の基礎研究、応用研究、教育、公共政策などに関する論文や報告書を発行している機関となる。今回は最近のAAAIでの、グラフデータに対する自己教師あり学習の進展や、グラフ構造の利用やメタ学習によるfew-shot learningの精度向上、さらには深層学習とガウス過程を組み合わせた高速なグラフ分類手法の開発などに対する注目された論文を挙げる。

“Lifelong Embedding Learning and Transfer for Growing Knowledge Graphs“：既存の知識グラフ(KG)埋め込みモデルは、主に静的KGに焦点を当てています。しかし、現実世界のKGは静止したままではなく、KGアプリケーションの開発と並行して進化し、成長します。その結果、新しい事実とこれまで見られなかった実体や関係が継続的に出現し、成長を通じて新しい知識をすばやく学習し、伝達できる埋め込みモデルが必要です。これに動機づけられて、私たちはこの論文でKG埋め込みの拡大分野、すなわち生涯KG埋め込みを掘り下げます。私たちは、ゼロから埋め込みを学ぶことなく、KGの成長スナップショットに関する学習の知識移転と保持を検討します。提案されたモデルには、学習と更新を埋め込むためのマスクされたKGオートエンコーダ、学習した知識を新しいエンティティと関係の埋め込みに注入するための埋め込み転送戦略、壊滅的な忘却を回避するための埋め込み正規化方法が含まれます。KG成長のさまざまな側面の影響を調査するために、生涯にわたるKG埋め込みのパフォーマンスを評価するための4つのデータセットを構築します。実験結果は、提案されたモデルが最先端の誘導的および生涯埋め込みベースラインを上回っていることを示しています。
“Few-Shot Knowledge Graph Completion“：知識グラフ(KG)は、さまざまな自然言語処理アプリケーションに有用なリソースとして機能します。以前のKG完了アプローチでは、すべての関係に対して多数のトレーニングインスタンス（つまり、ヘッドテールエンティティペア）が必要です。実際のケースは、ほとんどの関係で、利用可能なエンティティペアはほとんどないということです。ワンショット学習の既存の作業は、数ショットシナリオの方法の一般化可能性を制限し、監督情報を完全に使用していません。ただし、数ショットのKG完了はまだ十分に研究されていません。この作業では、いくつかのショット参照で新しい関係の事実を発見することを目的とした新しい数ショット関係学習モデル(FSRL)を提案します。FSRLは、異種グラフ構造から知識を効果的にキャプチャし、数ショット参照の集計表現を行い、すべての関係に対して参照セットの類似のエンティティペアを一致させることができます。2つの公開データセットに関する広範な実験は、FSRLが最先端を上回っていることを示しています。
“Exploring Relational Semantics for Inductive Knowledge Graph Completion“：知識グラフ補完(KGC)は、不完全な知識グラフ(KG)の不足している情報を推測することを目的としています。以前のほとんどの作品は、エンティティがKGに存在するトランスダクティブシナリオのみを考慮しており、新興エンティティを含む誘導シナリオでは効果的に機能しません。最近、近隣の補助トリプルからいくつかの不確実性セマンティクスをキャプチャするために近隣情報を集約することにより、誘導KGCのためにいくつかのグラフニューラルネットワークベースの方法が提案されています。しかし、これらの方法は、帰納的シナリオを満たすために、新興エンティティを表すためのより豊かな情報を提供できるすべての既知のトリプルの根底にあるより一般的な関係セマンティクスを無視します。この論文では、誘導KGCのために、粗粒アグリゲーター(CG-AGG)ときめ細粒生成敵対ネット(FG-GAN)で関係意味論の2つの粒度レベルを利用するCFAGと呼ばれる新しいモデルを提案します。CG-AGGはまず、ハイパーグラフニューラルネットワークベースのグローバルアグリゲーターとグラフニューラルネットワークベースのローカルアグリゲーターを通じて複数のセマンティクスを持つエンティティ表現を生成し、FG-GANは条件付き生成敵対ネットを通じて特定のセマンティクスを持つエンティティ表現をさらに強化します。ベンチマークデータセットの実験結果は、私たちのモデルが誘導KGCの最先端のモデルを上回っていることを示しています。

IJCAI（International Joint Conference on Artificial Intelligence）

IJCAIは、人工知能分野で世界的に重要な学術会議の一つで、主に人工知能、機械学習、知識表現、自然言語処理、プランニング、探索、統計的推論、知識ベースシステム、マルチエージェントシステム、ロボットなど、人工知能分野の広範な分野をカバーしている学会となる。IJCAIは、1957年に初めて開催され、その後2年ごとに開催されている。

IJCAIで、機械学習、”転移学習の概要とアルゴリズムおよび実装例について“で述べている転移学習、知識蒸留、ディープラーニング、推薦システムなどの分野に注目した最近の論文について以下に挙げる。

“A Canonicalization-Enhanced Known Fact-Aware Framework For Open Knowledge Graph Link Prediction” オープンナレッジグラフ(OpenKG)リンク予測は、(ヘッド名詞句、関係句、テール名詞句)の形で不足している事実のトリプルを予測することを目的としています。トリプルは正規化されていないため、以前の方法は、名詞句（NP）を正規化してグラフのスパーシティを減らすか、テキスト形式を利用して型の互換性を向上させます。しかし、彼らはリレーションフレーズ(RP)とトリプルを正規化することを怠り、OpenKGは高いスパーシティを維持し、パフォーマンスを妨げます。上記の問題に対処するために、RPとトリプルのスパーシティ削減を通じてリンク予測パフォーマンスを向上させるCanicalization-Enhanced Known Fact-Aware（CEKFA）フレームワークを提案します。まず、意味的に類似したRPの知識を共有することで、RPのスパーシティを減らすための類似性主導のRP正規化方法を提案します。第二に、トリプルのスパーシティを減らすために、既知の事実認識トリプル正規化方法は、トレーニングデータから関連する既知の事実を取得するように設計されています。最後に、これら2種類の正規情報は、ほとんどの既存の知識グラフ埋め込み方法に適用できる一般的な2段階の再ランク付けフレームワークに統合されています。2つのOpenKGデータセット、ReVerb20KとReVerb45Kの実験結果は、私たちのアプローチが最先端の結果を達成することを示しています。広範な実験的分析は、提案されたフレームワークの有効性と一般化能力を示しています。
“Generative Diffusion Models on Graphs: Methods and Applications” 拡散モデルは、新しい生成パラダイムとして、画像のインペインティング、画像からテキストへの翻訳、ビデオ生成など、さまざまな画像生成タスクで目覚ましい成功を収めています。グラフ生成は、多数の現実世界のアプリケーションを持つグラフ上の重要な計算タスクです。与えられたグラフの分布を学び、新しいグラフを生成することを目的としています。画像生成における拡散モデルの大きな成功を考えると、近年、これらの技術を活用してグラフ生成を進めるための努力が高まっています。この論文では、まずグラフ上の生成拡散モデルの包括的な概要を提供します。特に、グラフ拡散モデルの3つのバリアント、すなわち、ランジュバンダイナミクス（SMLD）とのスコアマッチング、デノイズ拡散確率モデル（DDPM）、およびスコアベースの生成モデル（SGM）の代表的なアルゴリズムをレビューします。次に、分子とタンパク質のモデリングに特に焦点を当てたグラフ上の生成拡散モデルの主な応用を要約します。最後に、グラフ構造化データの生成拡散モデルの有望な方向性について議論します。この調査では、グラフ上の生成拡散モデルのサポートリソースを収集することで、GitHubプロジェクトのウェブサイトも作成しました。
“Adaptive Path-Memory Network for Temporal Knowledge Graph Reasoning” 時間的知識グラフ(TKG)推論は、歴史的情報に基づいて将来の行方不明の事実を予測することを目的としており、最近研究への関心が高まっています。推論タスクの歴史的な構造的および時間的特徴をモデル化するために、多くの作業が行われました。ほとんどの既存の作品は、主にエンティティ表現に応じてグラフ構造をモデル化します。しかし、現実世界のシナリオにおけるTKGエンティティの大きさは相当であり、時間が経つにつれて新しいエンティティの数が増えます。したがって、TKGの関係機能を備えた新しいアーキテクチャモデリング、つまり、履歴時間にわたってクエリサブジェクトと各オブジェクト候補の間の時間パス情報を適応的にモデル化するaDAptivE path-MemOry Network（DaeMon）を提案します。エンティティ表現に依存せずに履歴情報をモデル化します。具体的には、DaeMonはパスメモリを使用して、隣接するタイムスタンプ間のメモリ通過戦略を考慮して、タイムライン全体でパス集約ユニットから得られた時間的パス情報を記録します。4つの現実世界のTKGデータセットで実施された広範な実験は、提案されたモデルが大幅なパフォーマンス改善を達成し、MRRで最大4.8%の絶対性能を上回ることを示しています