前回はILP2019について述べた。今回はコロナパンデミックの影響で一年スキップされたILP2021について述べる。
帰納論理プログラミング（ILP）は、機械学習の一分野であり、関係データから論理表現を学習することに重点を置いている。ILPカンファレンスシリーズは1991年に開始され、構造化または半構造化された関係データからの学習、多関係学習、データマイニングに関する主要な国際フォーラムである。当初は論理プログラムの帰納に焦点をあてていたが、長年にわたり研究の視野を大きく広げ、論理学習、統計的関係学習、グラフと木のマイニング、他の（非命題）論理ベースの知識表現フレームワークの学習、統計学習や他の確率的アプローチとの交差の探求など、あらゆる側面からの投稿を歓迎する。
我々は、R. ThomasのKinetic Logic (Thomas and D’Ari in Biological feedback. CRC Press, 1990)の論理ルールを学習することにより、生体システムにおけるフィードバック機構を同定することを提案している。Kinetic Logicの主な利点は、調節ネットワークの重要なクラスを適切な精度で捉えること、そしてその表現が生物学者によって日常的に使われているものに近く、差分記述との関係がよく理解されていることである。本論文では、ラベル付き遷移システムとしてのキネティックロジックの公式化を提示し、イベントカルキュラスの修正版で証明可能な正しい実装を提供する。システムの振る舞いは、イベントカルキュラスのコアアクシオムC、キネティックロジックを実装する公理K、およびシステムを記述する公理Hの論理的帰結である。この定式化により、帰納論理プログラミング(ILP)で採用されている方法でシステム同定を指定することができる。すなわち、C、K、システム挙動S、および場合によってはいくつかの追加領域知識Bを与えて、Hを𝐵∧ᵃ⊨∧𝑆探索する。
. 適切なキネティック・ロジック仮説を特定するためには、以下のような定型句を同時に特定することが必要である。(a) イベントの発生とフルエントの値を関連付ける論理的定義、(b) イベントの発生から生じるフルエントの値の変化の遅延、そして場合によっては (c) システムに固有の非同期動作から生じるフルエントの値の変化に対する例外、です。(a)には標準的なILPエンジンを使い、(b)と(c)には特別な目的のアブダクション手続きを使う。我々は、Thomasによって記述されたいくつかの典型的なフィードバックパターンについて、この誘導とアブダクションの組み合わせを実証し、2つのよく知られた生物学的問題（免疫反応とファージ感染）における制御機構を特定するために、この方法を用いた。
解釈遷移からの学習（LFIT）は、システムの状態遷移の観測から、システムのダイナミクスのモデルを自動的に構築するものである。これまでLFITが扱うシステムは、主に同期的な決定論的ダイナミクスに限定されていた。しかし、論理モデリングの分野では他のダイナミクスも存在し、特に生物系のモデリングに広く用いられている非同期セマンティクスが重要である。本論文では、離散的なメモリレス多値動的システムを、ルールが「何が起こるか」ではなく「何が起こり得るか」を表す論理プログラムとしてモデル化することを提案する。このモデル化により、非決定性を表現することができ、また、更新スキームによらず学習するLFITの拡張を提案し、広範囲のセマンティクスを捉えることを可能にする。また、制約を含む単一の命題論理プログラムの形で、意味論を含むシステム全体のダイナミクスを学習することができる第二のアルゴリズムを提案する。我々は、理論的な結果を通じて、我々のアプローチの正しさを示す。実用的な評価は、生物学の文献にあるベンチマークを用いて行われる。
学習と推論の組み合わせは、ニューロシンボリック研究において不可欠かつ挑戦的なテーマである。微分可能な帰納論理プログラミングは、ニューラルネットワークを用いて、完全、誤ラベル、または不完全な観測事実のいずれかから記号的知識表現を学習する技術である。本論文では、提案する論理プログラムの埋め込み、ニューラルネットワーク、最適化アルゴリズム、論理プログラムの意味論を計算するための適応的代数的手法を通じて、論理プログラムを学習する微分可能な解釈推移からの学習（D-LFIT）という新しい微分可能帰納論理プログラミング体系を提案します。提案モデルは、少ないパラメータ数、カリキュラム学習環境での論理プログラムの生成能力、学習済みニューラルネットワークの抽出にかかる線形時間複雑性などの特徴を持つ。提案システムが関係データセットから学習する際には、よく知られた下句位置決めアルゴリズムが組み込まれる。本モデルを、再チューニングされた連結ネットワークから命題論理ルールを抽出するNN-LFIT、高精度ルール学習器RIPPER、純粋な記号的LFITシステムLF1T、ニューラルネットワークと命題化法を統合して一階論理知識を扱うCILP++と比較する。実験結果から、D-LFITは完全データ、不完全データ、誤ラベルデータを与えられた場合、ベースラインと同等の精度を得ることができると結論づけた。この実験結果から、D-LFITは記号論理プログラムを高速かつ高精度に学習するだけでなく、ラベル付けされたデータセットや不完全なデータセットを処理する際にも頑健に動作することが示された。
本論文では、フルエントが一時的に慣性の法則から解放され、定性的または定量的な領域法則に従うことができる、本格的な離散事象計算（DEC）における動的時間理論の自動学習・修正方法を初めて提案する。これは、最新の解集合ソルバーがより効率的に処理でき、フルエントの真理値や解放状態に関連する競合を解決するための様々な論理セマンティクスとポリシーオプションをサポートする、XEC（eXploratory Event Calculus）というDECの再構成を提案することで実現されている。本論文では、標準的な推論ベンチマークにおいてXECがDECをいかに凌駕するか、また、ILPシステムXHAILと併用し、フル装備のDECにおける理論学習と改訂の最初の原理実証を提供する方法を示す。
本論文では、NeuralLogのためのオンライン構造学習アルゴリズム、NeuralLog+OSLRとNeuralLog+OMILの2つを紹介します。NeuralLogは一階論理プログラムをニューラルネットワークにコンパイルするシステムです。どちらの学習アルゴリズムもOnline Structure Learner by Revision (OSLR)をベースにしています。NeuralLog+OSLRはOSLRを移植し、推論エンジンとしてNeuralLogを用いたものです。NeuralLog+OMILはOSLRの基本機構を用いながら、Meta-Interpretive Learningに基づく改訂演算子を用いています。我々は両システムをOSLRやRDN-Boostと比較し、3つのデータセットでリンク予測を行った。Cora、UMLS、UWCSEの3つのデータセットで比較しました。実験の結果、NeuralLog+OMILはCoraデータセットの4つの対象関係のうち3つとUMLSデータセットにおいて、比較した両システムを上回り、NeuralLog+OSLRとNeuralLog+OMILはUWCSEにおいて、良い初期理論が与えられたと仮定してOSLRとRDN-Boostを上回ると言うことが分かりました。
近年、AIにおけるディープラーニングの成功を受けて、機械学習理論における説明の役割と必要性について関心が高まっている。この文脈では、Michieによる超強力機械学習（Ultra-Strong Machine Learning: USML）の定義が特徴的である。USMLは、機械学習された象徴的な理論を人間に提供した後、人間のタスクのパフォーマンスが測定可能に増加することによって実証される。最近の論文では、機械学習された論理理論が分類タスクに有益な効果をもたらすことが示されているが、我々の知る限り、学習中の人間の理解に対する機械の関与が潜在的に有害であることを検討した既存の研究は存在しない。本論文では、単純な2人用ゲームの文脈における機械学習理論の説明効果を調査し、認知科学文献に基づく機械説明の有害性を特定するための枠組みを提案する。このアプローチは、2つの定量化可能な境界からなる認知窓を含み、それは人間の試行から収集された経験的証拠によってサポートされる。その結果、認知窓を満たす象徴的な機械学習理論による人間の学習が、人間の自己学習よりも有意に高い性能を達成することが定量的・定性的な結果から示された。また、この窓を満たさない記号的機械学習理論による人間の学習は、人間の自己学習よりも有意に悪い結果をもたらすことも示している。
メタ解釈学習器は、多くのILPシステムと同様に、仮説空間（構成可能な全ての句の冪集合）において正しい仮説を探索することによって学習する。我々は、指数関数的に増大するこの探索を、トッププログラム（全ての正しい仮説の中の、それ自体が正しい仮説である節の集合）の構築によってどのように置き換えることができるかを示す。トッププログラム構築のためのアルゴリズムを与え、それが多項式時間で、有限個の例から正しいトッププログラムを構築することを示す。このアルゴリズムをPrologに実装し、新しいMILシステムLouiseの基礎とする。LouiseはTopプログラムを構築し、冗長な句を削除することによりTopプログラムを削減する。グリッドワールドナビゲーション、グラフ連結性、文法学習の各データセットを用いた実験で、ルイーズと最先端の探索型MILシステムMetagolを比較し、仮説空間と目標理論の両方が大きい場合や、誤ラベル例という「分類ノイズ」により仮説空間に正しい仮説が含まれない場合、ルイーズはMetagolの予測精度を向上させることを見いだした。また、仮説空間や目的理論が小さい場合には、LouiseとMetagolは同等の性能を発揮します。
近年の研究において、機械学習モデルを人間が理解しやすいように説明することが注目されている。多くの場合、モデルの簡略化や可視化という形で説明が行われる。しかし、認知科学や初期のAI研究で示されたように、概念の理解は、与えられた概念のインスタンスを類似の反例と整合させることによっても改善することができる。与えられた事例を、その概念に属さない構造的に類似した事例と対比することで、どのような特徴がその概念に属するために必要であるかが明らかになる。このようなニアミスは関係領域における学習の効率的な指針としてWinston (1970)によって提案されている。本稿では、帰納論理プログラミングで学習した関係概念に対する説明生成アルゴリズム( \textsc{GeNME} )を紹介する。このアルゴリズムは、与えられたインスタンス集合からニアミス例を識別し、これらの例を特定の正インスタンスへの近さの度合いでランク付けする。また、ニアミスをカバーするが元のインスタンスはカバーしない修正ルールを説明として与える。親族関係からなるよく知られた家族領域、視覚的な関係であるウィンストンのアーチ領域、ファイル管理を扱う実世界の領域を用いて、⾰新的な⼿法であるGeNMEを説明する。また、ルールベース説明、例題ベース説明、ニアミス説明の人間の嗜好を比較する心理実験をfamilyドメインとarchesドメインで行い、その結果を報告する。
何百、何千もの学習画像に依存する多くのコンピュータビジョンのアプローチとは異なり、人間は通常、1つの視覚的な例から学習することができます。人間は背景知識を用いてこの能力を実現する。帰納論理プログラミング（ILP）のようなルールベースの機械学習アプローチは、ドメイン固有の背景知識を取り入れるためのフレームワークを提供する。これらのアプローチは、少ないデータからの人間のような学習、あるいは一発学習、すなわち単一の肯定的な例からの学習の可能性を持っている。これに対し、ディープラーニングを含む統計ベースのコンピュータビジョンアルゴリズムは、背景知識を取り込むための一般的なメカニズムを持っていない。本論文では、論理プログラムの宣言的バイアスの使用に基づく、ワンショット仮説導出（OSHD）と呼ばれるワンショットルール学習のためのアプローチを提示する。我々はこのアプローチを2つの挑戦的な人間のようなコンピュータビジョンタスクに適用する。1) マラヤーラム語の文字認識と、2) 網膜画像を用いた神経学的診断である。その結果を、一発学習用に開発されたシャムネットワークと呼ばれる最先端のディープラーニングアプローチと比較する。その結果、我々のアプローチは人間が理解できるルールを生成でき、平均予測精度が有意に高く、深層学習アプローチを凌駕することが示唆された
微生物群集における種間の相互作用は、農地の土壌からヒトの腸内細菌叢まで、あらゆる生態系の機能において重要な役割を担っています。このような相互作用を微生物の存在量情報から推測するために、多くの統計的アプローチが提案されています。しかし、これらの統計的アプローチは、既存の生態学的知識を推論過程に取り込むための一般的なメカニズムを持っていない。我々は、異なる種類の相互作用の論理的記述を学習の背景知識として含めることにより、微生物の存在量データから微生物の相互作用を推論するAbductive/Inductive Logic Programming（A/ILP）フレームワークを提案する。このフレームワークには、アブダクションの過程で計算された仮説の頻度と圧縮率に基づいて、各相互作用の確率を推定する新しいメカニズムも含まれています。そして、これをブートストラップ、再サンプリング手順により、実際の相互作用を同定するために用いる。我々は提案するフレームワークを、以前統計的相互作用推論ツールのベンチマークに用いられたシミュレーションデータで評価した。その結果、統計的相互作用推論アルゴリズムの代表格であるSparCCと同等の精度を持ち、かつ生態学的背景知識を含むという利点を持つことが分かった。提案するフレームワークは、現在他の手法で研究されていない多様な生態系からの生態的相互作用情報を推論する機会を提供するものである。
複雑化するコンテキストに深層学習モデルを適用することで、モデル自体の複雑性が高まっています。そのため、設定すべきハイパーパラメータ（HP）の数が増加しており、ハイパーパラメータ最適化（HPO）アルゴリズムが深層学習における基本的な役割を占めています。深層学習モデルのHPOの最先端は、ベイズ最適化（BO）です。BOは過去の結果を記録し、それを用いて確率的なモデルを構築し、HPの確率密度を構築する。本研究では、ディープニューラルネットワーク（DNN）に適用されるBOを、訓練セットと検証セットにおけるネットワークの結果の分析によって改善することを目的としている。この分析は、確率的論理プログラミング(PLP)で実装された記号的チューニングルールを適用することによって得られる。その結果、Symbolic DNN-Tunerと呼ばれるシステムは、学習と検証フェーズで得られた結果を論理的に評価し、記号的な調整ルールを適用することによって、ネットワークアーキテクチャとそのHPを修正し、性能向上につながる。本論文では、一般的なシステムとその実装を紹介する。また、そのグラフィカルインターフェースと簡単な実行例も示す。
本論文では、多相関ドメイン知識を利用できるグラフニューラルネットワーク(GNN)を構築するための一般的な技法を紹介する。この技術は帰納論理プログラミング(ILP)で開発されたモード方向逆伴奏(MDIE)に基づいている。データインスタンスeB⊥B(e)Be⊥B(e)をGNN実装に適した形に変換できる「ボトムグラフ」によって与える。この変換により、一般的な背景知識をGNNに取り込む原理的な方法が可能になる。我々はこのようなグラフニューラルネットワークを「BotGNN」と呼んでいる。背景知識を持つ実世界のデータセットを用いて、いくつかのGNNのバリエーションに対して、我々はBotGNNが背景知識を持たないGNNや最近提案されたドメイン知識をGNNに含めるための単純化された手法よりも著しく優れた性能を示すことを示す。また、背景知識を「命題化」した特徴量を用いた多層パーセプトロン（MLP）、および、最特定項の使用に基づく標準的なILPと、BotGNNを比較した実験結果も示している。これらの結果を総合すると、BotGNNはGNNの計算効率とILPの表現上の多様性を併せ持つことができることが示された。
我々は、標的特異的な阻害剤に関する先行情報が限られている場合に、生物学的標的の阻害剤として作用する新しい小分子を生成することに関心がある。このようなドラッグデザインは、既知の化学物質が標的の阻害に関する限られた情報しか提供しない新しい病気の脅威の出現により、ますます重要性を増している。本論文では、ディープニューラルネットワークと帰納論理プログラミング（ILP）を組み合わせることで、可能性のある分子の大きな空間を探索するために、記号的な領域知識（B）を使用できるようにすることを提案する。分子とその活動を確率変数XとYのインスタンスと仮定すると、問題はYが与えられたときのXの条件付き分布B（DX|Y,B）からインスタンスを引き出すことである。これを分布DX|BとDY|X,Bを求める部分に分解し、その分布を近似するモデルの設計と実装を説明する。設計は、DX|BとDX|Y,Bを近似する生成器と、DY|X,Bを近似する識別器から構成されている。我々は、よく研究されているJanus kinase (JAK)クラスのタンパク質に対する阻害剤の問題を用いて、我々のアプローチを調査する。まず、ある標的タンパク質（JAK2）に対する阻害剤のデータはないが、相同タンパク質（JAK1、JAK3、TYK2）に対しては少数の阻害剤が知られている場合を想定する。我々は、関係領域知識を含めることで、分子空間からの単純なランダムサンプリングや、記号的関係にアクセスしない生成器よりも、より効果的な阻害剤の生成器になる可能性があることを示す。この結果は、標的阻害剤に関する情報が限られている場合に、分子の化学空間の探索を制限するために、記号的な領域知識と深い生成モデルを組み合わせる方法を提案するものである。また、条件付き生成器からのサンプルを用いて、潜在的に新規の標的阻害剤を同定する方法を示す。
Learning from Interpretation Transition (LFIT) は、状態遷移を観測するだけでダイナミクスを学習する教師なし学習アルゴリズムである。LFITのアルゴリズムは主に記号演算で実装されてきたが、ノイズや欠損データに対してロバストでないことが課題であった。近年、論理演算とニューラルネットワークを組み合わせた研究が注目されており、多くの研究が、問題を解くために単一のニューラルネットワークモデルを学習し、その後、ニューラルネットワークモデルから論理モデルを抽出する抽出ベースのアプローチをとっています。しかし、ほとんどの研究は、より大きな問題を解決するためにスケールアップしようとすると、組み合わせ爆発の問題に悩まされます。特に、記号の世界では成立する不変性の多くが、ニューラルネットワークの分野では利用されていない。本研究では、この問題に対して、記号的不変性を利用したモデルを提示する。我々のモデルが、これまでの研究よりも大きなタスクにスケールアップできることを示す。
論理ルールは多くの領域でよく使われる知識表現言語である。近年、複雑なルール誘導を支援するために、ニューラルネットワークが提案されている。しかし、既存のデータセットや評価アプローチは様々な次元で不足しており、例えば、異なる種類のルールやルール間の依存関係が無視されている、と我々は主張する。また、ニューラルアプローチの開発には、学習するための大量のデータと適切で近似的な評価尺度が必要である。本論文では、多様なデータセットを生成し、ニューラルルール学習システムを評価するためのツールを、新しい性能指標を含めて提供する。
テキストからの学習は、産業界や科学界で広く採用されている。最先端のニューラル言語モデルはテキスト分類に非常に有望な結果を示しているが、（事前）学習にはコストがかかり、大量のデータと数億以上のパラメータのチューニングが必要である。本論文では、自動的に進化したテキスト表現が、ハイパーパラメータの自動チューニングが可能な競争力のある性能を持つモデルの、説明可能で低リソースなブランチの基礎となりうることを探求している。我々は、ハードウェアと学習に必要なデータ量の両方が制限されている低リソース学習シナリオに適したautoBOT (automatic Bags-Of-Tokens) というautoMLアプローチを提示する。提案手法は、与えられたテキストの様々なスパース表現（単語、サブワード、品詞タグ、キーワードベース、知識グラフベース、関係性特徴を含む）と2種類の文書埋め込み（ノンスパース表現）を共同で最適化する“進化的アルゴリズムの概要とアルゴリズム及び実装例について“でも述べている進化的アルゴリズムから構成される。autoBOTのキーとなる考え方は、学習者レベルで進化させるのではなく、表現レベルで進化させるということである。提案手法は、14の実世界の分類タスクにおいて、アンサンブルモデルを進化させる競合のautoMLアプローチや、BERTやRoBERTaなどの最先端のニューラル言語モデルと比較し、競争力のある分類性能を提供します。さらに、提案手法は説明可能であり、入力空間の一部の重要性が提案する最適化手法によって得られる最終解の一部であるため、メタ転送学習の可能性を提供する。
我々は関係データからの完全モデル学習の問題を考察する。そのために、ノンパラメトリックな方法で学習したシンボリックツリーを用いて埋め込みを構築する。木は一次ルールの決定リストとして扱われ、その後、特徴表現を得るためにGaifmanグラフの局所近傍上で部分的に接地され、カウントされる。我々は、Gaifmanグラフを用いて、関係木の距離を用いてこれらの関係特徴を学習する手法を初めて提案する。実データを用いた実証評価により、手作りルール、古典的ルール学習法、最新の関係学習法、埋め込み法に対する本手法の優位性を実証する。
統計的機械学習モデルは、対象の属性間の確率的な依存関係を簡潔に表現したものである。多くのモデルでは、学習データとテストデータが同じ分布から得られることを前提としている。”転移学習の概要とアルゴリズムおよび実装例について“でも述べている転移学習はこのような仮定が成り立たない場合に、1つ以上の学習課題で得た知識を新たな課題を解くための出発点として活用するために不可欠な技術として浮上してきた。統計的関係学習（SRL）は、統計的学習を拡張し、複数のオブジェクトとその関係からなるデータを表現し、そこから学習する。このように、SRLはクラス、オブジェクト、それらの特性、関係からなる豊富な語彙を持つデータを扱う。SRLに転移学習を用いる場合、主要な課題は、学習した構造を転移することであり、元のドメインから異なるターゲットドメインに語彙をマッピングすることである。述語の名前は通常、意味的な含意を持ち、ベクトル空間モデルにマッピングすることができるため、事前に学習した単語埋め込みをマッピングのガイドとして使用するTransBoostlerを提案する。転送後、TransBoostlerはさらに理論修正演算子を用いて、マッピングされたモデルをターゲットデータに適応させる。実験結果では、TransBoostlerはソースから明確なターゲット領域への木の転送に成功し、従来の仕事と同等以上のパフォーマンスを発揮しながら、より短い学習時間を必要とすることがわかった。
機械学習の目的は、観測結果を一般化し、新たな観測結果が来たときに判断を助けるようなモデルを作り出すことである。しかし、従来の機械学習では、複数のオブジェクトとその関係からパターンを見出すことはできなかった。統計的関係学習は、さらに一歩進んで、関係領域からパターンを発見し、不確実性下のデータを扱う。SRLを含む多くの機械学習手法は、学習データとテストデータが同じ分布から得られると仮定している。しかし、いくつかのシナリオでは、この仮定は成り立たない。転移学習の目的は、このようなシナリオに対処することであり、データが乏しいときに元のタスクから学習した知識を活用して、ターゲットタスクの性能を向上させることである。関係領域における転移学習に関連する高価な課題は、ソースとターゲットの背景知識の言語からのマッピングである。本論文では、”遺伝的アルゴリズムの概要と適用事例および実装例について“でも述べている遺伝的アルゴリズムに基づく解決策を適用して、ソースタスクとターゲットタスクの間の最適なマッピングを発見し、転移されたモデルを適応させるフレームワークであるGROOTを提案する。GROOTは、ターゲットデータ用のモデルを構築するための出発点として、ソースデータから構築された関係依存木のセットに依存する。世代を経て、個体は可能なマッピングを担う。それらは、サブツリーを再結合し、初期構造木を修正する遺伝的演算子に提出され、枝の刈り込みや拡張を可能にする。Cora、IMDB、UW-CSE、NELLの各データセットで行った実験の結果、GROOTはほとんどの場合、ベースラインよりも良い結果に到達することがわかった。
オントロジーは、機械学習においてしばしば背景知識として用いられる。概念学習は、ILPと同様に、オントロジーを利用して、教師ありの方法で例から概念表現を学習する。この学習過程は、通常、ヒューリスティックに導かれたオントロジー的に有効な概念表現の空間を探索する過程とされる。このようなヒューリスティックは、通常、学習アルゴリズムの探索的動作と利用的動作のバランスを取ろうとする。探索は探索空間を十分にカバーすることを保証し、開拓は正確な概念表現を含む可能性のある探索空間の部分に焦点を当てる。しかし、両極端になると、どちらのパラダイムも実用的でない。完全にランダムな探索的アプローチでは、偶然に良い解が見つかるだけであり、貪欲だが近視眼的な探索的アプローチでは、簡単に局所最適に陥ってしまうかもしれない。両者の長所を組み合わせるために、様々なメタヒューリスティックが提案されてきた。本論文では、シミュレーテッドアニーリングメタヒュリスティックと、それが概念学習における探索-搾取のトレードオフのバランスを取るためにどのように利用できるかを検討する。様々な実験設定において、既存の概念学習アルゴリズムがシミュレーテッドアニーリングメタヒリスティックからどのように、そしてどこで利益を得ることができるかを分析する。
知識グラフ(KG)上の予測タスクのために、埋め込みモデルがうまく利用されている。我々はTRANSROWL-HRSを提案する。これは、KGにおける意図されたセマンティクスを利用することにより、KG埋め込みをより意味的に認識させることを目的とする。この手法は、スキーマ公理を利用して、観測された知識だけでなく、推論によって得られた知識も符号化します。さらに、関係性に適用される連続的な階層型クラスタリング処理に依存することで、同じ関係性が持つ複数の意味性を利用することで、より多くの知識を活用することができる。リンク予測やトリプル分類のタスクに関する実験的評価により、ベースラインモデルと比較して、提案手法（異なるオプティマイザとの組み合わせ）によりもたらされる向上が証明される。
ハイブリッド型機械学習の歴史は、教師なし学習アルゴリズムの結果を、ILPが通常の教師あり学習が可能なデータアノテーションとして利用するところにある。ここでは、2つの企業の株価の時系列間の共和分という性質を予測するタスクを考える。この性質は、市場が発展する全体的な方向に関わらず利益を上げ続けることができる強固なペアトレーディング戦略を実行するために使用できる。このオントロジーは、米国企業の四半期報告書であるSECレポートから抽出されたものである。株価の時系列と組み合わせることで、これらの関係はペアトレードに適した企業ペアを見つけるのに役立つことが示されている。ここでは、”Node2Vecの概要とアルゴリズム及び実装例について“に述べているnode2vec embeddingsを用いて企業とマネージャーのクラスタを生成し、オントロジーに存在する企業とスタッフを結ぶ関係、および与えられた期間のターゲット述語の値に加えて、バックグラウンド述語として用いる。プロゴールは、データセットに表現されたエンティティの構造的関係と数値を組み合わせたこの述語の混合物から学習し、予測力のあるルールを明らかにするために使用されている。
本稿では、失敗からの学習と呼ばれる帰納論理プログラミング（ILP）アプローチについて述べる。このアプローチでは、ILPシステム（学習者）は学習問題を生成、テスト、制約の3つのステージに分解する。生成段階では、学習者は仮説制約（仮説の構文形式に関する制約）を満たす仮説（論理プログラム）を生成する。テスト段階では、学習者は学習例に対して仮説を検証する。仮説がすべての正例を包含しないか、または負例を包含する場合、仮説は失敗する。仮説が失敗した場合、制約段階において、学習者は失敗した仮説から制約を学習し、仮説空間を刈り込む、すなわち後続の仮説生成を制約する。例えば、仮説が一般的すぎる（否定的な例を含む）場合、制約によって仮説の一般化が抑制される。仮説が特殊すぎる（すべての正の例を伴わない）場合、制約は仮説の特殊化を刈り取る。このループは、(i) 学習者が全ての正の例を含み負の例を含まない仮説を見つけるか、 (ii) テストする仮説が無くなるまで繰り返される。本論文では、答集合プログラミングとPrologを組み合わせることで、このアプローチを実装したILPシステム、Popperを紹介します。Popperは無限の問題領域、リストと数についての推論、テキスト的に最小のプログラムの学習、再帰的プログラムの学習をサポートします。3つの領域（おもちゃのゲーム問題、ロボット戦略、リスト変換）に対する実験結果から、 (i)制約が学習性能を劇的に向上させること、(ii)Popperが予測精度や学習時間の両面で既存のILPシステムより優れていることが示される。
組合せ問題の解決には、対称性のある解候補を効率的に省くことが不可欠である。既存のアプローチの多くはインスタンスに特化しており、与えられた問題インスタンスごとに対称性解消制約(SBC)を自動的に計算することに重点を置いている。しかし、このようなアプローチは、大規模なインスタンスや高度な問題エンコーディングへの適用には問題がある可能性がある。また、計算されたSBCは命題であるため、有意義に解釈したり、他のインスタンスに転送したりすることができない。これらの制限を克服するために、我々は、帰納論理プログラミングのパラダイムを用いて、小さな問題インスタンスのSBCを解釈可能な一階制約の集合に持ち上げる、アンサーセットプログラミングのための新しいモデル指向のアプローチを導入する。実験では、組合せ問題の集合に対して、インスタンス固有のSBCから一般制約を学習する我々のフレームワークの能力を実証した。その結果、我々のアプローチは、ソルバーを直接適用する方法と同様に、最新のインスタンスに特化した方法を大幅に上回ることが示された。
ロボットの操作における自律性と信頼性を高めることで，ロボット支援手術の質を向上させ，病院資源の利用を最適化することができる．論理プログラミングは，領域知識を用いた信頼性の高い推論を支援し，意思決定の透明性を高めるため，ロボット支援手術のタスクプランニングに適している．しかし、タスクと領域に関する事前知識は一般的に不完全であり、最適でないパフォーマンスを避けるために、検討中の手術タスクの実行から改良する必要があることが多い。本論文では、ドメインダイナミクスを支配する未知の公理を学習するための帰納論理プログラミングの適用性を調査する。本論文では、手術トレーニングのベンチマークタスクであるリングトランスファーについて、解集合セマンティックスの下でこれを行う。我々は、アクションと制約の直接の前提条件の学習に関する以前の研究を拡張し、イベントカルキュラス形式におけるアクションの効果であるアトム間の任意の時間的遅延を符号化する公理を学習する。我々は、一般的なロボットタスクの仕様を、回答集合セマンティクスの下で学習するための体系的なアプローチを提案し、反復学習による容易な知識の洗練を可能にする。具体的には、学習された公理は計画計算時間に関連するいくつかの重要な問題に対処しており、手術中の信頼性の高いリアルタイム性能の実現に有望である。
近年、回答集合の意味論に基づく新しいILPシステムが提案されており、その中にはノイズに強く、大規模な仮説空間に対してスケーラブルなシステムもある。FastLASは他のASPベースのILPシステムよりも高速に動作します。しかし、FastLASは観測的述語学習(OPL)しかできず、学習された仮説は例で直接観測された述語を定義している。観測された事象の原因を学習するような、間接的に観測可能な知識を学習することはできません。このクラスの問題は非OPLと呼ばれ、非単調意味論の文脈では扱いが難しいことが知られている。非OPL学習課題をスケーラビリティを保ちながら解決することは、挑戦的な未解決問題である。我々はこの問題に対処するため、非OPLタスクの例を、可能性と呼ばれる例の集合に変換する新しいアブダクション手法を提案する。この新しい方法は、OPLタスクを実行できるILPシステムを、非OPLタスクを解くために「アップグレード」することを可能にします。特に、FastLASを新しい可能性生成でアップグレードした、新しいFastNonOPLシステムを紹介します。このシステムを他のASPベースのILPシステムと比較し、FastNonOPLが他のシステムよりも高速で、多くの場合、より正確であることを示しました。
確率論的論理モデルは、実世界の多くの領域で典型的に見られる不確実な関係や実体を効果的に扱う。確率論理プログラミングの分野では、通常、ターゲットとなるアトムや述語を予測するために、この種のモデルを学習することが目的である。しかし、解釈全体に対する分類器を学習することも有用であろう。この目的のために、我々は、完全性制約の集合で表される帰納的制約論理システムが生成するモデルを考え、その確率的バージョンを提案する。各整合性制約は確率で注釈され、結果として確率論的論理制約モデルは、解釈に対して正である確率を割り当てる。このような確率的モデルの構造とパラメータを学習するために、我々はPASCAL（probabilistic inductive constraint logic）というシステムを提案する。パラメータ学習は勾配降下法もしくは”Limited-memory Broyden–Fletcher–Goldfarb–Shanno（L-BFGS）法について“で述べているL-BFGSを用いて行なうことができる。PASCALは11のデータセットでテストされ、いくつかの統計的関係系や関係決定木を構築するシステム（TILDE）と比較された。我々は、このシステムが精度-再現率および受信者動作特性曲線の下の領域において、同等の実行時間で、より良いか同等の結果を達成できることを実証する。
確率論的論理構成法（PLP）は論理プログラムと確率を組み合わせたものである。その表現力と簡潔さにより、不確実性を特徴とする関係領域における学習と推論のための強力なツールとみなされてきた。しかし、一般的なPLPのパラメータや構造の学習には推論コストがかかるため、計算量が多くなってしまう。我々は最近、一般的なPLP言語の制限として、節と述語が階層的に構成された階層型PLP(HPLP)を提案した。HPLPは演算回路や深層神経回路に変換することができ、一般的なPLPに比べて推論が非常に安価になります。本論文では、HPLPのパラメータと構造の両方をデータから学習するアルゴリズムを紹介する。まず、階層的確率論理プログラムのパラメータ学習(PHIL)と呼ばれる、勾配降下と期待値最大化を用いてHPLPのパラメータ推定を行うアルゴリズムを提示する。また、HPLPの構造とパラメータをデータから学習するSLEAHP(Structure Learning of hierarchical probabilistic logic programming)を提案する。実験では、PHILとSLEAHPを、それぞれパラメータ学習と構造学習のためのPLPとMarkov Logic Networksの最先端システムと比較した。PHILはEMBLEM, ProbLog2, Tuffyと、SLEAHPはSLIPCOVER, PROBFOIL+, MLB-BC, MLN-BT, RDN-Bと比較された。5つのよく知られたデータセットを用いた実験により、我々のアルゴリズムは同等以上の精度を達成し、かつ短時間で達成できることが示された。
確率論理プログラミング(PLP)は、対象間の不確実な関係を表現するための強力なパラダイムである。最近、ハイブリッドプログラムとも呼ばれる連続変数を持つプログラムが提案され、意味論が付与された。ハイブリッドプログラムは実世界の測定値を表現することができるが、残念ながら意味論の提案は不正確であったため、定義が全ての問合せに確率を割り当てていない。本論文では、これを改善し、ハイブリッドプログラムの新しいセマンティクスを正式に定義する。このセマンティクスは大規模なプログラムのクラスに対して、全ての問合せに確率を割り当てることを証明する。
確率的論理プログラミングは、統計的関係人工知能の主要な部分であり、論理と確率からのアプローチが、不確実性の設定において関係領域について推論し、関係領域から学習するために持ち込まれるものである。しかし、様々な領域サイズにおける統計的関係表現の振る舞いは複雑であり、大規模な領域への推論と学習の拡張は依然として重要な課題である。近年、領域サイズ依存性、標本化された部分集団からの持ち上げられた推論と学習の間に関連性が浮かび上がってきている。統計的関係表現の漸近的な振る舞いが検討され、領域サイズ依存性の最も強い形として、クエリのマージンが領域サイズに完全に依存しない射影性が研究された。
本寄稿では、分布意味論に基づく全ての確率論的論理プログラムは、確率的事実に対する確定節のみからなる非周期的確率論的論理プログラムと漸近的に等価であることを明らかにする。また，分布の射影族を誘導するすべての確率論的論理プログラムは，実際にはこの断片からのプログラムとどこでも等価であると結論付け，確率論的論理プログラムで表現可能な分布の射影族に対する帰結を検討する．
有限モデル理論の古典的な結果の応用を容易にするために、確率的事実に対する任意の論理理論として定義される抽象的な分布意味論を導入する。これは、確率的論理型言語の基礎となる分布意味論とのギャップを埋めるものである。この表現では、確定論理プログラムは数量子なしの理論に対応し、漸近的な数量子消去の結果を確率的論理プログラミングの設定に利用できるようにするものである。
本論文はTPLPへの採録が検討されています。
多くの実世界のアプリケーションでは、i.i.d.の仮定が成り立たないため、インスタンス間の相互作用を捉えることが目の前のタスクに不可欠である。近年、決定木のような予測モデリングと、深層確率モデルの一種である確率回路との間に、命題データに限定されるものの、明確な接続が確立されている。本論文では、関係ルールモデルと確率回路との最初の接続を紹介し、関係領域上で動作する識別ルールモデルから扱いやすい推論を獲得する。具体的には、関係ルールモデルが与えられたとき、ハイブリッドドメインのための深い確率的アーキテクチャである混合和積ネットワーク（MSPN）を利用し、クラスとルールがどのように（頻繁に）発火するかについての完全な結合分布を装備する。我々の実証的評価により、関係データに対する広範な確率的問い合わせに答えることができ、また、欠損、領域外データ、部分的カウントに対してロバストであることが示された。また、本手法が異なる分布に対して、強力なベースラインを凌駕する汎用性を持つことを示す。さらに、MSPNの明確な確率的セマンティクスにより、我々は有益なモデル解釈を行うことができる。
実世界のシナリオは、持ち上がった確率分布で捉えることができる。しかし、分布は通常、表やリストで符号化されており、指数関数的な数の値を必要とする。そこで我々は、確率分布の値の数を減らし、それぞれの値に対して、さらに最小化すべき論理式を抽出することにより、大幅に少ない値で確率分布から一次式を抽出する方法を提案する。この削減と最小化により、符号化におけるスパース性を高めると同時に、与えられた分布を一般化することができる。我々の評価では、核となる情報を維持したまま、小さな短い数式群を抽出することで、スパース性を非常に高めることができる。
本論文では、帰納法に基づく特徴量学習の実証研究を行う。画像データを一次式に符号化し、その最小汎化率を計算する。興味深い問題は、最小汎化によって入力データの共通パターンを抽出できるかどうかである。また、記号操作に基づく特徴抽出のための2つの異なる方法を紹介する。MNISTデータセットを用いた実験を行い、提案手法が学習データからうまく特徴を捉え、テストデータを90%前後の精度で分類できることを示す。本論文の結果は、生データからの特徴学習やパターン認識に対する帰納法と記号的推論の可能性を示している。
最近の揚頁推論アルゴリズムの進歩により、列挙型組合せ論に由来する多くの非自明な計数課題を、一階モデル計数問題として投げかけることにより、自動で解決することが可能となった。この問題のアルゴリズムは、通常、与えられたドメイン上の問題の一階論理文のモデル数である一つの数値を出力する。しかし、組合せ論的な設定においては、任意の構造サイズに対して成立する数式を得ることの方に興味がある。本論文では、そのような興味のある数式のクラスの一つである、多項式係数を持つ線形漸化式を推測するために、持ち上げられた推論アルゴリズムを使用できることを示す。
海洋生態系モデルは、プランクトンや微細藻類の種の個体数変動を研究し、予測するために使用されます。これらの変動は、生態系のニッチ、経済や気候に影響を与える可能性があります。私たちの目的は、このようなモデルの作成を自動化することです。LFIT（Learning From Interpretation Transition）は、システムの状態遷移を観測することによって、システムのダイナミクスを学習することを目的としたフレームワークです。LFITは論理的なルールの形で説明可能な予測を提供する。本論文では、LFITモデルからインフルエンスグラフを抽出する手法を紹介する。また、データ中のノイズに対してモデルを改善するためのヒューリスティックを提案する。
解釈遷移からの学習(LFIT)は、システムの状態遷移の観測から、システムのダイナミクスのモデルを自動的に構築するものである。先に提案したGeneral Usage LFIT Algorithm (GULA)は、異なるダイナミクスを捉えるこのフレームワークのいくつかの手法のコアブロックとして機能する。しかし、指数関数的な複雑さのため、このフレームワーク全体の利用は比較的小規模なシステムに限られる。本論文では、GULAの完全性と多項式の複雑さをトレードオフにした近似アルゴリズム(PRIDE)を紹介する。GULAとPRIDEのソースコードはGPL-3.0ライセンスの下、https://github.com/Tony-sama/pylfit でオープンソースとして公開されています。
- Exploiting Temporal Relations of Events for Classification Tasks – Proof of Concept Study with Synthetic Data Sets
Chinoba
Intelligence as Relationship
Research Platform
founded by
Masao Watanabe
AI Systems Architecture
Decision Trace
Human–AI Coordination
Algorithmic Governance
Related Research
この記事は Chinoba Knowledge Base の一部です。
コメント
[…] Inductive logic Programming 2020-21論文集より […]
[…] ILPに関しては現在でも活発に研究が行われており、学会も開催されている。 […]