similarity(類似性)の基礎(3)言語ベースのアプローチ

人工知能技術　ウェブ技術　知識情報処理技術　セマンティックウェブ技術   自然言語処理　機械学習技術 　オントロジー技術　オントロジーマッチング技術

オントロジーマッチングより自然言語の類似性について。前回は文字列ベースの類似度のアプローチについて述べた。今回は言語ベースのアプローチについて述べる。

前回までは文字列は文字の並びとして考えてきたが、一般的な活用を考えると、単語単体ではなく文字列(文)として扱うことが重要となる。ここで例えばtheoretical peer-reviewed journal articleという文字列を、辞書の項目に由来して、容易に識別可能な文字の並びである単語（theoretical, peer, reviewed, journal, article）に分割する時、これらの単語は、情報検索で使われるようなBag of Wordではなく、文法的な構造を持った配列の中に入っているものとなる。ここではpeerのような単語は、意味を持ち、ある概念と関連しているが、文章の中で適切に扱われるべきより有用な概念は、peer-reviewやpeer-reviewed journalなどの用語になる。

定義 21 (Partially ordered synonym resource) 
単語の集合W上の部分的に順序付けられた同義語資源Σは、
E⊆2Wが同義語の集合であり、≦が同義語間のハイパーニム関係であり、
λが同義語からその定義（ここではWの単語の袋として考えられるテキスト）への関数であるような、
三重の⟨E,≦,λ⟩である。ある用語tに対して、Σ(t)はtに関連するsynsetsの集合を表す。

author1 noun: Someone who originates or causes or initiates something;
 Ex- ample ‘he was the generator of several complaints’. 
Synonym generator, source. Hypernym maker. Hyponym coiner.
author2 noun: Writes (books or stories or articles or the like) 
professionally (for pay). Synonym writer2. Hypernym communicator.
 Hyponym abstractor, allit- erator, authoress, biographer, coauthor,
 commentator, contributor, cyberpunk, drafter, dramatist, 
encyclopedist, essayist, folk writer, framer, gagman, ghostwriter, 
Gothic romancer, hack, journalist, libretist, lyricist, novelist, 
pamphleter, paragrapher, poet, polemist, rhymer, scriptwriter, 
space writer, speechwriter, tragedian, wordmonger, word-painter, 
wordsmith, Andersen, Assimov. . . 
author3 verb.: Be the author of; Example ‘She authored this play’.
 Hypernym write. Hyponym co-author, ghost.

これは、HypernymとHy-ponymの機能と、考慮された感覚の明示的な言及を除けば、伝統的な辞書エントリに似ている。図5.1は、creator, writer, author, illustrator, personの各語のハイパーニーム関係を示したものとなる。

オントロジーエンティティで使用されている用語を照合するためのリソースとしてWordNetを使用する方法には、少なくとも3つの系列がある。
– 2つの用語が何らかの共通のシンセットに属しているために類似していると考える方法。
– 2つの用語に対応するシンセット間の距離を測定するために、ハイパニム構造を利用する。
– 2つの用語に関連するシンセット間の距離を評価するために、WordNetが提供する概念の定義を利用すること。

WordNetに基づいたマッチャーは，WordNetが提供する（語彙的な）再表現を，以下のルールに従って論理的な関係に変換することで設計できる（Giunchiglia et al.2004）。

• tがt′のハイポニムまたはメロニムである場合，t≦t′となる。例えば，authorはcreatorのhyponymであり，author ⊑ creatorと結論づけられる。
•  tがt′のhypernymまたはholonymである場合，t≧t′となる。例えば、EuropeはFranceのholonymであり、したがって、Europe ⊒ Franceと結論づけられる。
•  t = t′は，それらが同義語関係で結ばれているか，一つのシンセットに属している場合となる。例えば、writerとauthorは同義語であるから、writer = authorと結論づけることができる。
•  t ⊥ t′, それらが反意語関係で結ばれているか、または階層の一部で兄弟である場合。例えば、ItalyとFranceはWordNetのパートオブヒエラルキーにおいて兄弟であり、したがって、Italy ⊥ Franceと結論づけられる。

ここでは単純な尺度を定義することができる（ここでは同義語のみを考慮しているが、これはWordNet同義語集合の基礎であるためで、他の関係を使用することもできる）。同義語の最も簡単な使い方は次の通りになる。

定義 23 (同義語の類似性) 
2つの用語sとt、および同義語リソースΣが与えられた場合、
同義語とは以下のような類似性σ : S × S → [0 1] である。

このように同義語を厳密に利用すると、非同義語のオブジェクトがどれだけ離れているか、同義語のオブジェクトがどれだけ近いかを分析することができない。同義語は関係であるから、関係のグラフ上のすべての尺度は、WordNetの同義語に使用することができる。もう一つの尺度はcosynonymyの類似性を計算するものである。

定義 25 (Cosynonymy similarity) 
2つの用語sとt、同義語リソースΣが与えられたとき、
cosynonymyは次のような類似性σ : S × S → [0 1] である。

\[\sigma(s,t)=\frac{|\sum(s)\cap\sum(t)|}{|\sum(s)\cup\sum(t)|}\]

illustrator, author, creator, Person, writerのcosynonymy類似度は次の表のようになる。

精巧な測定法の中には、用語が複数のシンセットの一部であることを考慮して、同義語集合間の下位概念-上位概念階層の測定法を用いるものがある。エッジカウントと呼ばれる単純な尺度は、Σ内の2つのsynsetsを隔てるエッジの数（または構造的位相的非類似性）を数える。さらに、Wu and Palmerによって提案されたように、エッジカウントを階層内のシンセットの位置で重み付けする方法もある。前述で定義されたすべての尺度は、根無し草の有向非循環グラフを扱うことができれば、WordNetのハイパーニーム・グラフに使用することができる。

他の尺度は、情報理論的な観点に基づいている。これらは、概念の可能性が高ければ高いほど、その概念が持つ情報は少なくなるという仮定に基づいています。つまり、概念の情報量は、その出現確率に反比例する。(Resnik 1995, 1999)で提案された類似性では、各シンセット(c)は、特定のコーパスにおけるその概念のインスタンスの出現確率(π(c))と関連付けられる。通常、π(c)はsynsetの単語の出現率の合計を概念の総数で割ったものである。この確率はコーパスの調査から得られる。この確率は、概念が具体的であればあるほど、低くなる。2つの用語間のレスニク意味的類似性は、両方の用語に共通するより一般的なシンセットの関数である。これは、出現確率の対数の否定として、そのようなシンセットの最大情報量（またはエントロピー）を考慮したものになる。

定義 27 (Resnik semantic similarity) 
2つの用語sとt、および確率測度πが与えられた部分的に順序付けられた
同義語資源Σ = ⟨E, ≤, λ⟩が与えられた場合、
Resnik semantic similarityは、以下のような類似性σ : S × S → [0 1] である。

\[\sigma(s,t)=\displaystyle \max_{k;\exists c,c’\in E;s\in c∧t\in c’∧c≤k∧c’≤k }(-log(\pi(k)))\]

コーパスベースの類似性の例は、結果がベースとなるコーパス（ここではπを定義するためのもの）に依存するため、ここでは提供しない。Brownコーパス9に基づく類似度測定の例は(Budanitsky and Hirst 2006)に記載されている。
この尺度は最大値を用いているが、代わりに平均値や、2つの用語に関連するすべてのシンセットのペアの合計を選択することも可能である。
他の情報理論的な類似性は、共有された情報量ではなく、用語からその共通のハイパニムまでの情報量の増加に依存している。これは、Jiang-Conrath法(Jiang and Conrath 1997)やLin情報理論的類似性(Lin 1998)がそうである。(参考:事例間類似度の帰納に基づく分類手法)この方法では、2つのsynsetの間のオーバーラップの度合いを確率的に指定する。

定義 28 (情報理論的類似性) 
2つの用語sとt、および確率πで提供される部分的に順序付けられた
同義語資源Σ = ⟨E , ≤, λ⟩が与えられた場合、
林情報理論的類似性は、以下のような類似性σ : S × S → [0 1] である。

\[\sigma(s,t)=\displaystyle \max_{k;\exists c,c’\in E;s\in c∧t\in c’∧c≤k∧c’k}\frac{2xlog(\pi(k))}{log(\pi(s))+log(\pi(t))}\]

これらの類似性は正規化されていない。
WordNetのようなシソーラスを使って文字列中の用語を比較する最後の方法は、これらの用語に与えられた定義（グロス）を使うことになる。この場合、任意の辞書エントリs∈Σは、λ(s)に対応する単語のセットによって識別される。そして、5.2.1節で定義した任意の尺度を文字列の比較に用いることができる(Lesk 1986)。

定義 29 (Gloss overlap) 
部分的に順序付けられた同義語資源Σ = ⟨E,≦λ⟩が与えられた場合、
2つの文字列sとtの間の用語の重複は、それらの用語のJaccard類似度によって定義される。

\[ \sigma(s,t)=\frac{\lambda(s)\cap\lambda(t)|}{\lambda(s)\cup\lambda(t)|}\]

例として、 illustrator、author、creator、Person、writerの用語の重なりの類似度を計算するために、次の処理を行っ た結果は、単語のセット（バッグではないので、繰り返しはない）として扱われ、構文的に比較され、以下の表が得られた。

この結果は、これまでの測定法と一致している。なぜなら、これまで唯一一致していたペア（author-writer）が、依然として最高得点を得ているからである。この尺度は、creator-illustratorのような新しい関係を導入してい.が、creatorとauthorの間の（可能性のある）関係はまだ見つかっていない。これは、WordNet の用語集の質に完全に依存している。

(WordNetの)用語集を使用してマッチャーを構築する別の例としては、ソース入力センスのラベルがターゲット入力センスの用語集に出現する数をカウントすることが挙げられる。この数が閾値（例えば1）に等しい場合、一般性の低い関係を返すことができる。一般性の低い関係を返す理由は、より一般的な用語を介して用語集の用語を定義する一般的なパターンによる。例えば、WordNetでは、creatorは「物を育てたり、作ったり、発明したりする人」と定義されている。したがって、この戦略に従えば、creator ⊑ person を見つけることができる。用語集ベースのマッチャーの他のバリエーションとして、WordNet is a (part of) hierar- chy で入力感覚の親ノード (子ノード) の用語集を考慮するものがある (Giunchiglia and Yatskevich 2004)。これらのマッチャーが生成する関係は、マッチングタスクのコンテキストに大きく依存するため、これらのマッチャーをすべてのケースに適用することはできない(Giunchiglia et al.2006c)。(参考:コモンセンス知識ベースを用いた推論)

多言語対応の方法

オントロジーは、そのラベルがすべて1つの自然言語のみで利用可能な場合は単言語、複数の異なる言語を使用している場合は多言語となる。さらに、OWLやSKOSなどのオントロジー言語では、明示的に識別された言語で複数のラベルを宣言することができるため、オントロジーエンティティが識別される言語を評価することができる（例えば、Article@frはフランス語の「article」という単語になる）。
同様に、ラベルとして使用される2つの用語は、同じ自然言語に属する場合はモノリンガルに、2つの異なる自然言語に属する場合はクロスリンガルにマッチさせることができる。最初のオプションは、前のセクションで検討された技術に対応している。しかし、オントロジーが記述される言語が多様化していることから、言語横断的なマッチングが重要になってきている。これにはいくつかの方法があり、ピボット言語との比較や相互翻訳がある（Trojahn et al.2010b）。

ピボット言語との比較は、2つのオントロジーの用語を1つの特定の言語に翻訳するものである（Jung et al. これにより、必要な翻訳の数が減り、多言語オントロジーの複数の言語を一度に扱うことができる。1つのオントロジー内で、異なる言語のラベルで識別された同じエンティティがあると、ピボット言語のターゲットタームを曖昧にするのに役立つ場合がある。例えば、英語のPaperはスペイン語ではPapelやArticuloと訳されるが、フランス語のラベルがArticleであれば、適切な意味はArticuloとなる。通常、ピボット言語法が選択されるのは、異なる言語の用語を比較するための言語資源が利用できるからとなる。

相互翻訳では、一方のオントロジーのすべての用語を他方のオントロジーの言語に翻訳する(Fu et al. 2012)。翻訳には、言語間辞書などの言語間リソースの使用から、英語のPaperがフランス語のArticleに対応するなど、定義が他の言語の同等の用語に置き換えられている辞書まで、さまざまな技術が使用される。このような辞書は、オントロジーのラベルが異なる言語で表現されている場合に非常に有用となる。このような辞書は、マッチングだけでなく、マッチングの前に用語の曖昧さを解消する（つまり、意図された意味を特定する）ためにも使用できる。翻訳には、オンライン統計翻訳機などの他のリソースを使用することもできる（Trojahn et al.2010b）。

すべての用語が1つの言語（軸となる言語または相互翻訳の対象言語）だけで構成されている場合、通常の（単一言語の）技術を使って比較することができる。このことは、言語的マッチング技術に影響を与え、次のような区別をもたらします。

• 単言語マッチング：英語などの単一言語で書かれたラベルに基づいて2つのオントロジーをマッチングする。
• 多言語マッチング：英語、フランス語、スペイン語など、さまざまな言語のラベルに基づいて2つのオントロジーをマッチングする。これは、用語のパラレル・モノリンガル・マッチングや、異なる言語の用語のクロスリンガル・マッチングによって実現することができる。
• クロスリンガルマッチングとは、英語とフランス語など、2つの異なる言語で書かれたラベルに基づいて2つのオントロジーをマッチングさせること。

これらの定義は、Spohrら（2011）の定義とは若干異なり、2つ目の選択肢である多言語マッチングをcrosslingualと呼んでいる。また、多言語マッチングは、他の2つのオプション（1つの言語ペアのみでの多言語マッチング）よりも一般的なものとなっている。

多言語オントロジーが提供する興味深い技術に、Crosslingual val-idationがある。これは、フランス語とフランス語、英語と英語のように、異なる言語で2つのオントロジーを並行して照合し（7.2節）、これらの並行照合を集約してコンセンサスを得るというものになる。通常、十分な数のマッチャーが特定の対応関係を見つけた場合、その対応関係を保持する。この方法は、マッチングの精度を高めるのに有効であることがわかっている（Spohr et al.)

言語学的手法に関するまとめ

このセクションで紹介する多くの手法は、PerlパッケージのWordNet::similarity (Pedersen et al. 2004)とJavaパッケージのSimPack4に実装されている（表5.3参照）。これらは(Budanitsky and Hirst 2006)で徹底的に比較されている。
ステマー、品詞タガー、レキシコン、the-sauriなどの言語リソースは、オントロジーの表現に使用されている用語の解釈を可能にするため、非常に貴重なリソースとなる。オントロジーの表現に使われている用語を解釈することで、ラベルをより正確に理解することができる。

しかし、ある言語で適切なリソースが利用できる場合、2つの用語が同じ概念を表すことを認識するため、主にエンティティ間の新しいマッチの可能性を開く。残念なことに、これらの技術は、同じ用語が同時に複数の概念を表す可能性があることも認識しているため、多くのマッチの可能性を提供している。

これらの表現を選択する一つの方法は、オントロジーエンティティの構造を考慮して、最も首尾一貫したマッチを選択することとなる。

以上言語的なアプローチについて述べた。次回は内部構造に基づく手法について述べたいと思う。