Clojureでのstopword除去

Clojure

2022.04.14 2021.06.04

機械学習技術　人工知能技術　デジタルトランスフォーメーション技術　　サポートベクトルマシン　自然言語処理技術　 Clojure

自然言語処理で不必要な単語を除くstopword除去のClojureでの実装について。

単語ベクトルにした場合は以下のような単語辞書を作成し

( "5"
"①"
"④"
"30"
"②"
"③"
"2"
"⑤"
"⑥"
...)

以下のようにremove関数を利用して単語を削除する。

(def ex-stopword
  ->>  raw-word-list
       (remove (set (read-string (slurp "data/stopword.txt")))))

また以下のようなアプローチもある。

(defn load-stopwords [filename]
         (with-open [r (io/reader filename)]
           (set (doall (line-seq r)))))
       (def is-stopword (load-stopwords "stopwords/english"))
(def tokens
         (map #(remove is-stopword (normalize (tokenize %)))
              (get-sentences
                "I never saw a Purple Cow.
                I never hope to see one.
                But I can tell you, anyhow.
                I'd rather see than be one.")))

上記のコードは、Clojure Data Analysis Cookbook 2nd より転機した。

参考までにpythonでの実装を以下に記す。

words = ['this', 'is', 'a', 'pen'] 
stop_words = ['is', 'a'] 
changed_words = [word for word in words if word not in stop_words] 
print(changed_words)

Clojureでの自然言語処理ツールclojuer-openNLP | Deus Ex Machina より:

2021年7月8日 6:46 AM

[…] このようにして抽出した単語から、不要な単語を抜き出したり(stop-word除去)、ベクトル化(one-hot-vector)を行うことで機械学習が行えるようになる。 […]

返信
自然言語の類似性の評価への言語的なアプローチ、多言語対応を含めて | Deus Ex Machina より:

2021年7月9日 9:24 AM

[…] ストップワードの除去。冠詞、前置詞、接続詞などとして認識されるトークン（通常はtoやaなどの単語）は、マッチングのための無意味な（空虚な）単語とみなされるため、破棄するようマークされる。例えば、collection of articleはcollection articleとなる。(参考:clojureでの実装) […]

返信
AI、ML、DX等に活用可能な関数型プログラミングClojure | Deus Ex Machina より:

2021年7月17日 7:18 AM

[…] Clojureでのstopword除去 Clojureでのストップワード除去 […]

返信
DX,AI,MLのベースとなる自然言語処理の概要 | Deus Ex Machina より:

2021年8月16日 10:24 AM

[…] Clojureでのstopword除去 Clojureでのストップワード除去 […]

返信
プログラミング言語Pyhtonに関する概要 | Deus Ex Machina より:

2021年9月25日 5:54 PM

[…] Clojureでのstopword除去 Pythonでのストップワード除去 […]

返信