ElastciSearchについて

[su_button url=”https://deus-ex-machina-ism.com/?page_id=3553″ target=”blank”]機械学習技術[/su_button] [su_button url=”https://deus-ex-machina-ism.com/?page_id=3707″ target=”blank”]人工知能技術[/su_button] [su_button url=”https://deus-ex-machina-ism.com/?p=283″ target=”blank”]自然言語処理技術[/su_button] [su_button url=”https://deus-ex-machina-ism.com/?p=10″ target=”blank”]セマンティックウェブ技術[/su_button] [su_button url=”https://deus-ex-machina-ism.com/?p=4613″ target=”blank”]オントロジー技術[/su_button] [su_button url=”https://deus-ex-machina-ism.com/?p=26″ target=”blank”]検索技術[/su_button] [su_button url=”https://deus-ex-machina-ism.com/?p=610″ target=”blank”]データベース技術[/su_button] [su_button url=”https://deus-ex-machina-ism.com/?p=6622″ target=”blank”]アルゴリズム[/su_button] [su_button url=”https://deus-ex-machina-ism.com/?page_id=3551″ target=”blank”]デジタルトランスフォーメーション技術[/su_button] [su_button url=”https://deus-ex-machina-ism.com/?p=17486″ target=”blank”]Visualization & UX[/su_button] [su_button url=”https://deus-ex-machina-ism.com/?p=18736″ target=”blank”]ワークフロー&サービス[/su_button] [su_button url=”https://deus-ex-machina-ism.com/?p=26912″ target=”blank”]ITインフラ技術[/su_button] [su_button url=”https://deus-ex-machina-ism.com/?p=23428″ target=”blank”]Javascript[/su_button] [su_button url=”https://deus-ex-machina-ism.com/?p=23449″ target=”blank”]CSS[/su_button] [su_button url=”https://deus-ex-machina-ism.com/?page_id=12232″ target=”blank”]本ブログのナビ[/su_button]

ElastciSearchについて

Elastic Searchは、以前述べたFESSのバックグラウンドでも使われているツールであり、Elasticsearch社により、open-coreビジネスモデルで展開されている全文検索エンジンとなる。下図に示すように、全文検索やクラスタリング等の基本機能(Apache Luceneをベースとした超高速分散処理型検索)はApacheライセンスのオープンソースプログラムとなる。

検索モジュールであるElasticsearchは、データ収集モジュールであるLogstash、データの見える化ツールであるKibana、軽量のデータシッパーであるbeats等のElastic Stackと呼ばれるコアプロダクト群をJSONベースのRestfulな通信モジュールでつなげてシステムを組むことが可能で、検索だけでなく、収集、分析、可視化の処理を行うことができる。

本ブログでは以下の項目について述べる。

1. 検索ツールFESS Elastic SearchベースとしたオールインワンのOSS
2. Elastic Searchについて (本稿)
3. 検索ツールElastic Search(1) 参考図書紹介
4. 検索ツールElastic Search(2) ElasticSearchの立ち上げ
5. 検索ツールElastic Search(3) UI(reactivesearchとの連携:基本)
6. 検索ツールElastic Search(4) UI(reactivesearchとの連携:応用)

以下にElastic Seachの概要について「Elastic Search in Action」をベースに述べる。

Elastic search はbackendシステムであり、以下のようにweb apiを介してデータをやり取りする

内部のデータは以下のようにJsonで表され

以下のようなjson形態のクエリでデータを検索する

内部のデータ処理のしくみとしては、入力データをanalyzerで解析してindex化し、queryも同様にanalyzerで解析してmatchingを行う。一般的なデータベースのqueryと異なる点はデータをインデックス化することで高速の検索ができることにある。

実際の使い方としては、機械学習等の処理でindex applicationを作り、任意のindexを挿入して検索するものとなる。

実際には複雑なインデックスを組み合わせることで、様々な検索ソリューションを実現できる。

また、Elastic Stashはログ収集PFとしても広く活用されている。それらの詳細は!マイクロサービスを含めたシステム運用監視の為のElasticStashの活用”にて詳しく述べる。