データベース技術

機械学習技術 人工知能技術 自然言語処理技術 アルゴリズム デジタルトランスフォーメーション技術 ITインフラ技術 数学 プログラミング技術 本ブログのナビ

データベース技術

概要

データベースとは、wikiでの説明だと「データベース（英: database, DB）とは、検索や蓄積が容易にできるよう整理された情報の集まり。 通常はコンピュータによって実現されたものを指す。コンピュータを使用したデータベース・システムでは、データベース管理用のソフトウェアであるデータベース管理システムを使用する場合も多い。プログラムで扱うデータ構造やデータそのものを独自実装の場合に比べて少ない工数で操作できるようにしている。膨大なデータを扱う現代の情報システムでは最重要と言える^[要出典]技術である。」となる。

データベースを利用する利点としては、プログラムで独自のデータ構造を実装するよりも汎用的なデータ構造をシンプルに活用できること、後ほど述べるデータの統一性を担保できるしくみ(データのバックアップ等)を利用できることがある。

本ブログではデータベースに関して以下について述べている。

実装

データベース技術の概要と各種言語での実装例

データベース技術の概要と各種言語での実装例。データベース技術とは、データを効率的に管理・保存・取得・処理するための技術のことを指し、情報システムやアプリケーションにおけるデータの永続化や操作を支援し、データの正確性、一貫性、可用性、安全性を確保することを目的としたものとなる。

以下にこれらのデータベースを実際に扱うための各種言語による実装について述べる。

ベクトルデータベースの概要について

ベクトルデータベースの概要について。ベクトルデータベース（Vector Database）は、データベースの一種で、主にベクトルデータを格納し、クエリや検索などの操作をベクトル空間で行うことを目的としたものとなる。2023年より、ベクトルデータベースに関するマーケティングが盛んに行われ、多数のベクトルデータベースベンダーが現れている。これは特にChatGPTの台頭に影響を受けたもので、
ベクトルデータベースを使用してRAGと呼ばれる構成を組むと、ChatGPTの苦手な最新のニュースや公開されていない情報の扱いなどの弱点を補うことが可能となっているためである。ベクトルデータベースは、ベクトルの類似性に基づいてデータを検索し、関連するデータを効率的に取得するために設計されている。また、k-NN（k最近傍）などのアルゴリズムを使用して高次元データを検索したり、量子化やパーティショニングなどの技術も使用して、検索パフォーマンスを最適化しているものもある。

ElasticSearchのプラグインの活用と実装例

ElasticSearchのプラグインの活用と実装例。Elasticsearchは、オープンソースの分散型検索エンジンであり、高速なテキスト検索やデータ分析を可能にするための多くの機能を提供している。また、Elasticsearchの機能を拡張するための様々なプラグインも利用できる。ここではこのプラグインと具体的な実装について述べている。

RDF storeとSPARQL NoSQL DBの一つであるグラフ型DBについて

RDF storeとSPARQL NoSQL DBの一つであるグラフ型DBについて。今回はそれらをRDFデータハンドリングするデータベースであるRDFストアと、RDFストアからデータを抽出するクエリ体系であるSPARQLについて述べる。

RDFデータは別名トリプルストア(triplestore)とも呼ばれる。また、NoSQLデータベースと呼ばれる非RDBMSのグラフ型のデータとなる。グラフ型DBとしてはRDFストア以外にもNoo4JやDatomic等のRDFによらない「ノード」「エッジ」「プロパティ」により構成されるデータベースがあり、それぞれ固有のクエリエンジン(Cypher、Datalog拡張クエリ)を持っている。RDFデータベースは、RDFデータ構造に準拠したクエリであるSPARQLに対応しているものを言う。

具体的なRDFデータストアとしては、OcarleやIBM等の既存のDBフレームワークを持っているところからも提供されている他、オープンソースとしてはApacheプロジェクトからJena(及びクエリモジュールArq)が提供されていたり、個別のベンダーとしてはBlazeGraphやAllegroGraph等がある。またクラウドサービス対応としてはAWSのNeptuneもSAPRQLをサーポートしている。

Redisについて NoSQL DBの一つであるK-V型DB(Redis)の概要と基本的な活用

Redisについて NoSQL DBの一つであるK-V型DB(Redis)の概要と基本的な活用。Redisは、インメモリのリモートデータベースで、ハイパフォーマンス、レプリケーション、独特なデータモデルという特徴を持つ。5種類のデータ構造をサポートしており、Redisの機能に自然対応付けられる広範囲のさまざまな問題に適応できる。また、レプリケーション、永続化、クライアントサイドシャーディングなどの機能により、Reidsのスケーラビリティは非常に高く、プロトタイプを作る為の便利な手段として使うところから、数百GBのデータ、1秒あたりの数百万の要求を処理する本格的なデータベースシステムまで、さまざまな用途に対応できる

Redisに近い機能を提供するものとして、キーバリューキャッシュサーバーであるmemcachedがある。これと比較するとRedisはmemcached と同様に、キーから値へのマッピングを格納することができるが、2つの異なる方法(スナップショット(瞬間ダンプ)と追記専用書き込み)でディスクに自動的にデータを書き出す機能と、プレーンな文字列以外にも4種類のデータ構造を格納できることが大きく異なるポイントになる。

Redisは主データベースとして使うことも、他のストレージシステムの補助システムとして使うことも出来、Redisのパフォーマンスや機能が必要なときに限りRedisにデータを格納し、パフォーマンスが少し低くても許容できる場合や、データが大きすぎて経済的にメモリに収めるわけにはいかなくなったときには、他のデータベースを使うといった使い方ができる。

Ontology Based Data Access(ODBA)と生成系AIとGNN

Ontology Based Data Access(ODBA)と生成系AIとGNN。Ontology Based Data Access (OBDA)は、異なる形式や場所に保存されているデータに対して、オントロジーが提供する統一的で概念的なビューを用いてクエリを実行できるようにした手法で、データの意味的な統合と、ユーザーが理解しやすい形式でデータにアクセスできることを目的としたものとなる。

ClojureでのWebサーバーとDBとの連携 postgresqlとサーバー

ClojureでのWebサーバーとDBとの連携 postgresqlとサーバー

ClojureとRedis ClojureでのRedisの活用

ClojureとRedis ClojureでのRedisの活用

技術トピック

データベース技術について

データベース技術について。データベース技術は、データの組織化、管理、操作、保存を可能にするための技術であり、データベースは、関連するデータを一貫性のある方法で格納し、必要に応じて迅速にアクセスできるようにすることを目的としている。ここでは、このデータベース技術に関する基本的な要素の解説と用いられているアルゴリズム等について述べている。

データベースのアルゴリズム(1) データベースの一貫性について

データベースのアルゴリズム(1) データベースの一貫性について。データベースが他の情報保存方法と違う最大のポイントとして、データベース内の情報が予め定義された構造を持っている事となる。またもう一つの特徴として「一貫性」がある。

構造とは文字通り、データが整理された例えばテーブルのような形であらわされていることであり、一貫性とはデータベースに含まれている情報がデータの出し入れが行われても矛盾を起こさないことを表す。ここではこれらの特徴を実現する為に3つのアルゴリズムが述べられている。一つは「ログ先行書き込み」、もう一つが「2段階コミット」、そして最後が「リレーショナルデータベース」となる。

データベースのアルゴリズム(2) リレーショナルデータベースについて

データベースのアルゴリズム(2) リレーショナルデータベースについて。データベースは構造を持ったデータであり、最もシンプルなものは表の構造を持ったものになる。表の構造はは一つではなく複数に分割した方が効率的な場合がある。

このようにシンプルな構造にすることで、コンピューターのメモリを節約できると共に、データを変更する際にも繰り返された情報(授業情報)すべてを一つ一つ変更せずにまとめて変更できるという利点が生じる。

ここで分割された二つの表で共通して利用するデータ(上記の例だと授業番号)はキーと呼ばれる。データベースはこのキーを使ってデータを塊として捉えて高速にアクセスすることができ、この塊のことをコンピューター科学では「B木」と呼ぶ。

RDBMSとSQL -SQLについて

RDBMSとSQL -SQLについて。「7つのデーベース7つの世界」のpostgresqlの章も、3部構成になっていて、第1部が基本的なスキーマの定義、データの挿入、行の更新や削除、基本的な読み取りについてのべられ、第2部はSQLについての詳細、第3部はそれを応用した多次元の全文検索となっている。

SQLは、大きく分けると3つの領域の言語から構成される。一つ目はデータスキーマを定義してテーブルを作成するデータ定義言語(Data Definition Language)で、CREATE(テーブルの作成)やALTER(テーブルの設定変更)やDROP(テーブルの削除)、TRUNCATE(テーブルデータの削除)等だ。二つ目は作成したスキーマ(テーブル)の中のデータを操作するデータ操作言語(Data Manipulation Language)で、SELECT(データの検索)、INSERT(データの追加)、UPDATE(データの更新)、DELETE(データの削除)等になる。そして三つ目が全体の制御であるデータ制御言語(Data Control Language)で、GRANT(権限付与)、REVOKE(権限剥奪)等がある。

RDF storeとSPARQL NoSQL DBの一つであるグラフ型DBについて

RDF storeとSPARQL NoSQL DBの一つであるグラフ型DBについて。今回はそれらをRDFデータハンドリングするデータベースであるRDFストアと、RDFストアからデータを抽出するクエリ体系であるSPARQLについて述べる。

RDFデータは別名トリプルストア(triplestore)とも呼ばれる。また、NoSQLデータベースと呼ばれる非RDBMSのグラフ型のデータとなる。グラフ型DBとしてはRDFストア以外にもNoo4JやDatomic等のRDFによらない「ノード」「エッジ」「プロパティ」により構成されるデータベースがあり、それぞれ固有のクエリエンジン(Cypher、Datalog拡張クエリ)を持っている。RDFデータベースは、RDFデータ構造に準拠したクエリであるSPARQLに対応しているものを言う。

具体的なRDFデータストアとしては、OcarleやIBM等の既存のDBフレームワークを持っているところからも提供されている他、オープンソースとしてはApacheプロジェクトからJena(及びクエリモジュールArq)が提供されていたり、個別のベンダーとしてはBlazeGraphやAllegroGraph等がある。またクラウドサービス対応としてはAWSのNeptuneもSAPRQLをサーポートしている。

Redisについて NoSQL DBの一つであるK-V型DB(Redis)の概要と基本的な活用

Redisについて NoSQL DBの一つであるK-V型DB(Redis)の概要と基本的な活用。Redisは、インメモリのリモートデータベースで、ハイパフォーマンス、レプリケーション、独特なデータモデルという特徴を持つ。5種類のデータ構造をサポートしており、Redisの機能に自然対応付けられる広範囲のさまざまな問題に適応できる。また、レプリケーション、永続化、クライアントサイドシャーディングなどの機能により、Reidsのスケーラビリティは非常に高く、プロトタイプを作る為の便利な手段として使うところから、数百GBのデータ、1秒あたりの数百万の要求を処理する本格的なデータベースシステムまで、さまざまな用途に対応できる

Redisに近い機能を提供するものとして、キーバリューキャッシュサーバーであるmemcachedがある。これと比較するとRedisはmemcached と同様に、キーから値へのマッピングを格納することができるが、2つの異なる方法(スナップショット(瞬間ダンプ)と追記専用書き込み)でディスクに自動的にデータを書き出す機能と、プレーンな文字列以外にも4種類のデータ構造を格納できることが大きく異なるポイントになる。

Redisは主データベースとして使うことも、他のストレージシステムの補助システムとして使うことも出来、Redisのパフォーマンスや機能が必要なときに限りRedisにデータを格納し、パフォーマンスが少し低くても許容できる場合や、データが大きすぎて経済的にメモリに収めるわけにはいかなくなったときには、他のデータベースを使うといった使い方ができる。

Redisのデータ構造と概念(外部リンク)

Redisのデータ構造と概念(外部リンク)。Redis は プレーン なキー・バリューストアではありません。実質的には、異なる種類の値をサポートする データ構造サーバー (data structures server) といえます。つまり、従来のキー・バリューストアでは、キーに文字列値を関連づけるのに対して、Redis では値はシンプルな文字列に限定されず、もっと複雑なデータ構造を格納することができます。以下のリストは、Redis でサポートされるすべてのデータ構造の一覧です。このチュートリアルで、それぞれについて説明していきいます

データベース技術の概要と各種言語での実装例

データベース技術の概要と各種言語での実装例。データベース技術とは、データを効率的に管理・保存・取得・処理するための技術のことを指し、情報システムやアプリケーションにおけるデータの永続化や操作を支援し、データの正確性、一貫性、可用性、安全性を確保することを目的としたものとなる。

以下にこれらのデータベースを実際に扱うための各種言語による実装について述べる。

次世帯DBであるDatomicを利用したマイクロサービスの為のデータベース構築

次世帯DBであるDatomicを利用したマイクロサービスの為のデータベース構築。今回は、マイクロサービスに用いられるデータベースである次世代データベースDatomicについて述べる。Datomicはマイクロサーピスのようなデータ指向アプリケーション(データ指向アプリケーションとは、データの量や複雑さ、変化が課題となるアプリケーション)向けのデータを確実に保存し、取得する為の、基盤となるデータベースとなる。DatomicはClojureで書かれたライブラリであり、AWSで提供されているクラウドサービスでもある。

ClojureでのWebサーバーとDBとの連携 postgresqlとサーバー

ClojureでのWebサーバーとDBとの連携 postgresqlとサーバー

ClojureとRedis ClojureでのRedisの活用

ClojureとRedis ClojureでのRedisの活用

Ontology Matching 異なるDBのデータ統合の為のスキーママッチング

Ontology Matching 異なるDBのデータ統合の為のスキーママッチング。オントロジーマッチングは、異なるオントロジーの意味的に関連するエンティティ間の対応関係を見つけることを目的とした技術となる。

これらの対応は、オントロジーエンティティ間の等価性や、結果、サブサンプション、ディスジョイントネスなどの他の関係を表すことができ、これまでに、データベース、情報システム、人工知能などの様々な観点から、多くの異なるマッチングソリューションが提案されてきている。

オントロジーマッチングを行うための方法としては、単純なストリングマッチングから始まり、様々な機械学習によるアプローチ、データの相互リンク、オントロジーのパーティショニングとプルーニング、コンテキストベースのマッチング、マッチャーのチューニング、アライメントのデバッグ、ユーザーによるマッチングへの参加など様々な手法が提案されている。

Schema Matching and Mapping 異なるDBのデータ統合の為のスキーママッチング

Schema Matching and Mapping 異なるDBのデータ統合の為のスキーママッチング。e-ビジネス、Webベースのマッシュアップ、ライフサイエンスなどのアプリケーション分野では、異種の情報システムが協調して通信することが重要になっている。このような協調システムは、シームレスなデータ交換や変換を可能にするために、異なるソースや異なる構造の大規模なデータセットを自動的かつ効率的に照合、交換、変換、統合しなければならない。

Bellahsene、Bonifati、Rahmの3人が編集したこの本は、スキーマやオントロジーの照合・マッピングツールが上記の要求にどのように応えてきたかを概観し、今後の技術的課題を指摘しています。第一線の専門家による寄稿は、「大規模で知識駆動型のスキーママッチング」、「品質駆動型のスキーママッピングと進化」、「マッチングタスクの評価とチューニング」の3つのパートに分けて構成されている。

確率と論理の融合(1)ベイジアンネットとKBMCとPRMとSRL

確率と論理の融合(1)ベイジアンネットとKBMCとPRMとSRL。論理と確率の融合として、北米で発達したSRLについて述べる。SRLは、ベイジアンネットの記述力を向上させるために論理式を導入したもので、ある種の便利な(マクロのような)関数として利用するものとなる。具体的なものとしては確率的関係モデル(probabilistic relational model;PRM)、マルコフ論理ネットワーク(Markov logic network;MLN)、確率的ソフトロジック(probabilistic soft logic;PSL)について述べる。

Webやドキュメントからの表形式データの抽出と意味注釈(SemTab)学習

Webやドキュメントからの表形式データの抽出と意味注釈(SemTab)学習。Webやドキュメント上には無数のテーブル情報があり、人手でまとめられている知識情報として非常に有用なものとなる。一般的にそれらの情報を抽出し構造化するタスクは情報抽出タスクとよばれているが、その中でも近年表情報に特化したタスクが注目されている。ここではこの表形式のデータ抽出に対する様々なアプローチについて述べる。

その他論文

• The Combined Approach to OBDA: Taming Role Hierarchies Using Filters
• リレーショナル・データベースのセマンティック・ウェブ化に向けて: 実用的なセマンティックツールキットと漢方薬の使用例
• Personalized Best Answer Computation in Graph Databases
• Ontology-Based Data Access: Ontop of Databases
• NoSQL Databases for RDF: An Empirical Evaluation
• OBDA: Query Rewriting or Materialization? In Practice, Both!
• Answering SPARQL Queries over Databases under OWL2QL Entailment Regime
• kyrie2: Query Rewriting under Extensional Constraints in ELHIO
• Schema-Agnostic Query Rewriting in SPARQL 1.1
• How Semantic Technologies Can Enhance Data Access at Siemens Energy
• Ontology-Based Integration of Cross-Linked Datasets
• Mapping Analysis in Ontology-Based Data Access: Algorithms andComplexity
• Querying Wikidata: Comparing SPARQL, Relational and Graph Databases
• Cost-Driven Ontology-Based Data Access
• Ontology-Based Data Access to Slegge
• Practical Update Management in Ontology-based Data Access
• CodeOntology: RDF-ization of Source Code

DB解説

以下にて、「7つのデータベース7つの世界」をベースにデータベースの概要について述べる。Eric RedmondとJim R Wilsonによる「Seven Databases in Seven Weeks A Guide to Modern Databases and the NoSQL movements」の邦訳となる。

本書では、前回紹介したリレーショナルDBのPostgreSQLから始まり、キーバリューDBであるRiak、HBase、ドキュメントDBであるMongoDB、CouchDB、グラフ型DBであるNoe4J、IOTにも活用されるパブサブ機能を持つキーバリューDBであるRedisについての紹介が記されている。作者は元々NoSQLについて書きたとのこと。モチベーションはNoSQLとは何なのか?どのようなシステムが含まれるのか?ソフトウェア開発にどのような影響を与えるのか?等の様々なデータベースに関する疑問についての答えを探すためともある。

まず最初の質問として、「どのデータベースがあるいはどのデータベースの組み合わせがあなたの問題解決に最適なのか?」を掲げてある。

それら対する答えとして、まずデータベースの種類としては、リレーショナル(posgtres等)・キーバリュー(Riak、Redis等)・列指向(HBase等)・ドキュメント指向(MongoDB、CouchDB等)・グラフ(Neo4J等)とそれらの組み合わせであるポリグリッド(複合)形態を提示している。

次に、データベースは実際の問題を解くために特定の課題に対応して設計されているという視点からの記述がなされている。スキーマの柔軟性よりもクエリの柔軟性を重視したリレーショナルDB、複雑なクエリが不必要で高速なアクセスが必要な場合を想定して作られたキーバリューDB、膨大なデータを複数台のマシンに保存するために作られた列指向DB、スキーマの柔軟性を重視したドキュメント指向DB、データの相互接続を重視(リレーションを辿りながら次々とノードを検索できる)したグラフDB等。

次に示されていたのが、データベースとの接続の視点だ。JavaScript等の汎用プログラミング言語を介したものや、PL/psSQL、Gremlin等の専用の言語(DSL)を介したもの、RESTやThrift等の低レベルのプロトコルを介したもの等になる。またそれら以外の視点としてはスケーラビリティとパフォーマンスの視点や、コストの視点等もあげられていた。

この本の中での最も重要なメッセージは、考えるべきことは、データベースが今直面している問題に現れるデータをモデリングできるかどうかではなく、その問題領域・使用パターン・利用可能なリソースにとって最適な選択かどうか(そのデータベースが利用できるか?ではなく、そのデータベースを利用すべきか?)となると思う。

また、個別のデータベースの議論の中では、CRUD(Create(新規データの追加)-Read(データの参照)-Update(データの更新)-Delete(データの削除))の視点での比較と、トランザクションの比較がACIDやCAPという言葉を使って解説されている。(ACIDとは、Atom(原子性)、Consistent(整合性)、Isolated(隔離性)、Durable(永続性)で、CAPとはConsistency(一貫性)、Avalability(可用性)、Partion-Tolerance(分断耐性)となる。

CRUDに関してはそれぞれの単語の意味が理解しやすいが、トランザクション系の言葉はすぐには頭に入ってこないと思う。それらに関してはざっくりと述べるとCRUDはデータの入出力に関するもので、トランザクションはデータベースの中ので処理が行われても、データの一貫性が担保される仕組みに関するものになる。

次回はRDBMSとSQLについて述べてみたい。