ベクトルデータベース
(べくとるでーたべーす/Vector Database)
- 起点・背景(海外)
- 2019年
- 更新
- 2026-10-30
一言でいうと
埋め込みによって数値の並び(ベクトル)に変換したデータを保存し、問い合わせと意味の近いデータを探し出すためのデータベースです。
埋め込みは、文章や画像をベクトルへ変換する手法を指します。ベクトルデータベースは、変換後のベクトルを保存し、検索する基盤を指します。
開発元と登場年
特定の製品名ではなく、ベクトルの保存と類似検索を主な機能とするデータベースの総称です。専用の製品と、既存のデータベースに機能を追加する拡張の両方があります。
専用製品の例として、Zillizが開発するオープンソースのMilvusが2019年10月に公開されました。Milvusは2020年1月にLF AI & Data Foundationの育成段階のプロジェクトとなり、2021年6月に卒業段階へ移っています。既存のデータベースに機能を追加する例には、PostgreSQLの拡張であるpgvectorがあります。
何を解決するために生まれたか
従来のデータベースは、主に値の完全一致でレコードを探します。意味の近いデータを探すには、問い合わせのベクトルと保存済みの各ベクトルを比べる必要があり、総当たりで比べるとデータ量に比例して時間がかかります。
多くのベクトルデータベースは、正確さを一部犠牲にして速く探す方式を採っています。本当に最も近いデータを必ず返すのではなく、ほぼ最も近いデータを短時間で返します。この方式は近似最近傍探索(ANN)と呼ばれ、代表的な手法に多層のグラフ構造を使うHNSWがあります。
速さと取りこぼしの少なさは引き換えの関係にあります。pgvectorは既定では全件を比べる厳密な探索を行い、索引を追加すると近似の探索に切り替わります。製品や索引の方式を選ぶときは、データ量と、どこまで取りこぼしを許せるかを基準に判断します。
どこで使われているか
特に多い用途は、RAG(検索拡張生成)の検索部分です。文書や文書の一部ごとに埋め込みを計算し、元の文書への参照と一緒にベクトルデータベースへ保存します。質問の埋め込みで関連する文書を探し、言語モデルへの入力に加えます。そのほか、意味検索、文章や画像など、形式の異なるデータを横断する検索、レコメンドに使われます。
文書の分割方法、埋め込みモデルの選択、検索結果を言語モデルへ渡す方法は、RAGを実装する側が設計します。
人材市場の実情
職務経歴書でこの語を見たときは、マネージドサービスや拡張をアプリケーションから使ったのか、索引の方式や規模の拡大に合わせた構成まで担ったのかで、担当範囲が大きく異なります。求人で求める範囲もこの2つのどちらかを書き分けると、候補者が判断しやすくなります。
混同されやすい技術との違い
| 用語 | 指すもの | ベクトルデータベースとの違い |
|---|---|---|
| 埋め込み | 文章や画像をベクトルへ変換する手法 | ベクトルデータベースは変換後のベクトルを保存し、検索する基盤 |
| ベクトル検索 | ベクトル同士の近さでデータを探す検索の手法 | ベクトルデータベースは、その検索を大量のデータに対して実行するための基盤 |
| RAG | 検索結果を言語モデルへの入力に加えて回答を生成させる手法 | ベクトルデータベースはRAGの検索部分で最もよく使われる部品 |
| 全文検索エンジン | キーワードの一致で文書を探す製品 | ベクトルデータベースは、語が一致しなくても意味の近い文書を探せる |
採用担当の見極めポイント
- 職務経歴書に「ベクトルデータベース」とある場合は、製品の選定・構成を担当したのか、RAGの検索部分をアプリケーションから実装したのかを分けて確認してください。データ量や更新頻度をもとに製品や索引の方式を選んだ経緯を説明できる場合は、基盤の選定に関わったと考えられます
- 検索の精度をどう検証したかを聞いてください。評価に使った質問と正解の組み合わせ、比べた指標、調整の前後の結果を説明できる場合は、検索の評価と調整を担当したと判断する材料になります。運用の経験は、データの更新・削除や障害時の対応を別に聞いて確認してください
- 求人票には、利用している製品名、扱うデータ量の目安、RAGのどの部分を担当するかを書いてください。候補者はそこから、基盤の運用まで求められるのかを判断します