Sentence Transformersが多重ベクトルエンコーダを導入、より詳細な検索を実現

PythonライブラリであるSentence Transformersが、v6.0のアップデートにより「MultiVectorEncoder」という新しいモデルタイプを導入しました。

これは、ColBERTスタイルの「遅延相互作用（Late Interaction）」検索を可能にする機能です。

従来の埋め込みモデルがテキスト全体を単一のベクトルに圧縮するのに対し、この多重ベクトルモデルはトークンごとにベクトルを保持し、クエリとドキュメントのスコアリングをMaxSim演算子を用いて行います。

このMaxSim演算子を用いることで、単一ベクトルでは平均化されてしまうトークンレベルの照合情報を保持することが可能になります。

これにより、単一ベクトルによるアプローチでは、特定の重要な実体や正確な識別子などが他の情報に埋もれてしまうという「圧縮による情報損失」の問題を克服し、より強力な検索精度を実現します。

ただし、この精度向上の代償として、インデックスのサイズは大きくなるという特徴があります。

導入されたMultiVectorEncoderは、PyLateチェックポイントやStanford-NLPのColBERTチェックポイントを直接ロードできるほか、視覚ドキュメント検索のためのcolpali-engineモデルも同じAPIを通じて利用可能です。

この技術は、テキストクエリをOCR処理なしでページ画像に直接照合する視覚ドキュメント検索においても最先端の技術として位置づけられています。

利用者は、標準の`pip install -U sentence-transformers`コマンドで導入されたモデルを、様々なチェックポイント形式でロードし、クエリとドキュメントのエンコーディング、MaxSimによるスコアリングを実行できます。

本記事は多重ベクトルモデルの利用方法に焦点を当てており、モデルのトレーニング方法については別の関連ブログ記事が提供されています。