Hugging Faceの各種サービスがPapers with Codeの高度な検索機能を支える

Hugging Faceは、オープンAI研究の普及と理解を促進するため、「Papers with Code」の活動を再開しました。

このプラットフォームの目的は、研究者が論文に関連する成果物を見つけたり、様々なAI分野における最先端（SOTA）を把握したり、研究を共有・発展させたりできるようにすることです。

この目標を達成するためには、人間やエージェントが関連性の高い研究を迅速に見つけられる強力な検索エンジンが不可欠です。

論文検索は単なるテキスト検索とは異なり、「コード生成のための小規模言語モデル」といった、論文内に特定の単語が連続して出現しないクエリを理解したり、「オリジナルのBERT論文」のようなナビゲーション的な要求に対応したり、タイポや不完全なタイトルを許容したりする必要があります。

Papers with Codeでは、この要件を満たすためにハイブリッド検索システムを構築しました。

このシステムは、キーワード検索（正確な言及を見つける）とベクトル検索（意味的に類似した用語を見つける）の長所を組み合わせることで、従来の検索システムを上回る性能を発揮します。

このハイブリッド検索の実現には、Hugging Faceの3つの主要サービスが利用されています。

まず、論文コーパスの埋め込み（エンベディング）処理には、バースト可能なGPUコンピューティングを提供する「Hugging Face Jobs」が使用されています。

次に、データベース、実験、Jobs間の永続的なデータ受け渡しには「Hugging Face Storage Buckets」が利用されています。

そして、リアルタイムのクエリや増分更新のための低遅延な埋め込み提供には「Hugging Face Inference Endpoints」が使われています。

検索の核となる部分では、PostgreSQLデータベースの全文検索機能が高速な語彙ベースの基盤を提供し、pgvectorを用いて意味的な検索能力（セマンティックリコール）を追加し、最終的にReciprocal Rank Fusion（RRF）アルゴリズムで両者を統合しています。

現在、このシステムはarXivおよびDaily Papersから収集された110,000以上の論文の埋め込みを維持しています。