Hugging FaceがWebGPUカーネルライブラリを公開、ブラウザ上でのAI推論を高速化

Hugging Faceは、ブラウザ上でのAI推論を可能な限り高速かつ使いやすくすることを目指す取り組みの一環として、新しいライブラリ「@huggingface/kernels」をリリースしました。

このライブラリは、Hugging Face Hubから最適化されたWebGPUカーネルをロードし実行するための最小限のツールキットです。

初期リリースでは、207個のカーネルが公開されており、これらは多様な機械学習アーキテクチャやワークロードで使用される演算をカバーしています。

この発表の重要な点は、各カーネルが単なるコードとして提供されるのではなく、インターフェース、シェーダーテンプレート、正しさの検証ケース、ベンチマークケース、および使用方法の指示といった完全でバージョン管理されたパッケージとしてHub上に公開されていることです。

これにより、各カーネルに対して明確な契約と再現性のある証拠が提供されます。

さらに、Hugging FaceはブラウザベースのGPUベンチマークおよびテストスイートである「Fleet」も同時に開始しました。

Fleetは、ユーザーのハードウェア上でカーネルを実行しスコアリングすることで、コミュニティが実際のデバイスからの性能および正しさの証拠を寄与できるようにします。

ユーザーの同意があれば、実行結果はプライベートな証拠として収集され、失敗の特定やカーネルバリアントの改善、実世界のハードウェア全体での最適化判断に役立てられます。

WebGPUは、現代のブラウザ間で移植性の高いAPIを提供し、WGSLは実行されるシェーダーのための共通言語を提供することで、行列乗算や畳み込みなどのGPU演算を可能にします。

Hugging Faceは、この基盤技術の上に、より効率的な実行計画を構築し、ブラウザフレンドリーなモデル表現を提供することで、ブラウザ推論の速度向上を目指しています。

公開されたカーネルはApache-2.0ライセンスの下で提供されています。