小規模LLMの構造化出力精度をGRPOで向上させる手法を公開

本ガイドは、比較的小規模な大規模言語モデル（LLM）を、特定のタスクである「構造化出力の遵守（schema compliance）」において大幅に改善するための、公開され低コストな手法を提示しています。

具体的には、LFM2.5-350Mというモデルに対し、Group Relative Policy Optimization (GRPO)という手法をTRLライブラリを用いて適用してファインチューニングを行います。

この学習プロセスは、約500サンプルと100の訓練ステップで完了するため、無料ティアのColabやKaggle GPUでも実行可能です。

構造化出力は、LLMが現実世界のシステムに組み込まれる際に、要求された形式や形状で有効で解析可能な出力を返すかどうかが決定的に重要となる、非常に一般的な実用的なタスクです。

しかし、多くのベンチマークでは、この構造化出力の検証が、より広範な推論や抽出スコアの中に組み込まれてしまう傾向があります。

本研究で用いられたIFStructベンチマークは、LLMの出力の妥当性とスキーマへの準拠性をテストするために設計されたオープンソースのベンチマークです。

実験の結果、この軽量なファインチューニング手順により、IFStructベンチマークにおけるモデルの性能が22.6%から29.7%へと向上することが示されました。

なお、この訓練パイプラインは、IFStructのブログで説明されている強化学習モデルの訓練パイプラインとは異なる点に留意が必要です。

本ガイドの目的は、IFStructベンチマークのスコアを再現することではなく、小規模モデルに対するタスク特化型のファインチューニングが、より遥かに大規模なモデルと同等の性能を達成できることを示す点にあります。

このガイドは二つの部分に分かれており、ファインチューニング自体はGPU上で実行されます。

一方、評価プロセスはMacBookなどのローカル環境でも実行可能です。

評価には、llama.cppを利用し、OpenAI互換のサーバーを立ち上げてIFStruct評価器と通信させます。

ベースモデルであるLFM2.5-350MをIFStructベンチマークで評価する際、BF16 GGUF形式のモデルを使用し、特定のコマンドライン引数を用いてローカルサーバーを起動しています。