llama.cpp
Georgi Gerganov氏が開発する、GGUF形式のモデルをCPU/GPUで動かすためのC/C++製LLM推論エンジン。計算基盤には同氏のggmlを使う。バイナリとモデルファイルを渡され、量子化・GPUオフロード・サンプリング・バッチ処理などのパラメータを利用者が細かく指定して使う、低レベル志向のツール。
特徴
- モデルのロード・量子化・GPUオフロード・サンプリング・メモリ管理などを低レベルに制御できる。
- ロジット制御、文法制約サンプリング(grammar-constrained sampling)、シード指定など、生成の細部までチューニング可能。
- モデルハブや自動ダウンロード、プロセス管理のような高レベル機能は持たない。単一プロセスとして動作するため攻撃面が小さい。
- MITライセンスで、リポジトリ中心の開発体制を取っている。
- 新しいモデルアーキテクチャへの対応が速く、日次更新レベルでの追従がある。
上位ツールとの関係
Ollama・LM Studio・GPUStackなど、ローカルLLM実行を手軽にするツール群の多くが、内部の推論エンジンとしてllama.cppを利用している。llama.cppが低レベルのエンジン、それらのツールがその上に使いやすさの層を被せたクライアントという関係になる。詳細はOllamaのノートを参照。