GGUF
ggmlエコシステム(llama.cpp含む)で使われる、量子化済みモデルの配布・ロード用ファイルフォーマット。GGML Universal Formatの略。
背景
当初モデルの保存には独自の「GGML」フォーマットが使われていたが、モデルアーキテクチャごとに専用のロードコードが必要で、メタデータもハードコードされたり別ファイルに分かれていたりと脆弱だった。llama.cppが数十のアーキテクチャと複数の量子化方式に対応するよう成長した2023年8月、後方互換性のない、より高機能な後継フォーマットとしてGGUFが導入された。
特徴
- モデルのロードに必要な情報(トークナイザーを含む)を単一ファイルに完結させる設計。
- 数か月のうちにローカルLLM配布の事実上の標準になった。
- 量子化は1.5bit〜8bit整数まで複数段階をサポートする。