Unweight: LLM推論のための非損失 MLP 重み圧縮

概要

Unweightは、LLMの重みテンソルの非損失圧縮に関する研究プログラムであり、密な推論、モデル配布、エキスパートの混合のサービスにおける積極的な取り組みを行っています。本レポートでは、エンジニアリングストリームからの中間結果を提示します。これは、NVIDIA Hopper GPU（H100、H200）でこれらの展開シナリオを実行するためのコンポーザブルGPUツールキットであり、コンポーネントを組み合わせて構成できます。 従来の研究（DFloat11、ZipServ、ZipNN）では、トレーニング済みLLM重みのBF16指数フィールドが、8ビットの割り当てで約2.6ビットのシャノンエントロピーを保持していることが確認されています。一方、符号と仮数フィールドは圧縮が難しいです。 Unweightは、各BF16値を符号＋仮数と指数に分離し、テンソルごとの16値パレットを用いて指数をハフマン符号化します。まれな指数は、インラインエスケープ記号ではなく、そのままで処理されます。圧縮表現、実行パイプライン、ランタイムスケジューリングはそれぞれ独立して構成可能です。モデルは配布用にハフマン符号化され、ロード時にパレットの中間表現に変換されることが可能です。 3つの実行パイプライン—cuBLASへのフルデコード、再構成行列乗算を伴う指数デコード、再構成行列乗算を伴うパレット変換—は、エンドツーエンドスループットを基に、プロジェクションとバッチサイズのバケットごとに座標降下自動調整によって選択されます。