K2 Horizon 36B-A4Bをローカルで動かす前に：メモリと実行環境を確認

K2 Horizon 36B-A4Bをダウンロードする前に、正確なモデルリポジトリ、対応する実行環境、重みの形式を確認してください。本記事で確認した公式GGUFのスナップショットには、約74.925 GBのBF16ファイルがあり、上流のアーキテクチャ対応が進行中のためIFM版llama.cppフォークを案内しています。A4Bは、40億パラメータ分のメモリだけで済むという意味ではありません。

本記事はローカル推論を検討する開発者向けの導入計画ガイドです。2026年9月14日に公式文書とリポジトリのメタデータを調べました。全重みのダウンロード、一般向けGPUでの実行、Qwenとの速度測定は行っていません。以下のハードウェア試算は計算例であり、動作確認済みの構成ではありません。

実行環境を選ぶ前に、モデルを特定する

正確な公式リポジトリはIFM/K2-Horizon-MoVA-36B-A4Bです。IFMのモデルであり、MoonshotのKimi K2ではありません。似た名前のモデルのセットアップコマンドをコピーしても、アーキテクチャの互換性は確認できません。

モデルカードは、総数36B、アクティブ4Bの疎なバックボーンと、ネイティブ512Kコンテキストを説明しています。これらの代表値には対象範囲があります。保存されている全テンソルの厳密な内訳として扱わず、数値とその範囲をセットで読みます。

公表された最大コンテキストを、どのローカル構成でも確保できるとは限りません。重み、キャッシュ、実行時バッファを合わせてメモリに収める必要があります。モデルカードの最大値をいきなり選ばず、実行環境の文書にある設定と小さな処理から始めてください。

公式GGUFに実際にあるもの

公式GGUFリポジトリは、重みをBF16としています。確認した一覧にはK2-Horizon-36B-BF16.ggufがあり、サイズは74,924,627,296バイトです。十進単位で約74.925 GB、二進単位で約69.779 GiBに相当します。ダウンロード一覧とOSの表示を比較するときには、この単位の違いが重要です。

この情報は公式Q4ファイルの提供を証明しません。コミュニティによる変換版が出たら、公開者、リビジョン、形式、実行環境の要件を別途確認してください。見慣れた拡張子のファイルでも、インストール済みの推論エンジンがそのアーキテクチャを扱えるとは限りません。

4ビットの試算は、利用可能な構成を示すものではない

計算例として、360億パラメータに4ビットを掛けて8で割ると、重みの値だけで180億バイト、つまり18 GBになります。追加テンソル、量子化スケール、メタデータ、実行時の割り当ては含んでいません。また、その量子化版が公開済み、あるいは対象の実行環境で対応済みだと示すものでもありません。

代わりに4Bのアクティブ数を使うと、選択された計算経路に関する別の問いに答えることになります。疎なモデルでも、そのトークンでは使わない重みにアクセスできる必要があります。配置やオフロードで重みの置き場所は変わりますが、残りの重みが消えるわけではありません。

A4Bの表記から、16 GBのGPUだけに全体を載せる構成を計画しないでください。今回の公式BF16ファイルははるかに大きく、仮定の量子化形式でも、実行時の負荷を含めたメモリ見積もりが必要です。似た数え方の落とし穴は、総パラメータ数とアクティブパラメータ数の解説でも扱っています。

文書で案内された実行方法を使う

公式GGUFカードは、上流llama.cppの対応が作業中であるとして、IFMのフォークを案内しています。ホスティングページが自動生成する「このモデルを使う」ウィジェットは、一連の動作を検証したものではありません。別アーキテクチャからコピーした一般的なOllamaコマンドも同じです。

メインのモデルカードには、H200 GPUを2基使って検証したサービング設定があります。これは公開者が文書化した環境についての説明であり、一般向けGPUの推奨構成ではありません。手順を実行する前に、ブランチ、コミット、依存関係、重みのリビジョン、起動引数を記録し、後の失敗を再現できるようにします。

まず、その実行環境が正確なアーキテクチャと重みをロードできるか確認します。次に短いテキストリクエストを検証し、その後で長いコンテキストを試します。K2 Horizonはテキスト生成モデルとして掲載されています。比較相手が画像を扱えるからといって、このモデルも画像を受け付けるとは考えないでください。基本的なロードが失敗する場合、出力トークンを増やしたりプロンプトを変えたりしても、未対応のアーキテクチャは扱えるようになりません。

比較するQwenモデルも正確に指定する

本記事で比較対象とするのはQwen/Qwen3.6-35B-A3Bです。公式カードは、35Bの言語モデル、3Bのアクティブパラメータ、視覚エンコーダーを説明しています。ネイティブコンテキストと拡張方法には、それぞれ文書で定められた上限があります。バージョン不明のQwen 35Bに置き換えたり、似た名称のすべてのリリースを同じ方法で動かせると考えたりしないでください。

代表的なパラメータ数より先に、利用できる重み形式と対応ソフトウェアを比較します。両方が手持ちのハードウェアに収まるなら、同じタスク、コンテキスト、同時実行数、合格条件でテストします。実際のピークメモリ、最初の出力までの時間、生成速度、タスクの結果を分けて記録してください。

ここでは速度や品質の勝者を決めていません。ハードウェア、形式、タスクの条件をそろえていないコミュニティの速度報告は、有用な構成例にはなっても、条件を統制した比較にはなりません。既存のQwenローカルメモリガイドは、ダウンロード容量と実行時メモリを分ける理由を示していますが、対象は別のQwenモデルです。

よくある質問

K2 HorizonとKimi K2は同じですか？

いいえ。公開者と正確なリポジトリIDを確認してください。本記事の対象は、IFMのK2 Horizon MoVA 36B-A4Bです。

A4Bなら小さなGPUに収まりますか？

いいえ。アクティブ数はトークンの計算を表し、モデル全体の保存要件ではありません。必要な全重みと実行時メモリを計算する必要があります。

バージョンを確認せず通常のllama.cppを使えますか？

使えると決めつけないでください。確認した公式GGUFカードは、上流対応が進行中としてIFMのフォークを案内しています。導入前に最新の対応手順とリビジョンを確かめてください。