---

license: apache-2.0

license_link: LICENSE

language:

• ja

base_model:

• weblab-LLM-M/Weblab-MedLLM-gpt-oss-120b

base_model_relation: quantized

pipeline_tag: text-generation

tags:

• gguf
• llama.cpp
• ollama
• mxfp4
• gpt-oss
• medical
• japanese

---

Weblab-MedLLM-gpt-oss-120b-GGUF（非公式）

> [!IMPORTANT]

> 本リポジトリは、東京大学大学院工学系研究科 松尾・岩澤研究室が公開した weblab-LLM-M/Weblab-MedLLM-gpt-oss-120b を、llama.cpp / Ollama で動かせるよう GGUF 形式に変換・量子化した非公式の派生物です。元モデルの開発元とは関係がなく、開発元による確認・保証は受けていません。

English summary: Unofficial GGUF conversion of weblab-LLM-M/Weblab-MedLLM-gpt-oss-120b (a Japanese medical LLM fine-tuned from gpt-oss-120b) for llama.cpp and Ollama. The MoE expert weights are quantized to MXFP4, as in OpenAI's original gpt-oss release. Two variants are provided: one with the same tensor layout as Ollama's official gpt-oss:120b (other weights in BF16), and a faster one (other weights in Q8_0). Run with ollama run hf.co/ohtaman/Weblab-MedLLM-gpt-oss-120b-GGUF:BF16 (or :Q8_0). Not affiliated with or endorsed by the original authors. Not for clinical use.

利用にあたっての注意事項（元モデルから引き継ぎ）

• 本モデルを実際の臨床現場における疾患の診断や臨床意思決定支援として直接利用することは推奨されません。 医療専門家による判断の補助となる情報提供ツールとしての利用にとどめてください。
• 本モデルを使って医療用途の製品を開発する場合、その製品が医療機器プログラムとして薬機法の規制対象となる可能性があります（相談窓口: PMDA）。
• 量子化しているため、出力は元モデルと完全には一致しません。
• 本リポジトリの内容について、正確性・完全性・品質などの保証は一切ありません。利用によって生じた損害について責任を負いません。

ファイル

| ファイル | サイズ | experts（MoE） | attention・出力層・語彙埋め込み | 説明 |

|---|---|---|---|---|

| Weblab-MedLLM-gpt-oss-120b-MXFP4_MOE-BF16.gguf | 65.4 GB | MXFP4 | BF16 | Ollama 公式 gpt-oss:120b と同じテンソル構成 |

| Weblab-MedLLM-gpt-oss-120b-MXFP4_MOE-Q8_0.gguf | 63.4 GB | MXFP4 | Q8_0 | 生成が約 35〜43% 速い |

| template / params | — | — | — | ollama run hf.co/... で直接使うときのチャットテンプレートとパラメータ |

| Modelfile.BF16 / Modelfile.Q8_0 | — | — | — | ファイルをダウンロードして Ollama に登録する場合の Modelfile |

| SHA256SUMS | — | — | — | GGUF のチェックサム |

| LICENSE / USAGE_POLICY | — | — | — | ライセンス（Apache 2.0）と gpt-oss-120b の利用ポリシー |

どちらの版も、experts は MXFP4、router・norm・bias は F32 です。必要なメモリは約 65GB（GPU またはユニファイドメモリ）です。

使い方

Ollama（Hugging Face から直接）

ollama run hf.co/ohtaman/Weblab-MedLLM-gpt-oss-120b-GGUF:BF16

| タグ | 使われるファイル |

|---|---|

| :BF16（タグ省略時も同じ） | Weblab-MedLLM-gpt-oss-120b-MXFP4_MOE-BF16.gguf（公式 gpt-oss:120b と同じ構成） |

| :Q8_0 | Weblab-MedLLM-gpt-oss-120b-MXFP4_MOE-Q8_0.gguf（高速版） |

• リポジトリの template / params により、Ollama 公式 gpt-oss:120b と同じチャットテンプレート（harmony 形式）が使われ、思考と回答が分かれて返ります。元モデルの tokenizer と chat template は gpt-oss-120b と同一です。
• 手元で短い名前を付けるには ollama cp hf.co/ohtaman/Weblab-MedLLM-gpt-oss-120b-GGUF:Q8_0 medllm:q8 のようにします。
• API で推論の深さを指定するときは "think": "low" | "medium" | "high" を使います（gpt-oss 系は false が効きません）。
• Ollama 0.32.14 で動作を確認しています。

Ollama（ファイルをダウンロードして登録する場合）

hf download ohtaman/Weblab-MedLLM-gpt-oss-120b-GGUF \
  Weblab-MedLLM-gpt-oss-120b-MXFP4_MOE-BF16.gguf Modelfile.BF16 --local-dir .
ollama create weblab-medllm:120b -f Modelfile.BF16
ollama run weblab-medllm:120b

Q8_0 版を使う場合は、ファイル名と Modelfile をそれぞれ Q8_0 のものに読み替えてください。

llama.cpp

llama-server -m Weblab-MedLLM-gpt-oss-120b-MXFP4_MOE-BF16.gguf --jinja -c 16384

推論の深さは、リクエストの chat_template_kwargs に {"reasoning_effort": "high"} のように指定します。

元モデルからの変更点

重みの形式だけを変えています。tokenizer、chat template、モデル構造は元モデルのままです。

1. 元モデルの safetensors（FP32）を、llama.cpp の convert_hf_to_gguf.py --outtype bf16 で GGUF（BF16）に変換
2. llama-quantize の MXFP4_MOE で、MoE の experts を MXFP4 に量子化

- Q8_0 版: 既定のまま（experts 以外は Q8_0）

- BF16 版: --tensor-type attn_q=bf16 --tensor-type attn_k=bf16 --tensor-type attn_v=bf16 --tensor-type attn_output=bf16 --token-embedding-type bf16 --output-tensor-type bf16 を追加し、experts 以外を BF16 のまま残す

使用した llama.cpp: commit 19e28a2（2026-09-29）。

量子化は llama.cpp 標準の MXFP4（32 個ごとに 2 のべき乗のスケールを共有し、最も近い値に丸める方式、重要度行列は不使用）です。OpenAI の gpt-oss-120b は MXFP4 を前提に事後学習されていますが、本リポジトリは元モデルの FP32 の重みを学習後に MXFP4 へ丸めたもの（事後量子化）です。

参考: 測定結果（非公式）

本リポジトリの作成者が測定した参考値です。元モデルの開発元による評価ではありません。

測定環境: AMD Ryzen AI Max+ 395（Radeon 8060S、ユニファイドメモリ 96GB）、Ollama 0.32.14（Vulkan）、全モデル 100% GPU。

生成速度（tok/s、プロンプト長別）

| モデル | 0.5k | 4k | 16k |

|---|---|---|---|

| Ollama 公式 gpt-oss:120b | 36.2 | 35.4 | 32.9 |

| 本リポジトリ BF16 版 | 36.5 | 35.7 | 33.0 |

| 本リポジトリ Q8_0 版 | 51.6 | 49.5 | 44.5 |

医師国家試験（第 119 回、2025 年）の正答率

IgakuQA119（CC BY 4.0、厚生労働省公開の第 119 回医師国家試験に基づく）の画像なし問題のうち 290 問。除外したのは、計算問題 4 問、選択肢のない問題 2 問、公式に正解が 2 通り認められた 119E28 の計 7 問です。

| 推論の深さ | Ollama 公式 gpt-oss:120b | BF16 版 | Q8_0 版 |

|---|---|---|---|

| low | 79.7% | 83.1% | 81.0% |

| high | 87.9% | 86.2% | 87.6% |

• 条件: temperature 0.2、seed 0、各問 1 回のサンプリング。問題文と選択肢の後に「最後の行に『答え: c』の形式で」と指示し、記号の完全一致で採点
• いずれの推論の深さでも、gpt-oss:120b との差は統計的に有意ではありません（同じ問題どうしの McNemar 検定で p > 0.1）
• 元モデルのモデルカードでは「医師国試 93.6%（2023 年以降の過去問）」と報告されています。評価に使った試験の回や設定は公開されておらず、本測定とは条件が異なるため、直接比較はできません

量子化の影響（参考）

IgakuQA（第 116 回、2022 年）の 50 問、推論の深さ low で、元モデル相当の BF16 の GGUF と MXFP4 版を同じ llama.cpp で比較しました。正答率は 86% と 86%（記号だけの回答も採点に含めた場合）、回答の一致は 50 問中 46 問でした。同じモデルで seed だけを変えたときの一致（42〜46 問）と同程度で、量子化による大きな劣化は見られませんでした。

ライセンス・帰属

• 本リポジトリ: Apache License 2.0
• 元モデル: Weblab-MedLLM-gpt-oss-120b（Apache License 2.0）。東京大学大学院工学系研究科 松尾・岩澤研究室が、NEDO「AI の安全性確保に関する研究開発・検証等の推進事業 / 日本語版医療特化型 LLM の社会実装に向けた安全性検証・実証」の支援を受けて開発
• ベースモデル: gpt-oss-120b（Apache License 2.0、Copyright (c) OpenAI）。利用ポリシーは USAGE_POLICY を参照
• 元モデルからの変更点は「元モデルからの変更点」の節に記載しています