---

license: other

license_name: unresolved-agpl-derived

base_model: google/gemma-4-12B-it

tags:

• gguf
• llama.cpp
• ollama
• open-webui
• long-context
• 1M-context
• lm-studio
• coding
• agentic
• full-finetune
• function-calling
• xcloudinfo

language:

• en
• zh

pipeline_tag: text-generation

library_name: gguf

---

<p align="center">

<img src="xgemable.jpg" alt="xGemable-12B" width="520"/>

</p>

xGemable-12B-coder-v2（全參數版・GGUF）

云碩科技（xCloudinfo）以全參數微調（full fine-tune）＋ 全長零截斷配方，在 google/gemma-4-12B-it

底座上蒸餾出的寫程式模型。這是一顆會寫「真的能編譯、真的過測試」程式碼的 12B 模型。

---

為什麼你該試這顆：一個 12B 打贏一票對手

所有數字皆為全量 164 題 HumanEval、實際編譯執行判分，非引用宣稱。你可以自己複現。

| 模型 | 參數 | HumanEval pass@1 |

|---|---|---|

| xGemable-12B（本 GGUF，Q4_K_M 實測） | 12B | 91.5% |

| xGemable-12B（全精度 bf16） | 12B | 93.9% |

| gemma-4-12B-it（未訓練底座） | 12B | 90.9% |

| Qwable-9B（同級對手） | 9B | 82.9% |

| 一般 7–9B 開源寫程式模型 | 7–9B | 70–82% |

這顆 GGUF（Q4）實測 91.5%，仍勝過未訓練底座、大勝同級對手 8.6 分。 全精度為 93.9%；

Q4 量化損失約 2.4 分（要更接近全精度可用 Q6/Q8）。而且是一顆你自己機器就跑得動的 12B。

另在本機 ollama（Apple M2 Pro, Q4_K_M）實測一組跨語言基礎題（Python / C# / Rust）：27/27 = 100%，

同樣是實際編譯執行判分。基礎函式題三語言零失誤，難題鑑別度仍以上表 HumanEval 為準。

---

我們做對了什麼（方法論突破）

多數團隊在強底座上做微調會掉分——我們自己前三次（LoRA 低秩 + 截斷）也從 90.9% 掉到 82.9%，

一度以為「疊加微調必然傷底座」。這顆推翻了這個結論：

• 全參數微調（不是 LoRA）——容量夠，學新能力不必擠掉舊能力
• 全長零截斷——完整訓練多輪代理式軌跡，不砍掉解題的長弧
• 執行驗證蒸餾——每一條訓練軌跡都先過真實編譯器與測試，跑不過的一律丟棄

結果：不但沒掉分，還比未訓練底座更強。真兇是「低秩 + 截斷」，不是蒸餾本身。

---

特性

• 多語言：Python 為主力，C# / Java / Go / JavaScript / Rust 皆可
• 原生 function calling / 工具使用：可讀錯誤訊息、多輪迭代
• 地端私有部署：GGUF 量化，單機 16GB RAM 起跑，資料不離內網
• 長上下文 1M tokens，開箱即用：YaRN rope-scaling 已寫入 GGUF metadata（256K 原生 × 4），

llama.cpp / LM Studio 載入即生效、不需額外參數。整個中型 repo、數十份文件一次塞進 context 做跨檔案推理。

（實際可用長度受你的 RAM 限制；一般 16GB 機器建議 -c 32K 以內，1M 需大記憶體機器。）

• 底座 gemma-4-12B-it

---

務必先讀：關思考

底座 gemma-4 帶「思考通道」。任何推理端都要關思考，否則：

• 直接跑會把 token 耗在思考、輸出夾雜推敲、分數腰斬；
• 透過 Open WebUI 等 chat 介面會出現「回覆空白／寫不出來」——ollama 把思考解析進獨立的

thinking 欄位、content 留空，而 UI 預設只顯示 content。這不是模型壞了，是沒關思考。

各引擎關思考的對應參數（擇一）：

| 引擎 / 介面 | 怎麼關思考 |

|---|---|

| llama.cpp | 啟動加 --chat-template-kwargs '{"enable_thinking":false}' |

| ollama /api/chat | 請求加 "think": false |

| ollama / OpenAI 相容 /v1 | 請求加 "reasoning_effort": "none" |

| Open WebUI | 對話的 Controls／進階參數把 Reasoning／Thinking 關掉（等同送 think:false） |

| vLLM | 同 llama.cpp：--chat-template-kwargs '{"enable_thinking":false}' |

---

怎麼用

ollama（本機最省事）

# 拉模型
ollama pull hf.co/xCloudinfo/xGemable-12B-coder-v2-fullft-GGUF:Q4_K_M

# 用 chat API（務必帶 think:false，否則 content 會是空的）
curl http://localhost:11434/api/chat -d '{
  "model": "hf.co/xCloudinfo/xGemable-12B-coder-v2-fullft-GGUF:Q4_K_M",
  "messages": [{"role":"user","content":"寫一個 Python 函式 add(a,b)"}],
  "think": false,
  "stream": false
}'

用 Open WebUI：拉好模型後，在對話的 Controls／進階參數把 Reasoning／Thinking 關掉即可正常輸出。

llama.cpp

# 下載（Q4_K_M 約 7.4GB，16GB RAM 可跑）
hf download xCloudinfo/xGemable-12B-coder-v2-fullft-GGUF \
  xGemable-12B-coder-v2-fullft-Q4_K_M.gguf --local-dir .

# 啟動 server（--chat-template-kwargs 關思考 務必加）
llama-server -m xGemable-12B-coder-v2-fullft-Q4_K_M.gguf -c 8192 --jinja \
  --chat-template-kwargs '{"enable_thinking":false}' \
  --temp 0.2 --top-p 0.95 --top-k 64

啟動後即為 OpenAI 相容端點（http://localhost:8080/v1），可直接接編輯器外掛或任何 OpenAI SDK。

量化版本

| 檔案 | 位元 | 大小 | 建議 |

|---|---|---|---|

| ...-Q4_K_M.gguf | 4-bit | ~7.4 GB | 一般使用，16GB RAM 可跑 |

| ...-Q5_K_M.gguf | 5-bit | ~8.5 GB | 品質與體積平衡 |

| ...-Q6_K.gguf | 6-bit | ~9.8 GB | 高品質 |

| ...-Q8_0.gguf | 8-bit | ~12.7 GB | 接近無損 |

建議解碼參數：temperature 0.2、top_p 0.95、top_k 64、repeat_penalty 1.0。

---

能力範圍（誠實揭露）

• 擅長：函式與演算法實作、單元測試、程式碼解釋與審查、多語言、多輪工具使用。
• 限制：完整倉庫級自動除錯（在整個專案中定位並修復真實 bug）尚未達實用門檻——此為當前 12B 級模型之

共通限制，非本模型獨有。若你的任務是「寫會過測試的函式/模組」，這顆很強；若是「自動修整個 repo 的 bug」，

現階段任何 12B 都還做不到。

授權（請詳讀）

本模型之訓練資料含 AGPL-3.0 授權且衍生自他家模型輸出之語料，授權狀態尚未完全釐清。

下載使用前請自行評估合規風險。底座 google/gemma-4-12B-it 為 Apache-2.0。

---

云碩科技股份有限公司　xCloudinfo Corp. Limited

台北・台中・新竹　│　自主 AI・地端部署・資料不離企業內網