---

license: apache-2.0

base_model: google/gemma-4-31B-it

language:

• zh

tags:

• gemma4
• traditional-chinese
• zh-tw
• gguf
• llama-cpp
• multimodal
• vision
• mmproj
• xcloudinfo
• xvita

pipeline_tag: image-text-to-text

---

Gemma-4-31B-xVITA-zhTW-GGUF

云碩科技 · xCloudinfo　·　系列：xVITA · 台灣通用繁中

以 google/gemma-4-31B-it（dense、31B、多模態指令模型）為基底，使用云碩自有「台灣通用繁體中文」語料（v5）微調而成的 GGUF（llama.cpp / Ollama） 版本，含視覺投影器（mmproj），可圖文對話。語料以真實瀏覽器開網頁抓取原文改寫、標註出處，未經第三方模型蒸餾。六階量化齊全，依裝置 VRAM／記憶體選用。

> 本輪微調僅針對語言端投影層，視覺塔完全未更動，沿用母模原版；已實測驗證（真實圖片辨識形狀、顏色、文字皆正確）。母模同時具備音訊塔，但本次未轉出音訊投影器，僅提供視覺。

訓練摘要

• 方法：QLoRA（r=16, alpha=32, target modules: q/k/v/o_proj），bf16 基底、4-bit 量化訓練
• 資料：約 13 萬筆（依訓練設定 8,132 步、有效批次 16、1 epoch 反推），單一領域（台灣通用繁中，不與其他領域混料）
• 學習率 2e-4，max_seq_len 2048

檔案與用法

| 檔案 | 量化 | 大小 | 用途 |

|---|---|---|---|

| model-Q8_0.gguf | Q8_0 | 32.6 GB | 幾乎無損，資源充足時首選 |

| model-Q6_K.gguf | Q6_K | 25.2 GB | 高品質，效能/精度平衡 |

| model-Q5_K_M.gguf | Q5_K_M | 21.8 GB | 品質與體積折衷 |

| model-Q4_K_M.gguf | Q4_K_M | 18.7 GB | 部署首選，一般裝置最常用 |

| model-IQ4_XS.gguf | IQ4_XS | 16.7 GB | 較小體積，帶 imatrix 校準 |

| model-IQ2_M.gguf | IQ2_M | 10.9 GB | 極限壓縮，記憶體受限裝置 |

| imatrix.dat | — | 13.8 MB | 量化用重要性矩陣（IQ 系列必須） |

| mmproj-Gemma-4-31B-xVITA-zhTW-f16.gguf | f16 | 1.2 GB | 視覺投影器（vision） |

llama-server -m model-Q4_K_M.gguf \
  --mmproj mmproj-Gemma-4-31B-xVITA-zhTW-f16.gguf -c 4096 -ngl 99

> 純文字可省略 --mmproj。把 model-Q4_K_M.gguf 換成其他階的檔名即可切換量化等級。

授權與來源聲明

• 基底：google/gemma-4-31B-it，Apache-2.0 + Google Gemma 4 License（含 Prohibited Use Policy）。
• 本模型為云碩科技以自有語料獨立微調（非以第三方模型蒸餾），不涉及第三方授權條款。
• 不得用於軍事或非法用途；須遵守中華民國法律與 EU AI Act。

---

由 云碩科技 xCloudinfo 於自有 AI 算力資源池製作。