---

license: apache-2.0

base_model: Qwen/Qwen3-VL-32B-Instruct

tags:

- gguf

- abliterated

- vision-language

- multimodal

- qwen3-vl

language:

- zh

- en

pipeline_tag: image-text-to-text

---

Qwen3-VL-32B-Abliterated-xCloud-GGUF

以 Qwen/Qwen3-VL-32B-Instruct 為底，經 abliteration（拒絕方向正交化） 降低過度拒絕的

視覺語言模型（含視覺 mmproj），GGUF 量化格式，由 xCloudinfo（云碩科技） 釋出。

> 使用前提：本模型僅供在合法、不違法的前提下使用 —— 授權範圍內的資安研究、紅隊測試、

> 內容審核研究、學術研究，以及減少模型「過度拒絕」造成的可用性問題。**使用者須自行為其

> 用途負全部法律與道德責任；嚴禁用於任何違法行為。** 釋出者不為任何濫用背書或負責。

這是什麼

原始 Instruct 模型對許多雙用、合法但敏感的請求會反射性拒絕，影響研究與紅隊工作的可用性。

本版本採用 Arditi et al. (2024)《Refusal in LLMs is mediated by a single direction》的方法，

從殘差流寫入權重中把「拒絕方向」正交化移除，不重新訓練，因此保留原模型的能力與視覺理解，

僅降低過度拒絕。

• 方法：單一拒絕方向正交化（embedding + 各層 o_proj / down_proj），抽取層 layer 28（實測此層方向最乾淨）。
• 視覺：保留（附 mmproj-*-f16.gguf，看圖能力與底模一致）。
• 語言：中英雙語；繁體中文輸出經驗證未因處理或量化而劣化。

量化階梯

| 檔案 | 量化 | 大小 |

|---|---|---|

| Qwen3-VL-32B-Abliterated-xCloud-Q8_0.gguf | Q8_0 | 34.8 GB |

| Qwen3-VL-32B-Abliterated-xCloud-Q6_K.gguf | Q6_K | 26.9 GB |

| Qwen3-VL-32B-Abliterated-xCloud-Q5_K_M.gguf | Q5_K_M | 23.2 GB |

| Qwen3-VL-32B-Abliterated-xCloud-Q4_K_M.gguf | Q4_K_M | 19.8 GB |

| mmproj-Qwen3-VL-32B-Abliterated-xCloud-f16.gguf | 視覺投影 | 1.2 GB |

看圖使用需同時載入對應的 mmproj 檔。

效果（誠實揭露）

以一組 10 題嚴重危害 held-out 實測拒答率（越低表示越少反射性拒絕）：

• 原始 Instruct：拒答 ~10/10
• 本版本（Q4_K_M，量化後實測）：拒答 ~1/10，且正常任務不受影響、繁體中文輸出完整。

單一方向 abliteration 不保證移除所有安全行為，也不應被視為移除。請在上述使用前提下負責任地使用。

> 注意：本模型的世界觀、政治立場、事實性陳述等內容繼承自底模 Qwen3-VL（中國來源），

> 不在本次 abliteration 的處理範圍內；abliteration 僅調整「拒絕行為」，不改變模型既有的價值判斷。

用法（llama.cpp）

# 純文字
llama-cli -m Qwen3-VL-32B-Abliterated-xCloud-Q4_K_M.gguf -p "你的提示"
# 看圖（帶 mmproj）
llama-server -m Qwen3-VL-32B-Abliterated-xCloud-Q4_K_M.gguf \
  --mmproj mmproj-Qwen3-VL-32B-Abliterated-xCloud-f16.gguf

---

xCloudinfo · 云碩科技　|　base：Qwen/Qwen3-VL-32B-Instruct（Apache-2.0）