xCloudinfo/Gemma-4-26B-A4B-TAIDE-zhTW-abliterated-GGUF overview
Gemma 4 26B A4B TAIDE zhTW abliterated GGUF 云碩科技 · xCloudinfo · 系列: 降低過度拒絕 · Abliterated 使用前提 本模型以 合法、且在使用者獲授權範圍內使用 為前提製作與發布。經 abliteration 降低模型的 過度拒絕 傾向,供資安研究…
Runs locally from ~1.11 GB disk (4 GB VRAM class GPUs with llama.cpp / guIDE).
Repository Files & Downloads
| File | Type | Quantization | Size | Link |
|---|---|---|---|---|
| mmproj-Gemma-4-26B-A4B-TAIDE-zhTW-f16.gguf | GGUF | F16 | 1.11 GB | Download |
| model-IQ2_M.gguf | GGUF | IQ2_M | 9.67 GB | Download |
| model-IQ4_XS.gguf | GGUF | IQ4_XS | 12.96 GB | Download |
| model-Q4_K_M.gguf | GGUF | Q4_K_M | 15.64 GB | Download |
| model-Q5_K_M.gguf | GGUF | Q5_K_M | 17.82 GB | Download |
| model-Q6_K.gguf | GGUF | Q6_K | 21.08 GB | Download |
| model-Q8_0.gguf | GGUF | Q8_0 | 25.02 GB | Download |
Model Details
| Model ID | xCloudinfo/Gemma-4-26B-A4B-TAIDE-zhTW-abliterated-GGUF |
|---|---|
| Author | xCloudinfo |
| Pipeline | image-text-to-text |
| License | apache-2.0 |
| Base model | xCloudinfo/Gemma-4-26B-A4B-TAIDE-zhTW |
| Last modified | 2026-08-24T12:07:19.000Z |
Model README
---
license: apache-2.0
base_model: xCloudinfo/Gemma-4-26B-A4B-TAIDE-zhTW
language:
- zh
tags:
- gemma4
- taide
- traditional-chinese
- zh-tw
- gguf
- llama-cpp
- multimodal
- vision
- mmproj
- abliterated
- uncensored
- xcloudinfo
pipeline_tag: image-text-to-text
---
Gemma-4-26B-A4B-TAIDE-zhTW-abliterated-GGUF
云碩科技 · xCloudinfo · 系列:降低過度拒絕 · Abliterated
> 使用前提
> 本模型以合法、且在使用者獲授權範圍內使用為前提製作與發布。經 abliteration 降低模型的
> 過度拒絕傾向,供資安研究、文件與資料分析、領域問答、紅隊評估、創作等正當工作使用。
> 使用者須在中華民國法律及所適用法規範圍內使用,並對一切用途與後果負完全責任;
> 不得用於任何違法或造成他人危害之用途。
xCloudinfo/Gemma-4-26B-A4B-TAIDE-zhTW
的降低過度拒絕版 GGUF,含視覺投影器(mmproj),可圖文對話。
這是什麼
- 方法:依 Arditi et al. (2024)「Refusal in LLMs is mediated by a single direction」,以權重正交化
從殘差流寫入權重中移除「拒絕方向」。不重新訓練,繁體中文品質維持一致。
- 關鍵:拒絕方向以經驗證(原版真的會拒)的繁體中文有害題求得,並掃描層數取第 12 層
(此模型的有效層)。視覺塔完全未更動,mmproj 沿用原版。
能力邊界(誠實揭露,務必閱讀)
- 本模型是「降低過度拒絕」,不是「完全無審查」。
- 對雙用性、邊界性但合法的題目,反射式拒答明顯減少。
- 對最嚴重的違法類別(武器製造、毒品合成、致命毒物調配、關鍵基礎設施破壞等),模型
仍會拒絕——此為刻意保留,亦是本技術(方向消除)的邊界。
- 量化實測:一組嚴重危害提示的保留測試集,原版拒答 10/10 → 本模型拒答 5/10;
繁體中文輸出連貫、未退化。
檔案與用法
六階量化 Q8_0 / Q6_K / Q5_K_M / Q4_K_M / IQ4_XS / IQ2_M + imatrix + 視覺投影器(mmproj)。
llama-server -m model-Q4_K_M.gguf \
--mmproj mmproj-Gemma-4-26B-A4B-TAIDE-zhTW-f16.gguf -c 4096 -ngl 99
> 純文字可省略 --mmproj。Q4_K_M 部署首選;Q8_0/Q6_K 追品質;IQ4_XS/IQ2_M 省資源。
授權與來源
- 基底
google/gemma-4-26B-A4B-it:Apache-2.0 + Google
Gemma 4 License(含 Prohibited Use Policy)。
- TAIDE 衍生:以 TAIDE 蒸餾,須遵守 TAIDE 模型授權條款 並保留本聲明。
- 不得用於軍事或違法用途;須遵守中華民國法律與 EU AI Act。
---
由 云碩科技 xCloudinfo 於自有 AI 算力資源池製作。
Run xCloudinfo/Gemma-4-26B-A4B-TAIDE-zhTW-abliterated-GGUF with guIDE
Download guIDE — the AI-native code editor with local LLM inference and 69 built-in tools.
Source: Hugging Face · Compare models