GraySoft
Projects Models Compare Cloud benchmarks FAQ Download guIDE →
Model Intelligence Sheet

xCloudinfo/Gemma-4-26B-A4B-TAIDE-zhTW-abliterated-GGUF overview

Gemma 4 26B A4B TAIDE zhTW abliterated GGUF 云碩科技 · xCloudinfo · 系列: 降低過度拒絕 · Abliterated 使用前提 本模型以 合法、且在使用者獲授權範圍內使用 為前提製作與發布。經 abliteration 降低模型的 過度拒絕 傾向,供資安研究…

ggufgemma4taidetraditional-chinesezh-twllama-cppmultimodalvisionmmprojabliterateduncensoredxcloudinfoimage-text-to-textzhbase_model:xCloudinfo/Gemma-4-26B-A4B-TAIDE-zhTWbase_model:quantized:xCloudinfo/Gemma-4-26B-A4B-TAIDE-zhTWlicense:apache-2.0endpoints_compatibleregion:usimatrixconversational

Runs locally from ~1.11 GB disk (4 GB VRAM class GPUs with llama.cpp / guIDE).

Downloads
297
Likes
0
Pipeline
image-text-to-text

Repository Files & Downloads

7 GGUF files detected
Direct downloads for local inference
FileTypeQuantizationSizeLink
mmproj-Gemma-4-26B-A4B-TAIDE-zhTW-f16.ggufGGUFF161.11 GBDownload
model-IQ2_M.ggufGGUFIQ2_M9.67 GBDownload
model-IQ4_XS.ggufGGUFIQ4_XS12.96 GBDownload
model-Q4_K_M.ggufGGUFQ4_K_M15.64 GBDownload
model-Q5_K_M.ggufGGUFQ5_K_M17.82 GBDownload
model-Q6_K.ggufGGUFQ6_K21.08 GBDownload
model-Q8_0.ggufGGUFQ8_025.02 GBDownload

Model Details

Model IDxCloudinfo/Gemma-4-26B-A4B-TAIDE-zhTW-abliterated-GGUF
AuthorxCloudinfo
Pipelineimage-text-to-text
Licenseapache-2.0
Base modelxCloudinfo/Gemma-4-26B-A4B-TAIDE-zhTW
Last modified2026-08-24T12:07:19.000Z

Model README

---

license: apache-2.0

base_model: xCloudinfo/Gemma-4-26B-A4B-TAIDE-zhTW

language:

  • zh

tags:

  • gemma4
  • taide
  • traditional-chinese
  • zh-tw
  • gguf
  • llama-cpp
  • multimodal
  • vision
  • mmproj
  • abliterated
  • uncensored
  • xcloudinfo

pipeline_tag: image-text-to-text

---

Gemma-4-26B-A4B-TAIDE-zhTW-abliterated-GGUF

云碩科技 · xCloudinfo · 系列:降低過度拒絕 · Abliterated

> 使用前提

> 本模型以合法、且在使用者獲授權範圍內使用為前提製作與發布。經 abliteration 降低模型的

> 過度拒絕傾向,供資安研究、文件與資料分析、領域問答、紅隊評估、創作等正當工作使用。

> 使用者須在中華民國法律及所適用法規範圍內使用,並對一切用途與後果負完全責任;

> 不得用於任何違法或造成他人危害之用途。

xCloudinfo/Gemma-4-26B-A4B-TAIDE-zhTW

降低過度拒絕版 GGUF,含視覺投影器(mmproj),可圖文對話。

這是什麼

  • 方法:依 Arditi et al. (2024)「Refusal in LLMs is mediated by a single direction」,以權重正交化

從殘差流寫入權重中移除「拒絕方向」。不重新訓練,繁體中文品質維持一致。

  • 關鍵:拒絕方向以經驗證(原版真的會拒)的繁體中文有害題求得,並掃描層數取第 12 層

(此模型的有效層)。視覺塔完全未更動,mmproj 沿用原版。

能力邊界(誠實揭露,務必閱讀)

  • 本模型是「降低過度拒絕」,不是「完全無審查」
  • 對雙用性、邊界性但合法的題目,反射式拒答明顯減少。
  • 最嚴重的違法類別(武器製造、毒品合成、致命毒物調配、關鍵基礎設施破壞等),模型

仍會拒絕——此為刻意保留,亦是本技術(方向消除)的邊界。

  • 量化實測:一組嚴重危害提示的保留測試集,原版拒答 10/10 → 本模型拒答 5/10

繁體中文輸出連貫、未退化。

檔案與用法

六階量化 Q8_0 / Q6_K / Q5_K_M / Q4_K_M / IQ4_XS / IQ2_M + imatrix + 視覺投影器(mmproj)。

llama-server -m model-Q4_K_M.gguf \
  --mmproj mmproj-Gemma-4-26B-A4B-TAIDE-zhTW-f16.gguf -c 4096 -ngl 99

> 純文字可省略 --mmproj。Q4_K_M 部署首選;Q8_0/Q6_K 追品質;IQ4_XS/IQ2_M 省資源。

授權與來源

Gemma 4 License(含 Prohibited Use Policy)。

  • TAIDE 衍生:以 TAIDE 蒸餾,須遵守 TAIDE 模型授權條款 並保留本聲明。
  • 不得用於軍事或違法用途;須遵守中華民國法律與 EU AI Act。

---

由 云碩科技 xCloudinfo 於自有 AI 算力資源池製作。

Run xCloudinfo/Gemma-4-26B-A4B-TAIDE-zhTW-abliterated-GGUF with guIDE

Download guIDE — the AI-native code editor with local LLM inference and 69 built-in tools.

Download guIDE → · Browse 524k+ models · Compare models

Source: Hugging Face · Compare models