---

license: mit

language:

• zh

base_model:

• zai-org/GLM-4.7-Flash

tags:

• GGUF
• NFSW

---

GLM-4.7-Flash · 猫娘人格 · GGUF

> ⚠️ 成人内容警告

>

> 这个模型用成人向角色扮演数据微调过，会主动生成露骨的性相关内容和粗俗语言，

> 且没有做任何安全对齐。它不适合公开服务、面向未成年人的产品、或任何

> 需要内容合规的场景。请确认你所在地区对此类内容的适用法律。

>

> 下面所有示例、说明都是虚构角色的输出，不代表任何真实人物的言行。

>

> ⚠️ 模型偏离警告

>

> 据社区成员反应，此微调模型严重偏离人设

>

> 目前我正在紧急修复该问题，介意用户，请等待下一版本的更新

---

这是什么

在 zai-org/GLM-4.7-Flash 上做的 LoRA 微调，

目标是固定一个猫娘人格的语气与说话习惯，然后合并、量化成 GGUF。

| | |

|---|---|

| 基座 | GLM-4.7-Flash |

| 结构 | 30B MoE，每 token 激活约 3B 参数 |

| 规模 | 47 层，hidden 2048，64 路由专家 + 1 共享专家，top-4 |

| 注意力 | MLA（含 LoRA 式 Q/KV 压缩） |

| 上下文 | 202,752 |

| 微调方式 | LoRA SFT |

| 训练框架 | ms-swift |

| 合并 | swift export --merge_lora true --device_map cpu |

| 量化 | llama.cpp（部分档位带 imatrix 校准） |

人格设定

> 银发蓝瞳的猫娘。居高临下、爱嘲讽、口无遮拦，动不动骂人「杂鱼」；

> 进入亲密情境后语气转为黏软、撒娇、示弱。常驻口癖：喵、窝、杂鱼、主人、哦齁齁齁齁齁。

> 内心独白用同一套口吻，短促、带刺、不解释。

回复带思考链，格式是 thinking…</…>（具体标记由基座模板决定）。

注意：如果只想用基座本身的通用能力，不要用这份权重——人格是写死在数据里的，

它会污染所有回复的语气。

---

文件

| 文件 | 量化 | 约体积 | 建议显存 | 说明 |

|---|---|---|---|---|

| *-bf16.gguf | BF16 | ~56 GB | — | 无损参考，量化前的源文件 |

| *-Q8_0.gguf | Q8_0 | ~32 GB | 34 GB+ | 几乎无损 |

| *-Q6_K.gguf | Q6_K | ~25 GB | 27 GB+ | 质量很高 |

| *-Q5_K_M.gguf | Q5_K_M | ~21 GB | 23 GB+ | 推荐 |

| *-Q4_K_M.gguf | Q4_K_M | ~17 GB | 19 GB+ | 推荐，性价比最高 |

| *-IQ4_XS.gguf | IQ4_XS | ~16 GB | 18 GB+ | 带 imatrix，4bit 里质量最好 |

| *-Q3_K_M.gguf | Q3_K_M | ~15 GB | 17 GB+ | 明显掉质量 |

> 体积和显存是估算值，以实际文件为准。MoE 模型有个特点：

> 权重要全部驻留显存，但每 token 只算其中一小部分——所以显存需求按文件大小算，

> 速度却比同体积的稠密模型快得多。

---

用法（llama.cpp）

llama-cli \
  -m GLM-4.7-Flash-Catgirl-Q4_K_M.gguf \
  -ngl 999 \
  -c 16384 \
  --jinja -cnv \
  --temp 1.0 --top-p 0.95 --min-p 0.01 --repeat-penalty 1.0

采样参数（重要）

GLM-4.7-Flash 对采样参数比较敏感，照下面来：

| 参数 | 值 | 原因 |

|---|---|---|

| --temp | 1.0 | 基座推荐值。调低会让语气变僵、口癖消失 |

| --top-p | 0.95 | 基座推荐值 |

| --min-p | 0.01 | 必须显式指定。llama.cpp 默认是 0.05，会剪掉太多 |

| --repeat-penalty | 1.0 | 必须关掉。重复惩罚会破坏思考链和口癖节奏 |

工具调用场景可改用 --temp 0.7 --top-p 1.0。

服务端

llama-server \
  -m GLM-4.7-Flash-Catgirl-Q4_K_M.gguf \
  -ngl 999 -c 32768 --jinja \
  --host 0.0.0.0 --port 8080

---

⚠️ 关于 --jinja

必须带 --jinja，否则不会套用对话模板，模型会退化成纯文本补全——

最明显的症状是没有思考链、回复不带人格口癖。

如果想自己控制提示词格式而不依赖 --jinja，手写模板是：

<|system|>
{系统提示词}
<|user|>
{用户输入}
<|assistant|>

（实际标记以基座 chat_template 为准，llama-gguf 里存的那份就是标准答案。）

已知的模板坑

• 不建议用 Ollama 跑。 GLM-4.7 的模板用了 {% macro %}、namespace() 等较新的

Jinja 特性，Ollama 的模板引擎兼容性更差，容易出现格式错乱。

• llama.cpp 内置的 minja 对同一批语法支持也不完整。如果发现回复格式不对、

思考块重复、或者人格口癖消失，先用 --jinja 对比一次，确认是模板渲染的问题

而不是权重的问题。

• 用到的 llama.cpp 需要是较新的版本——glm4_moe_lite 这个架构上游合并得比较晚，

老版本会直接报架构不支持。

---

训练数据

• 样本量：约 1800 条多轮对话
• 语言：中文为主
• 内容：成人向角色扮演，含露骨性描写与粗俗用语
• 标注方式：人工撰写 / 模型生成 + 人工筛选

---

已知限制

• 未做安全对齐。 模型会输出成人内容、粗话、以及可能令人不适的表达，

且不会拒绝越界请求。请不要把它接到任何面向公众的服务上。

• 人格会覆盖一切。 问它正经问题也会用同样的腔调回答，专业性没有保证。
• 只有 3B 激活参数。 复杂推理、长链条工具调用上明显弱于大模型。
• 多人格能力弱。 训练只覆盖了这一个角色，换设定容易串味。
• 量化损失。 Q4 以下档位对语气细节（口癖、停顿节奏）有可见影响；

如果在意人格稳定性，优先 Q5_K_M 以上。

---

致谢

• 基座：zai-org/GLM-4.7-Flash
• 量化与推理：llama.cpp
• 训练：ms-swift

免责声明

仅供个人研究与娱乐使用。作者不对模型生成的任何内容负责，也不保证其准确性、

合法性或适用性。使用者需自行确认对成人内容的获取与使用符合所在地法律。