Model Intelligence Sheet
grapeV-ai/Qwen3.6-27B-MTP-GGUF overview
What is this? Qwen3.6 27B https://huggingface.co/Qwen/Qwen3.6 27B を MTP（＝マルチトークン予測）レイヤーを含めて GGUFフォーマットに変換したものです。 Note 引数に spec type draft mtp spec draft n max …
Runs locally from ~13.0 MB disk (4 GB VRAM class GPUs with llama.cpp / guIDE).
Repository Files & Downloads
9 GGUF files detected
Direct downloads for local inference
| File | Type | Quantization | Size | Link |
|---|---|---|---|---|
| Qwen3.6-27B-BF16.gguf | GGUF | BF16 | 50.90 GB | Download |
| Qwen3.6-27B-IQ4_XS.gguf | GGUF | IQ4_XS | 14.26 GB | Download |
| Qwen3.6-27B-Q4_K_M.gguf | GGUF | Q4_K_M | 15.66 GB | Download |
| Qwen3.6-27B-Q5_K_M.gguf | GGUF | Q5_K_M | 18.19 GB | Download |
| Qwen3.6-27B-Q6_K.gguf | GGUF | Q6_K | 20.89 GB | Download |
| Qwen3.6-27B-imatrix.gguf | GGUF | GGUF | 13.0 MB | Download |
| mmproj-Qwen3.6-27b-BF16.gguf | GGUF | BF16 | 888.0 MB | Download |
| mmproj-Qwen3.6-27b-Q8_0.gguf | GGUF | Q8_0 | 600.1 MB | Download |
| mtp-Qwen3.6-27b-BF16.gguf | GGUF | BF16 | 5.54 GB | Download |
Model Details
Model README
---
license: apache-2.0
---
What is this?
Qwen3.6-27BをMTP（＝マルチトークン予測）レイヤーを含めてGGUFフォーマットに変換したものです。
Note
引数に--spec-type draft-mtp --spec-draft-n-max 2と追加することでMTPが有効化されます。<br>
なお、--spec-draft-n-maxについては、日本語では2がスイートスポットのようです。
License
Apache 2.0
Developer
Alibaba Cloud
Run grapeV-ai/Qwen3.6-27B-MTP-GGUF with guIDE
Download guIDE — the AI-native code editor with local LLM inference and 69 built-in tools.
Source: Hugging Face · Compare models