grapeV-ai/Qwen3-Omni-30B-A3B-Instruct-GGUF overview
What is this? Alibaba Cloudのオムニモーダルモデル Qwen3 Omni 30B A3B Instruct https://huggingface.co/Qwen/Qwen3 Omni 30B A3B Instruct をGGUFフォーマットに変換したものです。 imatrix datase…
Runs locally from ~116.4 MB disk (4 GB VRAM class GPUs with llama.cpp / guIDE).
Repository Files & Downloads
| File | Type | Quantization | Size | Link |
|---|---|---|---|---|
| Qwen3-Omni-30B-A3B-Instruct-BF16.gguf | GGUF | BF16 | 56.90 GB | Download |
| Qwen3-Omni-30B-A3B-Instruct-IQ4_XS.gguf | GGUF | IQ4_XS | 15.24 GB | Download |
| Qwen3-Omni-30B-A3B-Instruct-MXFP4_MOE.gguf | GGUF | GGUF | 15.91 GB | Download |
| Qwen3-Omni-30B-A3B-Instruct-Q4_K_M.gguf | GGUF | Q4_K_M | 17.28 GB | Download |
| Qwen3-Omni-30B-A3B-Instruct-Q5_K_M.gguf | GGUF | Q5_K_M | 20.23 GB | Download |
| Qwen3-Omni-30B-A3B-Instruct-imatrix.gguf | GGUF | GGUF | 116.4 MB | Download |
| mmproj-Qwen3-Omni-30b-Instruct-BF16.gguf | GGUF | BF16 | 2.06 GB | Download |
Model Details
Model README
---
license: apache-2.0
---
What is this?
Alibaba CloudのオムニモーダルモデルQwen3-Omni-30B-A3B-InstructをGGUFフォーマットに変換したものです。
imatrix dataset
日本語能力を重視し、日本語が多量に含まれるTFMC/imatrix-dataset-for-japanese-llmデータセットを使用しました。
Chat template
<|im_start|>system
ここにSystem Promptを書きます。<|im_end|>
<|im_start|>user
ここにMessageを書きます。<|im_end|>
<|im_start|>assistantQuants
各クオンツとそのベンチマークスコア（API版Gemma3 27B採点によるElyza_tasks 100）をまとめておきます。
|クオンツ|スコア|コメント|
|---|---|---|
|Q5_K_M|4.35||
|Q4_K_M|4.42||
|IQ4_XS|4.41|推奨|
|MXFP4_MOE|4.24||
Environment
Windows版llama.cpp-b8784および同時リリースのconvert-hf-to-gguf.pyを使用して量子化作業を実施しました。
License
Apache 2.0
Developer
Alibaba Cloud
Run grapeV-ai/Qwen3-Omni-30B-A3B-Instruct-GGUF with guIDE
Download guIDE — the AI-native code editor with local LLM inference and 69 built-in tools.
Source: Hugging Face · Compare models