Model Intelligence Sheet
grapeV-ai/Muse-Glimmer-30B-assistant-GGUF overview
What is this? Muse Glimmerの公式な投機的デコード用モジュール Muse Glimmer 30B assistant https://huggingface.co/meta models/Muse Glimmer 30B assistant をGGUFフォーマットに変換したものです。<br こ…
Runs locally from ~1.04 GB disk (4 GB VRAM class GPUs with llama.cpp / guIDE).
Repository Files & Downloads
6 GGUF files detected
Direct downloads for local inference
| File | Type | Quantization | Size | Link |
|---|---|---|---|---|
| Muse-Glimmer-30B-assistant-BF16.gguf | GGUF | BF16 | 4.77 GB | Download |
| Muse-Glimmer-30B-assistant-Q3_K_L.gguf | GGUF | Q3_K_L | 1.24 GB | Download |
| Muse-Glimmer-30B-assistant-Q3_K_M.gguf | GGUF | Q3_K_M | 1.14 GB | Download |
| Muse-Glimmer-30B-assistant-Q3_K_S.gguf | GGUF | Q3_K_S | 1.04 GB | Download |
| Muse-Glimmer-30B-assistant-Q4_K_M.gguf | GGUF | Q4_K_M | 1.42 GB | Download |
| Muse-Glimmer-30B-assistant-Q5_K_M.gguf | GGUF | Q5_K_M | 1.68 GB | Download |
Model Details
Model README
---
license: apache-2.0
---
What is this?
Muse Glimmerの公式な投機的デコード用モジュールMuse-Glimmer-30B-assistantをGGUFフォーマットに変換したものです。<br>
こちらのGGUFは単体ではご利用いただけません。Muse Glimmer本体のGGUFと併せて使用することで、トークン生成を高速化できます。
Note
-md このGGUFのパス --spec-type draft-dflash --spec-draft-n-max 2引数でDFlash投機的デコードが有効化されます。<br>
なお、--spec-draft-n-max引数については、日本語では2~3がスイートスポットのようです。
License
Apache 2.0
Developer
Meta Superintelligence Lab
Run grapeV-ai/Muse-Glimmer-30B-assistant-GGUF with guIDE
Download guIDE — the AI-native code editor with local LLM inference and 69 built-in tools.
Source: Hugging Face · Compare models