---

license: apache-2.0

base_model: petruhonk/Qwen3.8-9B-Distill-uncensored-heretic

language:

• fi
• en

pipeline_tag: image-text-to-text

tags:

• qwen
• qwen3.5
• finnish
• gguf
• llama.cpp
• lm-studio
• uncensored
• vision
• multimodal

---

Qwen3.8-9B-Distill-uncensored-heretic-GGUF

Tämä repositorio sisältää viralliset GGUF-kvantisoinnit monimodaalisesta mallista petruhonk/Qwen3.8-9B-Distill-uncensored-heretic, optimoituna ja testattuna suomen kielelle sekä paikalliseen päättelyyn (LM Studio, llama.cpp, Ollama).

Malli on saatavilla myös vLLM-optimoituna AWQ-versiona: kataguru/Qwen3.8-9B-Distill-uncensored-heretic-Finnish-W4A16-AWQ.

---

Saatavilla olevat tiedostot & Kvantisointivaihtoehdot

| Tiedosto | Koko | BPW | Suositeltu laitteisto / VRAM | Kuvaus & Käyttökohde |

|:---|:---:|:---:|:---|:---|

| Qwen3.8-9B-Distill-uncensored-heretic-Q5_K_M.gguf | ~6.2 GB | ~5.5 | >= 10 GB VRAM | Korkein laatu ja tarkkuus, suositus vaativaan päättelyyn |

| Qwen3.8-9B-Distill-uncensored-heretic-Q4_K_M.gguf | ~5.4 GB | ~4.5 | >= 8 GB VRAM | Paras yleistasapaino laadun ja nopeuden välillä |

| Qwen3.8-9B-Distill-uncensored-heretic-IQ4_XS.gguf | ~5.0 GB | ~4.25 | >= 8 GB VRAM | Optimoitu i-matrix-kvantti minimaalisella laadunmenetyksellä |

| Qwen3.8-9B-Distill-uncensored-heretic-Q3_K_M.gguf | ~4.5 GB | ~3.5 | >= 6 GB VRAM | Erittäin kevyt vaihtoehto vähämuistisille GPU-korteille ja läppäreille |

---

Keskeiset ominaisuudet

1. Rikastettu suomen kieli:

- Virheetön morfologia, laaja sanasto ja nopea vastaustapa.

- Oletuksena nopea suora vastaus, päättelytasot ohjattavissa syötteellä ({REASON:spoon}, {REASON:einstein}, {REASON:low}, {REASON:medium}).

1. Sensuroimaton dialogi ja luova kerronta:

- Ei turhia kieltäytymisiä tai moraalisaarnoja.

1. Valmis LM Studio -tuki:

- Yhteensopiva suoraan LM Studion ja llama.cpp:n b3500+ buildien kanssa.

---

Käyttöesimerkki llama.cpp:llä

./llama-cli \
    -m Qwen3.8-9B-Distill-uncensored-heretic-Q4_K_M.gguf \
    -p "<|im_start|>user\nKerro lyhyesti fotosynteesin vaiheet suomeksi.<|im_end|>\n<|im_start|>assistant\n" \
    -ngl 99 -c 8192 --temp 0.6 --top-p 0.95

---

LM Studio -asennus

1. Lataa haluamasi .gguf-tiedosto tästä repositoriosta.
2. Siirrä tiedosto LM Studion mallihakemistoon:

~/.lmstudio/models/kataguru/Qwen3.8-9B-Distill-uncensored-heretic-GGUF/

1. Valitse malli käyttöliittymästä ja aseta GPU Offload: Max.