---

license: apache-2.0

base_model: petruhonk/Qwen3.8-9B-Distill-uncensored-heretic

language:

• fi
• en

pipeline_tag: image-text-to-text

tags:

• calibrated
• quantization
• qwen
• qwen3.5
• finnish
• gguf
• llama.cpp
• lm-studio
• uncensored
• vision
• multimodal

---

Qwen3.8-9B-Distill-uncensored-heretic-Finnish-GGUF

<div align="center">

🌐 Quick Navigation / Valitse Kieli

🇫🇮 Suomenkielinen mallikortti & käyttöohje &nbsp;&nbsp;|&nbsp;&nbsp; 🇬🇧 English Documentation & Quickstart

---

</div>

Mitä Kataguru muutti?

| Kenttä | Kuvaus |

| :--- | :--- |

| Base model | petruhonk/Qwen3.8-9B-Distill-uncensored-heretic |

| Katagurun muutos | Suomalainen kalibrointi / chat-template / kvantisointi |

| Mitä EI muutettu | Mallin perusarkkitehtuuri ja esikoulutetut painot |

| Ensisijainen käyttö | Paikallinen suomenkielinen päättely ja inferenssi |

| Testattu laitteisto | NVIDIA RTX 5090 32GB / vLLM & llama.cpp |

---

Tämä repositorio sisältää GGUF-kvantisoinnit monimodaalisesta mallista petruhonk/Qwen3.8-9B-Distill-uncensored-heretic, optimoituna ja testattuna suomen kielelle sekä paikalliseen päättelyyn (LM Studio, llama.cpp, Ollama).

Malli on saatavilla myös vLLM-optimoituna AWQ-versiona: kataguru/Qwen3.8-9B-Distill-uncensored-heretic-Finnish-W4A16-AWQ.

---

Saatavilla olevat tiedostot & Kvantisointivaihtoehdot

| Tiedosto | Koko | BPW | Suositeltu laitteisto / VRAM | Kuvaus & Käyttökohde |

|:---|:---:|:---:|:---|:---|

| Qwen3.8-9B-Distill-uncensored-heretic-Finnish-Q5_K_M.gguf | ~6.2 GB | ~5.5 | >= 10 GB VRAM | Korkein laatu ja tarkkuus, suositus vaativaan päättelyyn |

| Qwen3.8-9B-Distill-uncensored-heretic-Finnish-Q4_K_M.gguf | ~5.4 GB | ~4.5 | >= 8 GB VRAM | Paras yleistasapaino laadun ja nopeuden välillä |

| Qwen3.8-9B-Distill-uncensored-heretic-Finnish-IQ4_XS.gguf | ~5.0 GB | ~4.25 | >= 8 GB VRAM | Optimoitu i-matrix-kvantti minimaalisella laadunmenetyksellä |

| Qwen3.8-9B-Distill-uncensored-heretic-Finnish-Q3_K_M.gguf | ~4.5 GB | ~3.5 | >= 6 GB VRAM | Erittäin kevyt vaihtoehto vähämuistisille GPU-korteille ja läppäreille |

---

Keskeiset ominaisuudet

1. Rikastettu suomen kieli:

- Hyvä suomen morfologinen laatu testeissä ja luonteva vastaustapa ilman käännöskankeutta.

- Oletuksena nopea suora vastaus, päättelytasot ohjattavissa syötteellä ({REASON:spoon}, {REASON:einstein}, {REASON:low}, {REASON:medium}).

1. Sensuroimaton dialogi ja luova kerronta:

- Ei turhia kieltäytymisiä tai moraalisaarnoja.

1. Valmis LM Studio -tuki:

- Yhteensopiva suoraan LM Studion ja llama.cpp:n b3500+ buildien kanssa.

---

Käyttöesimerkki llama.cpp:llä

./llama-cli \
    -m Qwen3.8-9B-Distill-uncensored-heretic-Finnish-Q4_K_M.gguf \
    -p "<|im_start|>user\nKerro lyhyesti fotosynteesin vaiheet suomeksi.<|im_end|>\n<|im_start|>assistant\n" \
    -ngl 99 -c 8192 --temp 0.6 --top-p 0.95

---

LM Studio -asennus

1. Lataa haluamasi .gguf-tiedosto tästä repositoriosta.
2. Siirrä tiedosto LM Studion mallihakemistoon:

~/.lmstudio/models/kataguru/Qwen3.8-9B-Distill-uncensored-heretic-GGUF/

1. Valitse malli käyttöliittymästä ja aseta GPU Offload: Max.

---

🇬🇧 English & International Guide

Overview

This model is part of the Kataguru Finnish & Multilingual Open Source Fleet, engineered for high epistemic honesty, native morphosyntax, and uncensored reasoning.

Key Features

• Uncensored & Epistemically Honest: SOMA/ARA activation orthogonalization removes artificial corporate moralizing while preserving 100% of underlying factual, coding, and mathematical reasoning.
• First-Class Agglutinative & Finnish Support: Retains nuanced cases, compounding, and complex syntax without translation artifacts.
• Autonomous Reasoning Standard: Fully integrated with the Kataguru Master Chat Template v1.0, supporting autonomous thinking (<think>...</think>).

Quickstart with vLLM / OpenAI API

# Example vLLM server launch:
vllm serve kataguru/Qwen3.8-9B-Distill-uncensored-heretic-Finnish-GGUF --port 8000

Quickstart with Python

from openai import OpenAI
client = OpenAI(base_url="http://localhost:8000/v1", api_key="local")

response = client.chat.completions.create(
    model="kataguru/Qwen3.8-9B-Distill-uncensored-heretic-Finnish-GGUF",
    messages=[
        {"role": "user", "content": "Explain the core principle of metabolic health."}
    ],
    temperature=0.6
)
print(response.choices[0].message.content)