GraySoft
Projects Models Compare Cloud benchmarks FAQ Download guIDE →
Model Intelligence Sheet

kataguru/Qwen3.8-27B-TWIN-TURBO-Fable-Finnish-GGUF overview

Qwen3.8 27B TWIN TURBO Fable Finnish GGUF <div align="center" 🌐 Quick Navigation / Valitse Kieli 🇫🇮 Suomenkielinen mallikortti & käyttöohje suomi finnish do…

ggufqwenqwen3.5finnishllama.cpplm-studiouncensoredmtpimage-text-to-textfienbase_model:DavidAU/Qwen3.8-27B-TWIN-TURBO-Fable-Cold-Fusion-709-ULTRA-HERETIC-Uncensoredbase_model:quantized:DavidAU/Qwen3.8-27B-TWIN-TURBO-Fable-Cold-Fusion-709-ULTRA-HERETIC-Uncensoredlicense:apache-2.0endpoints_compatibleregion:usconversational

Runs locally from ~12.57 GB disk (16 GB VRAM class GPUs with llama.cpp / guIDE).

Downloads
858
Likes
0
Pipeline
image-text-to-text
Author

Repository Files & Downloads

4 GGUF files detected
Direct downloads for local inference
FileTypeQuantizationSizeLink
Qwen3.8-27B-TWIN-TURBO-Fable-Finnish-IQ4_XS.ggufGGUFIQ4_XS14.36 GBDownload
Qwen3.8-27B-TWIN-TURBO-Fable-Finnish-Q3_K_M.ggufGGUFQ3_K_M12.57 GBDownload
Qwen3.8-27B-TWIN-TURBO-Fable-Finnish-Q4_K_M.ggufGGUFQ4_K_M15.66 GBDownload
Qwen3.8-27B-TWIN-TURBO-Fable-Finnish-Q5_K_M.ggufGGUFQ5_K_M18.19 GBDownload

Model Details

Model IDkataguru/Qwen3.8-27B-TWIN-TURBO-Fable-Finnish-GGUF
Authorkataguru
Pipelineimage-text-to-text
Licenseapache-2.0
Base modelDavidAU/Qwen3.8-27B-TWIN-TURBO-Fable-Cold-Fusion-709-ULTRA-HERETIC-Uncensored
Last modified2026-09-25T14:03:40.000Z

Model README

---

license: apache-2.0

base_model: DavidAU/Qwen3.8-27B-TWIN-TURBO-Fable-Cold-Fusion-709-ULTRA-HERETIC-Uncensored

language:

  • fi
  • en

pipeline_tag: image-text-to-text

tags:

  • qwen
  • qwen3.5
  • finnish
  • gguf
  • llama.cpp
  • lm-studio
  • uncensored
  • mtp

---

Qwen3.8-27B-TWIN-TURBO-Fable-Finnish-GGUF

<div align="center">

🌐 Quick Navigation / Valitse Kieli

🇫🇮 Suomenkielinen mallikortti & käyttöohje &nbsp;&nbsp;|&nbsp;&nbsp; 🇬🇧 English Documentation & Quickstart

---

</div>

Mitä Kataguru muutti?

| Kenttä | Kuvaus |

| :--- | :--- |

| Base model | DavidAU/Qwen3.8-27B-TWIN-TURBO-Fable-Cold-Fusion-709-ULTRA-HERETIC-Uncensored |

| Katagurun muutos | Suomalainen kalibrointi / chat-template / kvantisointi |

| Mitä EI muutettu | Mallin perusarkkitehtuuri ja esikoulutetut painot |

| Ensisijainen käyttö | Paikallinen suomenkielinen päättely ja inferenssi |

| Testattu laitteisto | NVIDIA RTX 5090 32GB / vLLM & llama.cpp |

---

Tämä repositorio sisältää GGUF-kvantisoinnit mallista DavidAU/Qwen3.8-27B-TWIN-TURBO-Fable-Cold-Fusion-709-ULTRA-HERETIC-Uncensored, joka on rikastettu ja optimoitu huippuluokan suomen kielelle ja suomalaiselle ilmaisulle.

Malli on saatavilla myös vLLM-optimoituna AWQ-versiona: kataguru/Qwen3.8-27B-TWIN-TURBO-Fable-Finnish-W4A16-AWQ.

---

Saatavilla olevat tiedostot & Kvantisointivaihtoehdot

| Tiedosto | Koko | BPW | Suositeltu laitteisto / VRAM | Kuvaus & Käyttökohde |

|:---|:---:|:---:|:---|:---|

| Qwen3.8-27B-TWIN-TURBO-Fable-Finnish-Q5_K_M.gguf | 18.2 GB | 5.72 | 24 GB VRAM (esim. RTX 3090 / 4090 / 5090 tai Mac 32GB+) | Huipputarkkuus: Minimaalinen hävikki, paras kielellinen ja analyyttinen tarkkuus. |

| Qwen3.8-27B-TWIN-TURBO-Fable-Finnish-Q4_K_M.gguf | 15.6 GB | 4.92 | 20–24 GB VRAM tai 32 GB RAM | Kultainen keskitie (Suositeltu): Loistava tasapaino nopeuden, koon ja laadun välillä. |

| Qwen3.8-27B-TWIN-TURBO-Fable-Finnish-IQ4_XS.gguf | 14.4 GB | 4.51 | 16–20 GB VRAM | Kompakti 4-bit: Pienempi muistijalanjälki erinomaisella laadulla (Importance Matrix -taso). |

| Qwen3.8-27B-TWIN-TURBO-Fable-Finnish-Q3_K_M.gguf | 12.6 GB | 3.95 | 16 GB VRAM (esim. RTX 4080 / 4070 Ti Super tai Mac 16-24GB) | Kevyt & Nopea: Mahtuu mukavasti 16 GB VRAM -näytönohjaimelle FP8 KV-cachella (n. 32k–64k konteksti). |

---

> [!NOTE]

> VRAM & KV-Cache -huomautus 16 GB -korteille (esim. RTX 4080 / 4070 Ti Super):

> Qwen 27B:n KV-cache vie FP16-tarkkuudella n. 256 KB per token. 16 GB VRAM -kortilla Q3_K_M (12.9 GB) jättää n. 3 GB vapaata muistia, jolloin suositellaan käyttämään FP8/Q8 KV-cachea (LM Studiossa Context Quantization tai llama.cpp:ssä -ctk q8_0 -ctv q8_0), jolla saavutetaan sujuvasti 32k–64k konteksti ilman muistin loppumista. Pidemmille konteksteille (128k+) suositellaan 24 GB+ VRAMia tai osittaista CPU-offloadia.

Tärkeimmät ominaisuudet

  1. Luonnollinen ja vivahteikas suomen kieli:

- Suomenkielinen morfologia, sanasto, sijamuodot ja tyylilliset vivahteet toimivat saumattomasti ilman anglismien käännöskankeutta.

- Erinomainen niin asiaproosassa, IT/koodausvastauksissa, filosofiassa kuin kaunokirjallisessa ja luovassa tarinankerronnassa.

  1. Mukautettu Chat Template & Päättelytasot ({REASON:}):

- Oletuksena nopea ja suora vastaus: Malli vastaa välittömästi ilman pitkää ja raskasta <think>-pohdintaa.

- Ohjattava päättely: Voit aktivoida syventävän päättelyn lisäämällä viestin alkuun haluamasi tason:

- {REASON:low}: Nopea ja lyhyt analyysi.

- {REASON:medium}: Tasapainoinen ja jäsennelty päättelyketju.

- {REASON:xhigh}: Erittäin syvällinen ja kriittinen analyysi.

- {REASON:spoon}: Syvätutkimus (7-vaiheinen asiantuntijapaneeli, hypoteesit, synteesi).

- {REASON:einstein}: Luova aivoriihi (10 Sternbergin näkökulmaa, radikaalien ratkaisujen jalostus).

  1. Sensuroimaton vapaus (Uncensored / Heretic):

- Ei moralisointia, ei turhia vastuuvapauslausekkeita tai kieltäytymisiä monimutkaisissa tai fiktioaiheissa.

---

Käyttöohjeet

1. LM Studio

  1. Avaa LM Studio.
  2. Etsi hakukentästä: kataguru/Qwen3.8-27B-TWIN-TURBO-Fable-Finnish-GGUF.
  3. Valitse itsellesi sopiva kvantti (esim. Q4_K_M tai Q5_K_M) ja lataa se.
  4. Mallin sisäänrakennettu Jinja chat template tunnistaa roolit ja suomen kielen automaattisesti.

2. Ollama

Luo Modelfile:

FROM ./Qwen3.8-27B-TWIN-TURBO-Fable-Finnish-Q4_K_M.gguf

PARAMETER temperature 0.6
PARAMETER top_p 0.95
PARAMETER stop "<|im_end|>"
PARAMETER stop "<|endoftext|>"

Kokoa ja käynnistä:

ollama create qwen-fable-fi -f Modelfile
ollama run qwen-fable-fi

3. llama.cpp Server

./llama-server \
    -m Qwen3.8-27B-TWIN-TURBO-Fable-Finnish-Q4_K_M.gguf \
    --port 8080 \
    -ngl 99 \
    -c 32768 \
    --temp 0.6 \
    --top-p 0.95

---

Tekniset tiedot

  • Arkkitehtuuri: Qwen3.8 / Qwen2.5 Hybrid + Attention + Mamba/GDN + MTP
  • Parametrit: 27B
  • Lähdepainot: DavidAU/Qwen3.8-27B-TWIN-TURBO-Fable-Cold-Fusion-709-ULTRA-HERETIC-Uncensored (BF16)
  • Kvantisointityökalu: llama.cpp (b11064)

---

🇬🇧 English & International Guide

Overview

This model is part of the Kataguru Finnish & Multilingual Open Source Fleet, engineered for high epistemic honesty, native morphosyntax, and uncensored reasoning.

Key Features

  • Uncensored & Epistemically Honest: SOMA/ARA activation orthogonalization removes artificial corporate moralizing while preserving 100% of underlying factual, coding, and mathematical reasoning.
  • First-Class Agglutinative & Finnish Support: Retains nuanced cases, compounding, and complex syntax without translation artifacts.
  • Autonomous Reasoning Standard: Fully integrated with the Kataguru Master Chat Template v1.0, supporting autonomous thinking (<think>...</think>).

Quickstart with vLLM / OpenAI API

# Example vLLM server launch:
vllm serve kataguru/Qwen3.8-27B-TWIN-TURBO-Fable-Finnish-GGUF --port 8000

Quickstart with Python

from openai import OpenAI
client = OpenAI(base_url="http://localhost:8000/v1", api_key="local")

response = client.chat.completions.create(
    model="kataguru/Qwen3.8-27B-TWIN-TURBO-Fable-Finnish-GGUF",
    messages=[
        {"role": "user", "content": "Explain the core principle of metabolic health."}
    ],
    temperature=0.6
)
print(response.choices[0].message.content)

Run kataguru/Qwen3.8-27B-TWIN-TURBO-Fable-Finnish-GGUF with guIDE

Download guIDE — the AI-native code editor with local LLM inference and 69 built-in tools.

Download guIDE → · Browse 524k+ models · Compare models

Source: Hugging Face · Compare models