---

license: other

license_name: swift-open-license-1.0

license_link: https://huggingface.co/ukisai/Swift-Qwen3.8-27b/blob/main/LICENSE

library_name: transformers

pipeline_tag: image-text-to-text

language:

• fi
• en

tags:

• qwen3_8
• gguf
• llama-cpp
• lm-studio
• reasoning
• efficient-thinking
• finnish
• multimodal
• mtp

base_model: ukisai/Swift-Qwen3.8-27b

base_model_relation: quantized

---

Swift-Qwen3.8-27B-Finnish-GGUF

<div align="center">

🌐 Quick Navigation / Valitse Kieli

🇫🇮 Suomenkielinen mallikortti & käyttöohje &nbsp;&nbsp;|&nbsp;&nbsp; 🇬🇧 English Documentation & Quickstart

---

</div>

Mitä Kataguru muutti?

| Kenttä | Kuvaus |

| :--- | :--- |

| Base model | ukisai/Swift-Qwen3.8-27b |

| Katagurun muutos | Suomalainen kalibrointi / chat-template / kvantisointi |

| Mitä EI muutettu | Mallin perusarkkitehtuuri ja esikoulutetut painot |

| Ensisijainen käyttö | Paikallinen suomenkielinen päättely ja inferenssi |

| Testattu laitteisto | NVIDIA RTX 5090 32GB / vLLM & llama.cpp |

---

Tämä repositorio sisältää GGUF-kvantisoinnit suomen kielelle sovitetusta ja rikastetusta Swift-Qwen3.8-27B -mallista.

Malli perustuu UkisAI:n tiivistettyä päättelyä käyttävään arkkitehtuuriin, joka vähentää ajattelutokeneita ~58 % säilyttäen huippuluokan päättelykyvyn.

Kvantisoinnit on luotu käyttäen llama.cpp versiota b11064.

---

Saatavilla olevat tiedostot ja suositukset

| Tiedosto | Koko | Kuvaus / Suositus |

| :--- | :--- | :--- |

| Swift-Qwen3.8-27B-Finnish-Q6_K.gguf | ~21.4 GB | Huippuluokka (Near-Lossless): 6.56 BPW, maksimaalinen päättely- ja kielitarkkuus. Erinomainen 32GB+ RAM / VRAM -kokoonpanoille. |

| Swift-Qwen3.8-27B-Finnish-Q5_K_M.gguf | ~19 GB | Korkea laatu: Erittäin lähellä alkuperäistä BF16-tarkkuutta. Suositellaan 24GB+ VRAM / 32GB RAM -koneille. |

| Swift-Qwen3.8-27B-Finnish-Q4_K_M.gguf | ~16 GB | Suositeltu yleisversio: Paras tasapaino koon, nopeuden ja laadun välillä. |

| Swift-Qwen3.8-27B-Finnish-IQ4_XS.gguf | ~15 GB | Optimoitu kompakti 4-bit: Pienempi muistinkulutus kehittyneellä epälineaarisella kvantisoinnilla. |

| Swift-Qwen3.8-27B-Finnish-Q3_K_M.gguf | ~13 GB | Kevytversio: Mahdollistaa ajamisen myös tiukemman muistin laitteistoilla. |

| Swift-Qwen3.8-27B-Finnish-MTP-draft.gguf | 5.6 GB | MTP Speculative Draft: Erillinen Multi-Token Prediction -draftpää spekulatiiviseen dekoodaukseen (--model-draft). |

| mmproj-Swift-Qwen3.8-27B-Finnish-BF16.gguf | 889 MB | Visio- ja kuvaprojektori: Mahdollistaa kuvien analyysin ja suomenkielisen tekstintunnistuksen (OCR). |

---

Käyttöohjeet

1. LM Studio

1. Lataa haluamasi .gguf-päämalli (esim. Swift-Qwen3.8-27B-Finnish-Q4_K_M.gguf) ja visioprojektori mmproj-Swift-Qwen3.8-27B-Finnish-BF16.gguf.
2. Aseta malli LM Studion hakemistoon:

~/.lmstudio/models/kataguru/Swift-Qwen3.8-27B-Finnish-GGUF/

1. Valitse malli ja varmista, että GPU-offloading on kytketty päälle (GPU Offload: Max).

2. Spekulatiivinen dekoodaus (MTP Draft) llama.cpp:ssä

Voit saavuttaa merkittävän nopeushypyn käyttämällä mukana toimitettua MTP-draft-tiedostoa:

llama-server \
  -m Swift-Qwen3.8-27B-Finnish-Q4_K_M.gguf \
  -md Swift-Qwen3.8-27B-Finnish-MTP-draft.gguf \
  --mmproj mmproj-Swift-Qwen3.8-27B-Finnish-BF16.gguf \
  -ngl 99 -c 32768 --port 8080

3. Reasoning-tasojen ohjaus

Malli tukee dynaamista päättelyn pituuden ohjausta:

• xhigh: Laaja analyysi ja looginen tarkistus
• low: Nopea tiivis pohdinta
• none: Suora vastaus ilman <think>-ajatustekstiä

---

Lisenssi

Malli noudattaa UkisAI:n swift-open-license-1.0 -lisenssiehtoja.

---

🇬🇧 English & International Guide

Overview

This model is part of the Kataguru Finnish & Multilingual Open Source Fleet, engineered for high epistemic honesty, native morphosyntax, and uncensored reasoning.

Key Features

• Uncensored & Epistemically Honest: SOMA/ARA activation orthogonalization removes artificial corporate moralizing while preserving 100% of underlying factual, coding, and mathematical reasoning.
• First-Class Agglutinative & Finnish Support: Retains nuanced cases, compounding, and complex syntax without translation artifacts.
• Autonomous Reasoning Standard: Fully integrated with the Kataguru Master Chat Template v1.0, supporting autonomous thinking (<think>...</think>).

Quickstart with vLLM / OpenAI API

# Example vLLM server launch:
vllm serve kataguru/Swift-Qwen3.8-27B-Finnish-GGUF --port 8000

Quickstart with Python

from openai import OpenAI
client = OpenAI(base_url="http://localhost:8000/v1", api_key="local")

response = client.chat.completions.create(
    model="kataguru/Swift-Qwen3.8-27B-Finnish-GGUF",
    messages=[
        {"role": "user", "content": "Explain the core principle of metabolic health."}
    ],
    temperature=0.6
)
print(response.choices[0].message.content)