kataguru/Qwen3.5-35B-A3B-Sceptic-v3.4-GGUF overview
Qwen3.5 35B A3B Sceptic v3.4 GGUF Kataguru APEX Trio Virallinen Kataguru lippulaiva ja uusi perusta suomenkieliselle MoE päättelylle. Malli yhdistää Qwen 3.5 3…
Runs locally from ~861.0 MB disk (4 GB VRAM class GPUs with llama.cpp / guIDE).
Repository Files & Downloads
| File | Type | Quantization | Size | Link |
|---|---|---|---|---|
| Sceptic-35B-A3B-v3.4-APEX-Good.gguf | GGUF | GGUF | 15.65 GB | Download |
| Sceptic-35B-A3B-v3.4-APEX-Medium.gguf | GGUF | GGUF | 13.57 GB | Download |
| Sceptic-35B-A3B-v3.4-APEX-Small.gguf | GGUF | GGUF | 12.07 GB | Download |
| mmproj-Sceptic-35B-A3B-v3.4-f16.gguf | GGUF | F16 | 861.0 MB | Download |
| mtp-Sceptic-35B-A3B-v3.4-Q4_K_M.gguf | GGUF | Q4_K_M | 1.17 GB | Download |
| mtp-Sceptic-35B-A3B-v3.4-Q8_0.gguf | GGUF | Q8_0 | 1.85 GB | Download |
Model Details
| Model ID | kataguru/Qwen3.5-35B-A3B-Sceptic-v3.4-GGUF |
|---|---|
| Author | kataguru |
| Pipeline | text-generation |
| License | apache-2.0 |
| Base model | Qwen/Qwen3.5-35B-A3B |
| Last modified | 2026-10-13T03:34:46.000Z |
Model README
---
language:
- fi
- en
license: apache-2.0
tags:
- finnish
- uncensored
- moe
- multimodal
- vision
- reasoning
- gguf
- apex
- coding
- immunity
base_model: Qwen/Qwen3.5-35B-A3B
pipeline_tag: text-generation
---
Qwen3.5-35B-A3B-Sceptic-v3.4-GGUF (Kataguru APEX Trio)
Virallinen Kataguru-lippulaiva ja uusi perusta suomenkieliselle MoE-päättelylle. Malli yhdistää Qwen 3.5 35B-A3B -arkkitehtuurin (35B parametria, joista ~3B aktiivisena per token), suomen kielen syväkoulutuksen, Ornith STEM/matematiikkavektorit, JEV Truth -totuudenmukaisuuden sekä Diabolical Code Immunity v2/v3 -järjestelmäkoodauskyvyn.
Kaikki kvantit on suojattu suomalaisella sceptic_v3.4.imatrix-aktivaatiomatriisilla ja ne puhuvat todennetusti 100 % virheetöntä suomea.
---
Mitä Kataguru muutti? (Insinööriyhteenveto)
| Kenttä | Kuvaus / Arvo |
| :--- | :--- |
| Base model | Qwen 3.5 35B-A3B MoE (Alibaba Cloud / Qwen Team) |
| Katagurun jatkokoulutus | Sceptic v3.4 (JEV Truth + Ornith Math + Diabolical Code Immunity Round 2 & 3) |
| Kielilaatu | 100 % Virheetön suomi: Vaativat sijapäätteet (abessiivi, komitatiivi, instruktiivi), täsmällinen tieteen ja tekniikan sanasto |
| Sensuroimattomuus | Zero Refusal: Täysi vapaus asiapitoiseen fiktioon, aikuiskerrontaan, erotiikkaan ja tutkimukseen. Sisäinen ajattelu (<think>) ei suorita sensuuriauditointia |
| Kvantisointi | Kataguru APEX (Adaptive Precision for EXpert Models) -triojulkaisu |
| Visio / Multimodal | Täysi multimodaalituki mukana toimitetulla mmproj-projektorilla (OCR ja kuva-analyysi suomeksi) |
| Spekulatiivinen MTP | NextN/MTP -kerrokset suojattu ja saatavilla myös erillisinä draft-tiedostoina |
| Suositeltu ajotapa | LM Studio / llama.cpp b11064+ / Ollama |
| Testattu laitteisto | 2x NVIDIA RTX 5090 32GB Blackwell (TP=2) & RTX 5060 Ti 16GB / RTX 4070 12GB |
---
Saatavilla olevat tiedostot ja APEX-laatuluokat
Tästä mallista tarjotaan tasan kolme (3) kuratoitua APEX-kvanttia eri VRAM-kokoluokkiin:
| Tiedosto | Koko | Keskim. BPW | VRAM-suositus | Kuvaus ja Rakenne |
| :--- | :---: | :---: | :---: | :--- |
| Sceptic-35B-A3B-v3.4-APEX-Medium.gguf | 13.55 GiB | 3.28 bpw | 16 Gt VRAM (Sweet Spot) | Ensisijainen suositus kuluttajakorteille (RTX 4080 / 5060 Ti 16GB). Jättää ~2.4 GiB vapaata KV-cachelle. Attention Q5_K/Q4_K, expertit IQ3_S/IQ3_XXS. |
| Sceptic-35B-A3B-v3.4-APEX-Good.gguf | 15.33 GiB | 3.71 bpw | 16–24 Gt VRAM (Max Laatu) | Maksimaalisen tarkkuuden profiili 16 Gt kortin kattoon tai 24 Gt+ korteille (RTX 3090/4090/5090). Attention Q6_K/Q5_K, expertit Q4_K/IQ3_S. |
| Sceptic-35B-A3B-v3.4-APEX-Small.gguf | 12.05 GiB | 2.92 bpw | 12 Gt VRAM (Low-VRAM) | Optimoitu 12 Gt GPU:ille (RTX 3060 12GB, RTX 4070 12GB, RTX 5070 12GB). Attention Q5_K/Q4_K, expertit IQ3_S/IQ2_S. |
| mmproj-Sceptic-35B-A3B-v3.4-f16.gguf | 902 MiB | F16 | – | Multimodaalinen visioprojektori kuva-analyysiä ja OCR-tekstintunnistusta varten. |
| mtp-Sceptic-35B-A3B-v3.4-Q4_K_M.gguf | 1.26 GiB | Q4_K_M | – | Eristetty MTP-spekulaatiokerros erilliseen spekulatiiviseen dekoodaukseen. |
| mtp-Sceptic-35B-A3B-v3.4-Q8_0.gguf | 1.99 GiB | Q8_0 | – | Korkearesoluutioinen MTP-spekulaatiokerros. |
| sceptic_v3.4.imatrix | 192 MiB | – | – | Kotimainen aktivaatiomatriisi täyden toistettavuuden varmistamiseksi. |
---
Empiiriset Vertailutulokset (Identtinen laitteisto ja kvanttiaste)
Mittaukset on ajettu virallisella tuotantolaitteistolla (2x RTX 5090 Blackwell TP=2, vLLM / llama.cpp b11064):
| Tehtäväalue / Benchmark | Qwen 3.5 35B Base | Sceptic v3.0 | Sceptic v3.3 | Sceptic v3.4 (Tämä malli) |
| :--- | :---: | :---: | :---: | :---: |
| GSM8K (Matematiikka CoT) | 82.4 % | 86.8 % | 87.2 % | <b style="color:#0f5132;">88.1 %</b> |
| TruthfulQA (Totuudenmukaisuus) | 61.2 % | 74.5 % | 76.8 % | <b style="color:#0f5132;">78.4 %</b> |
| Diabolical Concurrency (Round 2 & 3) | 28.0 % | 65.0 % | 90.0 % | <b style="color:#0f5132;">95.0 %</b> |
| Finnish Morphology (Abessiivi/Komitatiivi) | 71.0 % | 94.0 % | 98.0 % | <b style="color:#0f5132;">100.0 %</b> |
| Erotica / Fiction Refusal Rate | ~45.0 % | 12.0 % | 8.0 % | <b style="color:#0f5132;">0.00 % (Zero Refusal)</b> |
| MTP Speculative Acceptance Rate | – | 74.2 % | 76.5 % | <b style="color:#0f5132;">78.6 %</b> |
| Läpimeno (AWQ / APEX tok/s) | 210 tok/s | 258 tok/s | 265 tok/s | <b style="color:#0f5132;">268 tok/s</b> |
---
Käyttöohjeet
1. LM Studio
- Lataa haluamasi APEX-kvantti (
APEX-Medium.ggufsuositeltu 16 Gt korteille,APEX-Small.gguf12 Gt korteille). - Jos haluat kuva-analyysin, liitä samalla
mmproj-Sceptic-35B-A3B-v3.4-f16.ggufVision Adapter -kenttään. - Keskustele suomeksi tai englanniksi. Malli skaalaa ajattelunsa (
<think>) automaattisesti tehtävän vaativuuden mukaan.
2. llama.cpp CLI
./llama-cli \
-m Sceptic-35B-A3B-v3.4-APEX-Medium.gguf \
--mmproj mmproj-Sceptic-35B-A3B-v3.4-f16.gguf \
-p "Analysoi oheinen järjestelmäarkkitehtuuri ja optimoi sen rinnakkaisuus." \
-ngl 99 \
-c 32768 \
-t 16
---
Rajoitukset ja Huomiot
- Ei haitalliseen käyttöön: Malli on sensuroimaton laillisen aikuiskerronnan, fiktion ja kybertutkimuksen osalta. Malli kieltäytyy itsenäisesti vakavista haitoista (CBRN, lapsiin kohdistuva haitta).
- 12 Gt VRAM (APEX-Small): 12 Gt GPU:illa suositellaan rajoittamaan kontekstipituus 8 192 – 16 384 tokeniin muistin riittävyyden takaamiseksi.
Run kataguru/Qwen3.5-35B-A3B-Sceptic-v3.4-GGUF with guIDE
Download guIDE — the AI-native code editor with local LLM inference and 69 built-in tools.
Source: Hugging Face · Compare models