GraySoft
Projects Models Compare Cloud benchmarks FAQ Download guIDE →
Model Intelligence Sheet

kataguru/Qwen3.5-35B-A3B-Sceptic-v3.4-GGUF overview

Qwen3.5 35B A3B Sceptic v3.4 GGUF Kataguru APEX Trio Virallinen Kataguru lippulaiva ja uusi perusta suomenkieliselle MoE päättelylle. Malli yhdistää Qwen 3.5 3…

gguffinnishuncensoredmoemultimodalvisionreasoningapexcodingimmunitytext-generationconversationalfienbase_model:Qwen/Qwen3.5-35B-A3Bbase_model:quantized:Qwen/Qwen3.5-35B-A3Blicense:apache-2.0endpoints_compatibleregion:usimatrix

Runs locally from ~861.0 MB disk (4 GB VRAM class GPUs with llama.cpp / guIDE).

Downloads
740
Likes
0
Pipeline
text-generation
Author

Repository Files & Downloads

6 GGUF files detected
Direct downloads for local inference
FileTypeQuantizationSizeLink
Sceptic-35B-A3B-v3.4-APEX-Good.ggufGGUFGGUF15.65 GBDownload
Sceptic-35B-A3B-v3.4-APEX-Medium.ggufGGUFGGUF13.57 GBDownload
Sceptic-35B-A3B-v3.4-APEX-Small.ggufGGUFGGUF12.07 GBDownload
mmproj-Sceptic-35B-A3B-v3.4-f16.ggufGGUFF16861.0 MBDownload
mtp-Sceptic-35B-A3B-v3.4-Q4_K_M.ggufGGUFQ4_K_M1.17 GBDownload
mtp-Sceptic-35B-A3B-v3.4-Q8_0.ggufGGUFQ8_01.85 GBDownload

Model Details

Model IDkataguru/Qwen3.5-35B-A3B-Sceptic-v3.4-GGUF
Authorkataguru
Pipelinetext-generation
Licenseapache-2.0
Base modelQwen/Qwen3.5-35B-A3B
Last modified2026-10-13T03:34:46.000Z

Model README

---

language:

  • fi
  • en

license: apache-2.0

tags:

  • finnish
  • uncensored
  • moe
  • multimodal
  • vision
  • reasoning
  • gguf
  • apex
  • coding
  • immunity

base_model: Qwen/Qwen3.5-35B-A3B

pipeline_tag: text-generation

---

Qwen3.5-35B-A3B-Sceptic-v3.4-GGUF (Kataguru APEX Trio)

Virallinen Kataguru-lippulaiva ja uusi perusta suomenkieliselle MoE-päättelylle. Malli yhdistää Qwen 3.5 35B-A3B -arkkitehtuurin (35B parametria, joista ~3B aktiivisena per token), suomen kielen syväkoulutuksen, Ornith STEM/matematiikkavektorit, JEV Truth -totuudenmukaisuuden sekä Diabolical Code Immunity v2/v3 -järjestelmäkoodauskyvyn.

Kaikki kvantit on suojattu suomalaisella sceptic_v3.4.imatrix-aktivaatiomatriisilla ja ne puhuvat todennetusti 100 % virheetöntä suomea.

---

Mitä Kataguru muutti? (Insinööriyhteenveto)

| Kenttä | Kuvaus / Arvo |

| :--- | :--- |

| Base model | Qwen 3.5 35B-A3B MoE (Alibaba Cloud / Qwen Team) |

| Katagurun jatkokoulutus | Sceptic v3.4 (JEV Truth + Ornith Math + Diabolical Code Immunity Round 2 & 3) |

| Kielilaatu | 100 % Virheetön suomi: Vaativat sijapäätteet (abessiivi, komitatiivi, instruktiivi), täsmällinen tieteen ja tekniikan sanasto |

| Sensuroimattomuus | Zero Refusal: Täysi vapaus asiapitoiseen fiktioon, aikuiskerrontaan, erotiikkaan ja tutkimukseen. Sisäinen ajattelu (<think>) ei suorita sensuuriauditointia |

| Kvantisointi | Kataguru APEX (Adaptive Precision for EXpert Models) -triojulkaisu |

| Visio / Multimodal | Täysi multimodaalituki mukana toimitetulla mmproj-projektorilla (OCR ja kuva-analyysi suomeksi) |

| Spekulatiivinen MTP | NextN/MTP -kerrokset suojattu ja saatavilla myös erillisinä draft-tiedostoina |

| Suositeltu ajotapa | LM Studio / llama.cpp b11064+ / Ollama |

| Testattu laitteisto | 2x NVIDIA RTX 5090 32GB Blackwell (TP=2) & RTX 5060 Ti 16GB / RTX 4070 12GB |

---

Saatavilla olevat tiedostot ja APEX-laatuluokat

Tästä mallista tarjotaan tasan kolme (3) kuratoitua APEX-kvanttia eri VRAM-kokoluokkiin:

| Tiedosto | Koko | Keskim. BPW | VRAM-suositus | Kuvaus ja Rakenne |

| :--- | :---: | :---: | :---: | :--- |

| Sceptic-35B-A3B-v3.4-APEX-Medium.gguf | 13.55 GiB | 3.28 bpw | 16 Gt VRAM (Sweet Spot) | Ensisijainen suositus kuluttajakorteille (RTX 4080 / 5060 Ti 16GB). Jättää ~2.4 GiB vapaata KV-cachelle. Attention Q5_K/Q4_K, expertit IQ3_S/IQ3_XXS. |

| Sceptic-35B-A3B-v3.4-APEX-Good.gguf | 15.33 GiB | 3.71 bpw | 16–24 Gt VRAM (Max Laatu) | Maksimaalisen tarkkuuden profiili 16 Gt kortin kattoon tai 24 Gt+ korteille (RTX 3090/4090/5090). Attention Q6_K/Q5_K, expertit Q4_K/IQ3_S. |

| Sceptic-35B-A3B-v3.4-APEX-Small.gguf | 12.05 GiB | 2.92 bpw | 12 Gt VRAM (Low-VRAM) | Optimoitu 12 Gt GPU:ille (RTX 3060 12GB, RTX 4070 12GB, RTX 5070 12GB). Attention Q5_K/Q4_K, expertit IQ3_S/IQ2_S. |

| mmproj-Sceptic-35B-A3B-v3.4-f16.gguf | 902 MiB | F16 | – | Multimodaalinen visioprojektori kuva-analyysiä ja OCR-tekstintunnistusta varten. |

| mtp-Sceptic-35B-A3B-v3.4-Q4_K_M.gguf | 1.26 GiB | Q4_K_M | – | Eristetty MTP-spekulaatiokerros erilliseen spekulatiiviseen dekoodaukseen. |

| mtp-Sceptic-35B-A3B-v3.4-Q8_0.gguf | 1.99 GiB | Q8_0 | – | Korkearesoluutioinen MTP-spekulaatiokerros. |

| sceptic_v3.4.imatrix | 192 MiB | – | – | Kotimainen aktivaatiomatriisi täyden toistettavuuden varmistamiseksi. |

---

Empiiriset Vertailutulokset (Identtinen laitteisto ja kvanttiaste)

Mittaukset on ajettu virallisella tuotantolaitteistolla (2x RTX 5090 Blackwell TP=2, vLLM / llama.cpp b11064):

| Tehtäväalue / Benchmark | Qwen 3.5 35B Base | Sceptic v3.0 | Sceptic v3.3 | Sceptic v3.4 (Tämä malli) |

| :--- | :---: | :---: | :---: | :---: |

| GSM8K (Matematiikka CoT) | 82.4 % | 86.8 % | 87.2 % | <b style="color:#0f5132;">88.1 %</b> |

| TruthfulQA (Totuudenmukaisuus) | 61.2 % | 74.5 % | 76.8 % | <b style="color:#0f5132;">78.4 %</b> |

| Diabolical Concurrency (Round 2 & 3) | 28.0 % | 65.0 % | 90.0 % | <b style="color:#0f5132;">95.0 %</b> |

| Finnish Morphology (Abessiivi/Komitatiivi) | 71.0 % | 94.0 % | 98.0 % | <b style="color:#0f5132;">100.0 %</b> |

| Erotica / Fiction Refusal Rate | ~45.0 % | 12.0 % | 8.0 % | <b style="color:#0f5132;">0.00 % (Zero Refusal)</b> |

| MTP Speculative Acceptance Rate | – | 74.2 % | 76.5 % | <b style="color:#0f5132;">78.6 %</b> |

| Läpimeno (AWQ / APEX tok/s) | 210 tok/s | 258 tok/s | 265 tok/s | <b style="color:#0f5132;">268 tok/s</b> |

---

Käyttöohjeet

1. LM Studio

  1. Lataa haluamasi APEX-kvantti (APEX-Medium.gguf suositeltu 16 Gt korteille, APEX-Small.gguf 12 Gt korteille).
  2. Jos haluat kuva-analyysin, liitä samalla mmproj-Sceptic-35B-A3B-v3.4-f16.gguf Vision Adapter -kenttään.
  3. Keskustele suomeksi tai englanniksi. Malli skaalaa ajattelunsa (<think>) automaattisesti tehtävän vaativuuden mukaan.

2. llama.cpp CLI

./llama-cli \
    -m Sceptic-35B-A3B-v3.4-APEX-Medium.gguf \
    --mmproj mmproj-Sceptic-35B-A3B-v3.4-f16.gguf \
    -p "Analysoi oheinen järjestelmäarkkitehtuuri ja optimoi sen rinnakkaisuus." \
    -ngl 99 \
    -c 32768 \
    -t 16

---

Rajoitukset ja Huomiot

  • Ei haitalliseen käyttöön: Malli on sensuroimaton laillisen aikuiskerronnan, fiktion ja kybertutkimuksen osalta. Malli kieltäytyy itsenäisesti vakavista haitoista (CBRN, lapsiin kohdistuva haitta).
  • 12 Gt VRAM (APEX-Small): 12 Gt GPU:illa suositellaan rajoittamaan kontekstipituus 8 192 – 16 384 tokeniin muistin riittävyyden takaamiseksi.

Run kataguru/Qwen3.5-35B-A3B-Sceptic-v3.4-GGUF with guIDE

Download guIDE — the AI-native code editor with local LLM inference and 69 built-in tools.

Download guIDE → · Browse 524k+ models · Compare models

Source: Hugging Face · Compare models