kataguru/Kataguru-Sceptic-Quality-Inspector-v2.0-GGUF overview
Kataguru Sceptic Quality Inspector v2.0 APEX Trio GGUF <p align="center" <img src="inspector.png" alt="Kataguru Sceptic Quality Inspector v2.0 GGUF" width="800…
Runs locally from ~861.0 MB disk (4 GB VRAM class GPUs with llama.cpp / guIDE).
Repository Files & Downloads
| File | Type | Quantization | Size | Link |
|---|---|---|---|---|
| Kataguru-Sceptic-Quality-Inspector-v2.0-APEX-Good.gguf | GGUF | GGUF | 15.65 GB | Download |
| Kataguru-Sceptic-Quality-Inspector-v2.0-APEX-Medium.gguf | GGUF | GGUF | 13.57 GB | Download |
| Kataguru-Sceptic-Quality-Inspector-v2.0-APEX-Small.gguf | GGUF | GGUF | 12.07 GB | Download |
| mmproj-Kataguru-Sceptic-Quality-Inspector-v2.0-f16.gguf | GGUF | F16 | 861.0 MB | Download |
| mtp-Kataguru-Sceptic-Quality-Inspector-v2.0-Q4_K_M.gguf | GGUF | Q4_K_M | 1.17 GB | Download |
| mtp-Kataguru-Sceptic-Quality-Inspector-v2.0-Q8_0.gguf | GGUF | Q8_0 | 1.85 GB | Download |
Model Details
| Model ID | kataguru/Kataguru-Sceptic-Quality-Inspector-v2.0-GGUF |
|---|---|
| Author | kataguru |
| Pipeline | text-generation |
| License | apache-2.0 |
| Base model | kataguru/Kataguru-Sceptic-Quality-Inspector-v1.0-NVFP4 |
| Last modified | 2026-10-07T04:01:09.000Z |
Model README
---
language:
- fi
- en
license: apache-2.0
tags:
- quality-inspector
- llm-as-a-judge
- sceptic
- kataguru
- moe
- qwen3.5
- text-generation
- reasoning
- apex
- gguf
- imatrix
- vision
- mtp
pipeline_tag: text-generation
base_model: kataguru/Kataguru-Sceptic-Quality-Inspector-v1.0-NVFP4
---
Kataguru Sceptic Quality Inspector v2.0 (APEX Trio GGUF)
<p align="center">
<img src="inspector.png" alt="Kataguru Sceptic Quality Inspector v2.0 GGUF" width="800">
</p>
Executive Overview (English)
Kataguru Sceptic Quality Inspector v2.0 (APEX Trio GGUF) is the official desktop and workstation quantization release of Kataguru's forensic dataset auditing and LLM-as-a-Judge engine. Built on the Sparse Mixture-of-Experts (MoE) architecture of Kataguru Sceptic 35B-A3B (35 billion total parameters, 3 billion activated per token), version 2.0 brings major generational advancements in STEM verification, multi-threaded code analysis, and multimodal auditing.
Quantized using Kataguru's proprietary APEX (Adaptive Precision for EXpert Models) profiling methodology paired with localized Finnish activation matrix calibration (quality_inspector.imatrix), preserving critical attention matrices, router gates, and shared experts at high precision while stepping down routed experts dynamically.
Released Quantizations (APEX Trio)
| Malliversio (File) | Koko (Size) | BPW | Ajonaikainen VRAM | Kohdelaitteisto & Suositus |
| :--- | :---: | :---: | :---: | :--- |
| APEX-Medium | 14.2 GiB | 3.28 | ~13.9 GiB | 🏆 Ensisijainen Sweet Spot: 16 GiB kuluttajakorteille (RTX 4080, 5060 Ti, 5070 Ti). Jättää 2+ GiB pelivaraa kontekstille. |
| APEX-Good | 16.2 GiB | 3.71 | ~15.8 GiB | Maksimaalinen Tarkkuus: 16 GiB GPU:ille tiukalla kontekstilla ja 24 GiB+ korteille (RTX 3090, 4090, 5090). Lähes häviötön laatu. |
| APEX-Small | 12.8 GiB | 2.92 | ~12.2 GiB | Kompakti Vaihtoehto: 12–16 GiB GPU:ille (RTX 4070 / 5070) kevyempään ajoon ja matalampaan muistinkulutukseen. |
Oheiskomponentit (Ei rampoja ankkoja):
- Visioprojektori (
mmproj):mmproj-Kataguru-Sceptic-Quality-Inspector-v2.0-f16.gguf(861 MB) — takaa täyden kuva-analyysi- ja OCR-tuen llama.cpp:ssä ja LM Studiossa. - MTP-spekulaatiodraftit (
mtp):
- mtp-Kataguru-Sceptic-Quality-Inspector-v2.0-Q8_0.gguf (1.9 GB) — korkeimman hyväksyntäasteen spekulaatiodrafti.
- mtp-Kataguru-Sceptic-Quality-Inspector-v2.0-Q4_K_M.gguf (1.2 GB) — matalan muistinkulutuksen spekulaatiodrafti.
- Kalibrointimatriisi:
quality_inspector.imatrixmukana repossa täyden toistettavuuden varmistamiseksi.
---
Mitä Kataguru muutti? (Anti-Hype Policy)
| Kenttä | Arvo / Spesifikaatio |
| :--- | :--- |
| Base model | kataguru/Kataguru-Sceptic-Quality-Inspector-v1.0 (35B-A3B MoE) |
| Katagurun muutos | Quality Inspector v2.0 -sukupolvipäivitys: vahvistettu päättely- ja koodauspohja, APEX Trio imatrix -kvantisointi (APEX-Medium, APEX-Good, APEX-Small), todennettu MTP-spekulaatio, täysi multimodaalinen visio. |
| Mitä EI muutettu | Sparse MoE -reititysrunko, visuaalinen ViT-enkooderi, 3-tokenin MTP-spekulaatiopää, Master Tri-Mode -ohjausarkkitehtuuri. |
| Kielialueet | Kaksikielinen (FI / EN): 100 % luonnollinen suomi ilman käännösanglismeja, sujuva teknis-tieteellinen englanti. |
| Suomen kielen laatu | 100 % virheetön suomen kieli. Imatrix-kalibrointi suojaa suomen kielen morfologian ja sijapäätteet. |
| Ensisijainen käyttö | Aineistojen laadunvalvonta, koodi- ja STEM-aineistojen karsinta, SFT-koulutusnäytesynteesi, kriittinen asiantuntijakeskustelu. |
| Testattu ohjelmisto | llama.cpp b11064, LM Studio, Ollama. |
---
🌳 Model Tree & Lineage (Kehityspuu)
Qwen/Qwen3.5-35B-A3B (Base Sparse MoE)
│
└── Jackripper v1.0 Uncensored (SOMA/ARA Orthogonalized Foundation)
│
└── Kataguru Sceptic v3.0 Series (Full Cognitive Foundation)
│
├── Kataguru Sceptic v3.4 Diabolical (Diabolical Code Immunity & SG-TVT Transfer)
│
└── Kataguru Sceptic Multi-Mode v2 (Fleet Cognitive Baseline)
│
├── Kataguru Sceptic Quality Inspector v1.0 (First-Generation Quality Engine)
│ ├── kataguru/Kataguru-Sceptic-Quality-Inspector-v1.0-W4A16
│ ├── kataguru/Kataguru-Sceptic-Quality-Inspector-v1.0-NVFP4
│ └── kataguru/Kataguru-Sceptic-Quality-Inspector-v1.0-GGUF
│
└── Kataguru Sceptic Quality Inspector v2.0 (Next-Gen Flagship Forensic Engine)
│
├── kataguru/Kataguru-Sceptic-Quality-Inspector-v2.0-NVFP4 [vLLM Cluster Production]
└── kataguru/Kataguru-Sceptic-Quality-Inspector-v2.0-GGUF [★ TÄMÄ REPO - APEX TRIO]
├── APEX-Good.gguf (~16.2 GiB, 3.71 BPW — 24 GiB+ GPUs)
├── APEX-Medium.gguf (~14.2 GiB, 3.28 BPW — 16 GiB Sweet Spot)
├── APEX-Small.gguf (~12.8 GiB, 2.92 BPW — 12 GiB GPUs)
├── mmproj-f16.gguf (861 MB — Multimodal Vision Projector)
└── mtp-Q8_0 / mtp-Q4_K_M (MTP Speculative Decoding Drafts)
---
1. Master Tri-Mode -arkkitehtuuri
Malli tukee kolmea toisistaan erotettua ja erikoistunutta toimintatilaa samassa mallipainossa:
┌────────────────────────────────────────────────────────┐
│ KATAGURU SCEPTIC MASTER TRI-MODE │
└──────────────────────────┬─────────────────────────────┘
│
┌───────────────────────────────────────┼───────────────────────────────────────┐
▼ ▼ ▼
[TILA: TARKISTUS] [TILA: KOULUTUS] [TILA: KESKUSTELU]
(Quality Inspector) (Data Curator) (Adaptive Sceptic Chat)
- DETECT -> VERIFY -> VERDICT - First-Principles CoT - Suora asiantuntijakeskustelu
- Fatal Error Overrule - SFT/QLoRA -synteesi - Anti-Sycophancy (ei mielistelyä)
- Tiukka JSON-tuomio - 0.00 % kieltäytymisiä - Reasoning: Spoon / Einstein / Deep
Toimintatilat ja Kutsutagit:
- Tila 1: Materiaalin tarkistus (Quality Inspector):
* Aktivointi: [TILA: TARKISTUS], [INSPECT] tai API-parametri sceptic_mode="inspect".
* Toimintamalli: Malli auditoi annetun näytteen sisäisesti (<think>: DETECT -> VERIFY -> VERDICT) ja palauttaa ainoastaan tiukan JSON-objektin:
```json
{
"verdict": "ACCEPT | REVIEW | REJECT",
"fatal_error": false,
"error_class": null,
"exact_error_location": null,
"brief_rationale": "Ytimekäs 1-2 virkkeen perustelu havainnoista."
}
```
- Tila 2: Koulutusmateriaalin tuottaminen (Data Curation):
* Aktivointi: [TILA: KOULUTUS], [CURATE] tai API-parametri sceptic_mode="curate".
* Toimintamalli: Jalostaa syötteestä korkealaatuisia SFT/QLoRA-harjoitusnäytteitä aukottomalla first-principles CoT -päättelyketjulla ilman esipuheita tai tyhjiä täytesanoja.
- Tila 3: Sceptic-keskustelutila (Asiantuntijakeskustelu):
* Aktivointi: Oletustila ilman tageja tai [TILA: KESKUSTELU].
* Toimintamalli: Suora, kriittinen ja itsenäinen asiantuntija. Ei "Avulias Aatu" -lätinää, ei small talkia, vaan suora asiaan meno. Mukautuva päättelysyvyys (spoon, einstein, deep, adaptive).
---
2. Käyttöohjeet
1. LM Studio
Aseta malli LM Studion hakemistoon (tai käytä symlinkkiä):
mkdir -p ~/.lmstudio/models/kataguru/Kataguru-Sceptic-Quality-Inspector-v2.0-GGUF/
ln -sf /srv/ai-core/models/gguf/kataguru-sceptic-quality-inspector-v2.0/* ~/.lmstudio/models/kataguru/Kataguru-Sceptic-Quality-Inspector-v2.0-GGUF/
2. llama-cli / llama-server
# Perusajo APEX-Medium:
llama-cli -m Kataguru-Sceptic-Quality-Inspector-v2.0-APEX-Medium.gguf \
--mmproj mmproj-Kataguru-Sceptic-Quality-Inspector-v2.0-f16.gguf \
-c 16384 -ngl 99 --chat-template chatml -p "[TILA: TARKISTUS] Syötetty lause..."
# MTP-spekulaatiolla kiihdytetty ajo:
llama-cli -m Kataguru-Sceptic-Quality-Inspector-v2.0-APEX-Medium.gguf \
-md mtp-Kataguru-Sceptic-Quality-Inspector-v2.0-Q4_K_M.gguf \
-c 16384 -ngl 99 --chat-template chatml
---
3. Lisenssi & Tekijätiedot
- Lisenssi: Apache-2.0
- Kehittäjä: Kataguru AI Research
- Arkkitehtuuri: Qwen3.5 Sparse MoE (35B-A3B) + APEX Imatrix + Multimodal Vision + MTP
Run kataguru/Kataguru-Sceptic-Quality-Inspector-v2.0-GGUF with guIDE
Download guIDE — the AI-native code editor with local LLM inference and 69 built-in tools.
Source: Hugging Face · Compare models