---

base_model: apodex/Apodex-1.1-mini

language:

• fi
• en

license: apache-2.0

tags:

• qwen3_5_moe
• gguf
• finnish
• text-generation
• reasoning
• multimodal
• vision
• moe
• llama.cpp

pipeline_tag: image-text-to-text

---

Apodex-1.1-mini-Finnish-GGUF

GGUF-kvantisoinnit Apodex-1.1-mini -monialamallista (36B MoE, 3B aktiivista parametria per token), varustettuna suoraan mallin metatietoihin integroidulla suomalaisella chat-templatella ja visioprojektorilla (mmproj).

Alkuperäinen malli: apodex/Apodex-1.1-mini

---

Mitä Kataguru muutti?

| Kenttä | Kuvaus |

| :--- | :--- |

| Base model | apodex/Apodex-1.1-mini |

| Katagurun muutos | Suomalainen chat-template (Jinja2) + GGUF-kvantisointi (llama.cpp build b11064) |

| Mitä EI muutettu | Mallin arkkitehtuuri, esikoulutetut painot tai sanasto |

| Ensisijainen käyttö | Paikallinen suomenkielinen päättely ja monialakäyttö vähäisellä muistinkäytöllä |

| Suositeltu versio | Q4_K_M (20.2 GiB) tai IQ4_XS (18.0 GiB) |

| Testattu laitteisto | RTX 5090 32GB / llama-bench b11064 |

---

Arkkitehtuuri ja Ominaisuudet

• Sparse MoE (3B aktiivista / 36B kokonaiskoko): 8 aktiivista asiantuntijaa 256:sta per token. Mahdollistaa pienen 3B-mallin laskennallisen läpimenon suuremman mallin tietomäärällä.
• Hybridi-Attention: 30 Linear Attention (GDN) -kerrosta ja 10 Full Attention -kerrosta.
• Konteksti-ikkuna: 262 144 tokenia (teoreettinen arkkitehtuurimaksimi).
• Natiivi visio & OCR: Toimitetaan erillisen visioprojektorin (mmproj-Apodex-1.1-mini-Finnish-BF16.gguf) kanssa kuvien ja asiakirjojen lukemiseen suomeksi.
• Päättelysyvyys (<think>): Malli tukee sisäistä päättelyketjua ja ohjattavia päättelytasoja ({REASON:spoon}, {REASON:einstein}, {REASON:none}).

---

Suorituskykymittaukset (llama-bench)

Mittaustulokset ajettu suoraan NVIDIA GeForce RTX 5090 32GB -kortilla (CUDA Backend, Flash Attention on):

| Malli / Kvantti | Tiedostokoko | VRAM-vaatimus | Prompt Eval (pp512) | Generointinopeus (tg128) | Laitteistosuositus |

| :--- | :--- | :--- | :--- | :--- | :--- |

| Apodex-1.1-mini-Finnish-Q3_K_M.gguf | 15.98 GiB | ~16.5 GB | 6 836.6 tok/s | 253.8 tok/s | 16–24 GB VRAM (RTX 4080, 5080, Mac 16GB+) |

| Apodex-1.1-mini-Finnish-IQ4_XS.gguf | 18.05 GiB | ~18.6 GB | 6 628.3 tok/s | 263.5 tok/s | 20–24 GB VRAM (RTX 3090, 4090, 5090) |

| Apodex-1.1-mini-Finnish-Q4_K_M.gguf | 20.21 GiB | ~21.0 GB | 6 586.3 tok/s | 262.6 tok/s | 24 GB+ VRAM (RTX 3090, 4090, 5090) |

| Apodex-1.1-mini-Finnish-Q5_K_M.gguf | 24.10 GiB | ~25.0 GB | ~6 400 tok/s | ~255 tok/s | 32 GB+ VRAM / Jaettu muisti |

| Apodex-1.1-mini-Finnish-Q6_K.gguf | 28.20 GiB | ~29.5 GB | ~6 200 tok/s | ~250 tok/s | 32 GB+ VRAM |

| mmproj-Apodex-1.1-mini-Finnish-BF16.gguf | 861 MiB | +0.9 GB | N/A | N/A | Visioprojektori OCR- ja kuva-ajoon |

---

Havainnot ja Tunnetut Rajoitukset

1. Suomen kielen laatu: Integroidun chat-templaten ansiosta malli käsittelee suomalaiset sijamuodot ja ammattikielen huomattavasti alkuperäistä peruskehotetta paremmin.
2. MoE-arkkitehtuurin rajoitukset: Koska kerrallaan aktivoituu vain 3B parametria, monivaiheisissa loogisissa pulmassa tai syvällisessä koodauksessa mallin päättelyvarmuus jää alle tiheiden 27B-mallien (kuten Titan).
3. Kontekstimuisti: Vaikka malli tukee 262k tokenia, yli 32k kontekstit kasvattavat KV-cachen muistinvarausta merkittävästi.

---

Käyttöohjeet

LM Studio

1. Lataa .gguf-tiedosto (esim. Apodex-1.1-mini-Finnish-Q4_K_M.gguf) ja visioprojektori mmproj-Apodex-1.1-mini-Finnish-BF16.gguf.
2. Sijoita kansioon: ~/.lmstudio/models/kataguru/Apodex-1.1-mini-Finnish-GGUF/
3. Malli tunnistaa suomalaisen chat-templaten ja visiotuen automaattisesti. Suositeltu lämpötila: 0.6.

llama-cli

llama-cli \
  -m Apodex-1.1-mini-Finnish-Q4_K_M.gguf \
  --mmproj mmproj-Apodex-1.1-mini-Finnish-BF16.gguf \
  -ngl 99 \
  -fa on \
  -c 8192 \
  -p "Miten kvanttitietokone eroaa klassisesta tietokoneesta?"

---

Lisenssi

Pohjamalli: apodex/Apodex-1.1-mini (Apache 2.0).

Chat-template ja GGUF-julkaisu: Kataguru.