---

license: apache-2.0

language:

• hu
• en

library_name: gguf

pipeline_tag: text-generation

base_model: Flashtond22/Taltos-27B

base_model_relation: quantized

tags:

• magyar
• hungarian
• taltos
• gguf
• llama.cpp
• ollama

---

<div align="center">

✦ TÁLTOS-27B ✦ GGUF

Fusson a magyar modell a saját gépeden

!Formátum

!Legkisebb

!Ollama

!CPU

<br>

Ollama · llama.cpp · LM Studio · Jan · KoboldCpp

</div>

---

Melyiket töltsd le

<div align="center">

| Változat | Méret | VRAM | Minőség | Kinek |

|:---|:---:|:---:|:---:|:---|

| Q8_0 | 29 GB | 31 GB | 🟢🟢🟢🟢🟢 | Ha van rá hardvered, ez gyakorlatilag az eredeti |

| Q6_K | 23 GB | 25 GB | 🟢🟢🟢🟢🟢 | Kiváló, a különbség alig mérhető |

| Q5_K_M | 20 GB | 22 GB | 🟢🟢🟢🟢 | Nagyon jó, 24 GB-os kártyán elfér |

| Q4_K_M | 17 GB | 19 GB | 🟢🟢🟢🟢 | A legjobb arány. Ezt válaszd, ha bizonytalan vagy. |

| Q3_K_M | 13 GB | 15 GB | 🟡🟡🟡 | Használható, de a hosszú levezetéseknél már hibázik |

| Q2_K | 10 GB | 12 GB | 🟠🟠 | Csak ha muszáj. Lásd a figyelmeztetést lent. |

</div>

> ### ⚠️ Hol romlik a minőség

>

> Q4_K_M fölött a különbség a legtöbb feladatban észrevehetetlen. Nyugodtan használd.

>

> Q3_K_M-nél megjelennek az első hibák: a hosszabb matematikai levezetések elcsúsznak, a ritkább szakszavak pontatlanabbak lesznek. Beszélgetésre és fogalmazásra még jó.

>

> Q2_K-nál a romlás már egyértelmű. A magyar nyelvhelyesség nagyrészt megmarad, de a tényszerű pontosság és a többlépéses gondolkodás érezhetően gyengül. Ezt csak akkor válaszd, ha a hardvered mást nem enged, és ne támaszkodj a válaszaira ellenőrzés nélkül.

---

Ollama

A leggyorsabb út. Egyetlen paranccsal fut:

ollama run hf.co/Flashtond22/Taltos-27B-GGUF:Q4_K_M

Másik változathoz csak a címkét cseréld:

ollama run hf.co/Flashtond22/Taltos-27B-GGUF:Q6_K
ollama run hf.co/Flashtond22/Taltos-27B-GGUF:Q3_K_M
ollama run hf.co/Flashtond22/Taltos-27B-GGUF:Q2_K

Saját Modelfile a magyar rendszerüzenettel

Így a modell mindig Táltosként, magyarul indul:

FROM hf.co/Flashtond22/Taltos-27B-GGUF:Q4_K_M

SYSTEM """Te vagy a Táltos, magyar nyelvre hangolt mesterséges intelligencia.
Természetes, anyanyelvi magyarsággal válaszolsz: helyes szórenddel, ragozással,
tükörfordítás nélkül. Pontos vagy és lényegre törő. Ha valamit nem tudsz, azt
megmondod ahelyett, hogy kitalálnád."""

PARAMETER temperature 0.7
PARAMETER top_p 0.92
PARAMETER num_ctx 16384

ollama create taltos -f Modelfile
ollama run taltos

---

llama.cpp

# letöltés
huggingface-cli download Flashtond22/Taltos-27B-GGUF \
  Taltos-27B-Q4_K_M.gguf --local-dir .

# beszélgetés
llama-cli -m Taltos-27B-Q4_K_M.gguf -cnv \
  -p "Te vagy a Táltos, magyar nyelvre hangolt mesterséges intelligencia." \
  --temp 0.7 --top-p 0.92 -c 16384 -ngl 99

OpenAI-kompatibilis szerverként:

llama-server -m Taltos-27B-Q4_K_M.gguf -c 16384 -ngl 99 --host 0.0.0.0 --port 8080

A -ngl 99 az összes réteget a videokártyára teszi. Ha nem fér el, csökkentsd (-ngl 40), a többi a processzoron fut.

---

LM Studio, Jan, KoboldCpp

Keresd rá a felületen: Flashtond22/Taltos-27B-GGUF, majd válaszd a hardveredhez illő változatot a fenti táblázat alapján.

---

Mi ez a modell

A Táltos-27B egy 27,8 milliárd paraméteres, magyar nyelvre hangolt modell. Az erőssége a természetes magyar fogalmazás, a magyar nyelvű gondolatmenet és a jól tagolt, lényegre törő válasz.

Fej-fej melletti összehasonlításban 55 magyar feladaton, független bíró értékelése szerint 55,5 %-ban bizonyult jobbnak az alapmodelljénél. A teljes leírás és a mérési részletek az alap repóban találhatók.

Az összes változat

| Formátum | Repó | Mikor |

|:---|:---|:---|

| bf16 | Taltos-27B | Szerver, továbbtanítás |

| FP8 | Taltos-27B-FP8 | vLLM, egy 40 GB-os kártya |

| GGUF | ez a repó | Otthoni gép, Ollama, CPU |

---

Licenc

Apache 2.0. Szabadon használható, módosítható, üzleti célra is. Az alapmodell a Qwen/Qwen3.8-27B, szintén Apache 2.0.

<div align="center">

<br>

✦ TÁLTOS-27B ✦

Magyar fejlesztés

</div>