GraySoft
Projects Models Compare Cloud benchmarks FAQ Download guIDE →
Model Intelligence Sheet

CyberPaul/ratio-qwen-7b-gguf-v2 overview

RATIO Qwen 7B v2 GGUF LEGACY / EXPERIMENTAL ⚠️ STATUS: LEGACY — não recomendado para uso em produção. Este modelo é a versão experimental anterior do LLM gener…

llama.cppggufqwen2portugueselegalbrazilian-lawjurisprudenciaratio-decidendiollamaunslothtext-generationptbase_model:Qwen/Qwen2.5-7B-Instructbase_model:quantized:Qwen/Qwen2.5-7B-Instructlicense:apache-2.0endpoints_compatibleregion:usconversational

Runs locally from ~4.36 GB disk (8 GB VRAM class GPUs with llama.cpp / guIDE).

Downloads
91
Likes
0
Pipeline
text-generation
Author

Repository Files & Downloads

1 GGUF files detected
Direct downloads for local inference
FileTypeQuantizationSizeLink
Qwen2.5-7B-Instruct.Q4_K_M.ggufGGUFGGUF4.36 GBDownload

Model Details

Model IDCyberPaul/ratio-qwen-7b-gguf-v2
AuthorCyberPaul
Pipelinetext-generation
Licenseapache-2.0
Base modelQwen/Qwen2.5-7B-Instruct
Last modified2026-08-05T01:38:59.000Z

Model README

---

language:

  • pt

license: apache-2.0

base_model:

  • Qwen/Qwen2.5-7B-Instruct

tags:

  • portuguese
  • legal
  • brazilian-law
  • jurisprudencia
  • ratio-decidendi
  • gguf
  • ollama
  • llama.cpp
  • unsloth

pipeline_tag: text-generation

library_name: llama.cpp

quantized_by: Unsloth

---

RATIO Qwen 7B v2 - GGUF (LEGACY / EXPERIMENTAL)

> ⚠️ STATUS: LEGACY — não recomendado para uso em produção.

> Este modelo é a versão experimental anterior do LLM generativo do RATIO.

> O modelo recomendado é o CyberPaul/ratio-gemma3-4b-gguf (Gemma3-4B fine-tuned).

---

Por que este modelo é LEGACY?

Durante a validação empírica em hardware CPU (Windows, P52 com 32 GB RAM), até o modelo base Qwen2.5-7B-Instruct não quantizado pelo nosso pipeline apresentou saída degradada (repetição de dígitos/garble) no runtime local (Ollama/llama.cpp). O problema foi reproduzido:

  • com o fine-tune ratio-qwen-7b-gguf-v2 (com e sem system message)
  • com o modelo base qwen2.5:7b-instruct oficial do Ollama (mesmo sintoma)

Ou seja: a degradação não é do fine-tune nem do template — é uma incompatibilidade do runtime local com a arquitetura Qwen no hardware testado. Por isso este artefato foi descontinuado em favor do Gemma3-4B, que roda corretamente e responde com qualidade no mesmo hardware.

Alternativa recomendada

CyberPaul/ratio-gemma3-4b-gguf — LLM generativo do RATIO:

  • Fine-tune Gemma3-4B-IT (8.501 exemplos de ratio decidendi)
  • GGUF Q4_K_M (~2.5 GB), roda em CPU
  • Validação empírica completa (RAG single-turn e multi-turn) ✅

---

O que era este modelo

Modelo Qwen2.5-7B-Instruct ajustado para o domínio jurídico brasileiro (extração, síntese e explicação da ratio decidendi), exportado em GGUF Q4_K_M e Q8_0 para uso local.

Arquivos disponíveis

  • Qwen2.5-7B-Instruct.Q4_K_M.gguf (~4.7 GB)
  • Qwen2.5-7B-Instruct.Q8_0.gguf (~8.1 GB)

Uso (caso queira testar mesmo assim)

ollama create ratio-qwen -f Modelfile
ollama run ratio-qwen

> ⚠️ Em hardware CPU, o Qwen 7B pode gerar saída degradada (repetição de dígitos). Teste antes de adotar. Recomendamos o Gemma3.

---

Dados de treinamento

Fine-tune (LoRA) com Unsloth sobre o dataset RATIO v3, consolidado a partir de:

  • acórdãos do STJ e STF
  • extrações estruturadas do pipeline RATIO
  • sínteses supervisionadas da ratio decidendi

---

Limitações

  • ⚠️ Legacy: descontinuado em favor do Gemma3-4B
  • Pode resumir demais em casos muito complexos
  • Pode reproduzir vieses do corpus jurisprudencial
  • Exige validação humana em uso profissional

---

Créditos

  • Fine-tuning e pipeline jurídico: CyberPaul / Projeto RATIO
  • Modelo base: Qwen2.5-7B-Instruct
  • Conversão/quantização GGUF: Unsloth
  • Runtime local: Ollama / llama.cpp

---

Citação

@misc{ratio_qwen_2026,
  author = {CyberPaul},
  title  = {RATIO Qwen 7B v2 (legacy): GGUF experimental para extracao de ratio decidendi no direito brasileiro},
  year   = {2026},
  url    = {https://huggingface.co/CyberPaul/ratio-qwen-7b-gguf-v2}
}

Run CyberPaul/ratio-qwen-7b-gguf-v2 with guIDE

Download guIDE — the AI-native code editor with local LLM inference and 69 built-in tools.

Download guIDE → · Browse 524k+ models · Compare models

Source: Hugging Face · Compare models