CyberPaul/ratio-qwen-7b-gguf-v2 overview
RATIO Qwen 7B v2 GGUF LEGACY / EXPERIMENTAL ⚠️ STATUS: LEGACY — não recomendado para uso em produção. Este modelo é a versão experimental anterior do LLM gener…
Runs locally from ~4.36 GB disk (8 GB VRAM class GPUs with llama.cpp / guIDE).
Repository Files & Downloads
| File | Type | Quantization | Size | Link |
|---|---|---|---|---|
| Qwen2.5-7B-Instruct.Q4_K_M.gguf | GGUF | GGUF | 4.36 GB | Download |
Model Details
| Model ID | CyberPaul/ratio-qwen-7b-gguf-v2 |
|---|---|
| Author | CyberPaul |
| Pipeline | text-generation |
| License | apache-2.0 |
| Base model | Qwen/Qwen2.5-7B-Instruct |
| Last modified | 2026-08-05T01:38:59.000Z |
Model README
---
language:
- pt
license: apache-2.0
base_model:
- Qwen/Qwen2.5-7B-Instruct
tags:
- portuguese
- legal
- brazilian-law
- jurisprudencia
- ratio-decidendi
- gguf
- ollama
- llama.cpp
- unsloth
pipeline_tag: text-generation
library_name: llama.cpp
quantized_by: Unsloth
---
RATIO Qwen 7B v2 - GGUF (LEGACY / EXPERIMENTAL)
> ⚠️ STATUS: LEGACY — não recomendado para uso em produção.
> Este modelo é a versão experimental anterior do LLM generativo do RATIO.
> O modelo recomendado é o CyberPaul/ratio-gemma3-4b-gguf (Gemma3-4B fine-tuned).
---
Por que este modelo é LEGACY?
Durante a validação empírica em hardware CPU (Windows, P52 com 32 GB RAM), até o modelo base Qwen2.5-7B-Instruct não quantizado pelo nosso pipeline apresentou saída degradada (repetição de dígitos/garble) no runtime local (Ollama/llama.cpp). O problema foi reproduzido:
- com o fine-tune
ratio-qwen-7b-gguf-v2(com e sem system message) - com o modelo base
qwen2.5:7b-instructoficial do Ollama (mesmo sintoma)
Ou seja: a degradação não é do fine-tune nem do template — é uma incompatibilidade do runtime local com a arquitetura Qwen no hardware testado. Por isso este artefato foi descontinuado em favor do Gemma3-4B, que roda corretamente e responde com qualidade no mesmo hardware.
Alternativa recomendada
CyberPaul/ratio-gemma3-4b-gguf — LLM generativo do RATIO:
- Fine-tune Gemma3-4B-IT (8.501 exemplos de ratio decidendi)
- GGUF Q4_K_M (~2.5 GB), roda em CPU
- Validação empírica completa (RAG single-turn e multi-turn) ✅
---
O que era este modelo
Modelo Qwen2.5-7B-Instruct ajustado para o domínio jurídico brasileiro (extração, síntese e explicação da ratio decidendi), exportado em GGUF Q4_K_M e Q8_0 para uso local.
Arquivos disponíveis
Qwen2.5-7B-Instruct.Q4_K_M.gguf(~4.7 GB)Qwen2.5-7B-Instruct.Q8_0.gguf(~8.1 GB)
Uso (caso queira testar mesmo assim)
ollama create ratio-qwen -f Modelfile
ollama run ratio-qwen
> ⚠️ Em hardware CPU, o Qwen 7B pode gerar saída degradada (repetição de dígitos). Teste antes de adotar. Recomendamos o Gemma3.
---
Dados de treinamento
Fine-tune (LoRA) com Unsloth sobre o dataset RATIO v3, consolidado a partir de:
- acórdãos do STJ e STF
- extrações estruturadas do pipeline RATIO
- sínteses supervisionadas da ratio decidendi
---
Limitações
- ⚠️ Legacy: descontinuado em favor do Gemma3-4B
- Pode resumir demais em casos muito complexos
- Pode reproduzir vieses do corpus jurisprudencial
- Exige validação humana em uso profissional
---
Créditos
- Fine-tuning e pipeline jurídico: CyberPaul / Projeto RATIO
- Modelo base: Qwen2.5-7B-Instruct
- Conversão/quantização GGUF: Unsloth
- Runtime local: Ollama / llama.cpp
---
Citação
@misc{ratio_qwen_2026,
author = {CyberPaul},
title = {RATIO Qwen 7B v2 (legacy): GGUF experimental para extracao de ratio decidendi no direito brasileiro},
year = {2026},
url = {https://huggingface.co/CyberPaul/ratio-qwen-7b-gguf-v2}
}Run CyberPaul/ratio-qwen-7b-gguf-v2 with guIDE
Download guIDE — the AI-native code editor with local LLM inference and 69 built-in tools.
Source: Hugging Face · Compare models