---

license: mit

library_name: llama.cpp

base_model:

- Qwen/Qwen3.6-35B-A3B

tags:

- llama.cpp

- gguf

- f16

- qwen3.5

- qwen3.6

- qwen3vl

- moe

- multimodal

- vision

- spanish

- espanol

- chile

- fine-tuned

---

qwen35b-espanol-gguf-f16

Modelo multimodal en español basado en Qwen3.6-35B-A3B (MoE/SSM), fine-tuneado y abliterated para conversación en español, con soporte de visión mediante Qwen3VL.

Este repositorio contiene la versión GGUF F16 para ejecutarse con llama.cpp. Se distribuye en dos archivos: el modelo de texto y el proyector visual (mmproj).

Archivos del repositorio

| Archivo | Propósito | Tamaño |

|---|---|---|

| model_qwen35b_espanol_text_F16.gguf | Modelo de lenguaje Qwen3.5 MoE (texto) | ~69.4 GB |

| mmproj_qwen35b_espanol_F16.gguf | Proyector visual Qwen3VL | ~899 MB |

Formato de inferencia

Para llama.cpp (formato de este repositorio)

Carga ambos archivos: el modelo de texto y el mmproj.

llama-server \
  --model model_qwen35b_espanol_text_F16.gguf \
  --mmproj mmproj_qwen35b_espanol_F16.gguf \
  --ctx-size 131072 \
  --port 8080

Para un prompt con imagen:

llama-cli \
  --model model_qwen35b_espanol_text_F16.gguf \
  --mmproj mmproj_qwen35b_espanol_F16.gguf \
  --image imagen.png \
  --prompt "Describe esta imagen en español."

Para vLLM / Transformers / safetensors (NO es este repositorio)

vLLM no carga GGUF. Usa el modelo completo en safetensors:

vllm serve jpalmae/qwen35b-espanol-abl-merged-v3

Repo: jpalmae/qwen35b-espanol-abl-merged-v3

Especificaciones

| Atributo | Valor |

|---|---|

| Arquitectura del modelo de texto | qwen35moe |

| Capas del modelo de texto | 41 (40 hidden + 1 MTP) |

| Proyector visual | qwen3vl_merger (Qwen3VL) |

| Tensores del modelo de texto | 733 |

| Tensores del proyector | 334 |

| Precisión | F16 |

| Contexto | 131072 tokens |

| Idioma | Español (fine-tune sobre base multimodal) |

| Licencia | MIT |

Base y procedencia

• Modelo base: Qwen/Qwen3.6-35B-A3B (multimodal).
• Fine-tuning y abliteration sobre el safetensors multimodal en español.
• Origen de la conversión: /nvme1/models/qwen35b-espanol-abl-merged-v3 en servidor propio.
• Convertido con convert_hf_to_gguf.py de llama.cpp, con --mmproj para el proyector visual.

Nota sobre el repositorio anterior

Este repo reemplazó al anterior model_qwen35b_espanol_F16_patched.gguf (text-only). Ahora incluye el par multimodal completo.

Citation

@misc{qwen35b-espanol-gguf-f16,
  title={qwen35b-espanol-gguf-f16},
  author={Jorge Palma Escobar},
  year={2026},
  howpublished={\url{https://huggingface.co/jpalmae/qwen35b-espanol-gguf-f16}}
}