GraySoft
Projects Models Compare Cloud benchmarks FAQ Download guIDE →
Model Intelligence Sheet

Thaurock/Llama-3.3-70B-Instruct-abliterated-GGUF overview

Llama 3.3 70B Instruct abliterated GGUF Esta es la colección definitiva, íntegra y completa de cuantizaciones en formato GGUF del modelo Llama 3.3 70B Instruct…

ggufllamallama3.3text-generationabliterateduncensoredtext-generation-inferenceconversationalTransformersText Generationbase_model:meta-llama/Llama-3.3-70B-Instructbase_model:quantized:meta-llama/Llama-3.3-70B-Instructlicense:llama3.3endpoints_compatibleregion:us

Runs locally from ~24.56 GB disk (32 GB+ VRAM class GPUs with llama.cpp / guIDE).

Downloads
693
Likes
0
Pipeline
text-generation
Author

Repository Files & Downloads

11 GGUF files detected
Direct downloads for local inference
FileTypeQuantizationSizeLink
Llama-3.3-70B-Instruct-abliterated-F16.ggufGGUFF16131.43 GBDownload
Llama-3.3-70B-Instruct-abliterated-Q2_K.ggufGGUFQ2_K24.56 GBDownload
Llama-3.3-70B-Instruct-abliterated-Q3_K_L.ggufGGUFQ3_K_L34.59 GBDownload
Llama-3.3-70B-Instruct-abliterated-Q3_K_M.ggufGGUFQ3_K_M31.91 GBDownload
Llama-3.3-70B-Instruct-abliterated-Q3_K_S.ggufGGUFQ3_K_S28.79 GBDownload
Llama-3.3-70B-Instruct-abliterated-Q4_K_M.ggufGGUFQ4_K_M39.60 GBDownload
Llama-3.3-70B-Instruct-abliterated-Q4_K_S.ggufGGUFQ4_K_S37.58 GBDownload
Llama-3.3-70B-Instruct-abliterated-Q5_K_M.ggufGGUFQ5_K_M46.52 GBDownload
Llama-3.3-70B-Instruct-abliterated-Q5_K_S.ggufGGUFQ5_K_S45.32 GBDownload
Llama-3.3-70B-Instruct-abliterated-Q6_K.ggufGGUFQ6_K53.91 GBDownload
Llama-3.3-70B-Instruct-abliterated-Q8_0.ggufGGUFQ8_069.83 GBDownload

Model Details

Model IDThaurock/Llama-3.3-70B-Instruct-abliterated-GGUF
AuthorThaurock
Pipelinetext-generation
Licensellama3.3
Base modelmeta-llama/Llama-3.3-70B-Instruct
Last modified2026-09-26T14:49:50.000Z

Model README

---

license: llama3.3

base_model:

  • meta-llama/Llama-3.3-70B-Instruct

tags:

  • llama
  • llama3.3
  • text-generation
  • gguf
  • abliterated
  • uncensored
  • text-generation-inference
  • conversational
  • Transformers
  • Text Generation

---

Llama-3.3-70B-Instruct-abliterated - GGUF

Esta es la colección definitiva, íntegra y completa de cuantizaciones en formato GGUF del modelo Llama-3.3-70B-Instruct-abliterated, procesadas de forma local y optimizadas para su despliegue con llama.cpp, Ollama, LM Studio o Text-Generation-WebUI.

El modelo base corresponde a la arquitectura densa de 70 mil millones de parámetros de Meta (Llama 3.3), modificada mediante técnicas de abliteration por su autor original para apagar quirúrgicamente los vectores de rechazo y alineación artificiales. El modelo responde con total libertad matemática a cualquier prompt avanzado manteniendo su altísima capacidad de contexto.

📋 Archivos Disponibles (Sin fragmentación / No Splits)

| Archivo | Tamaño Est. | BPW (Bits por Peso) | Perfil de Uso Recomendado |

| :--- | :---: | :---: | :--- |

| Llama-3.3-70B-Instruct-abliterated-F16.gguf | ~141.0 GB | 16.00 | Molde Original. Precisión nativa completa. |

| Llama-3.3-70B-Instruct-abliterated-Q8_0.gguf | ~75.0 GB | 8.50 | Calidad idéntica al original. Excelente para setups con GPUs masivas locales (CMP 170HX / A100). |

| Llama-3.3-70B-Instruct-abliterated-Q6_K.gguf | ~60.0 GB | 6.59 | Rango entusiasta de alta fidelidad lógica. |

| Llama-3.3-70B-Instruct-abliterated-Q5_K_M.gguf | ~52.0 GB | 5.69 | El Punto Dulce. Máxima retención de inteligencia reduciendo drásticamente el impacto de memoria. |

| Llama-3.3-70B-Instruct-abliterated-Q5_K_S.gguf | ~50.0 GB | 5.54 | Variante compacta de 5 bits. |

| Llama-3.3-70B-Instruct-abliterated-Q4_K_M.gguf | ~44.0 GB | 4.85 | El más Popular. Equilibrio perfecto para correr un modelo de 70B en hardware local avanzado. |

| Llama-3.3-70B-Instruct-abliterated-Q4_K_S.gguf | ~41.0 GB | 4.58 | Versión ligera de 4 bits enfocada en velocidad de tokens por segundo. |

| Llama-3.3-70B-Instruct-abliterated-Q3_K_L.gguf | ~37.0 GB | 4.01 | Variante de 3 bits estable para hardware restrictivo. |

| Llama-3.3-70B-Instruct-abliterated-Q3_K_M.gguf | ~34.0 GB | 3.66 | Cuantización media de 3 bits. |

| Llama-3.3-70B-Instruct-abliterated-Q3_K_S.gguf | ~31.0 GB | 3.44 | Variante ligera de 3 bits. |

| Llama-3.3-70B-Instruct-abliterated-Q2_K.gguf | ~28.0 GB | 2.90 | Compresión Máxima. Propenso a errores gramaticales o pérdidas parciales de coherencia estructural. Uso experimental. |

Nota: Los tamaños son estimaciones iniciales de referencia basadas en el peso nativo del modelo en safetensors; se recomienda verificar el tamaño final en disco tras la compilación local.

---

🚀 Ejecución Rápida en CLI

./llama-cli -m Llama-3.3-70B-Instruct-abliterated-Q4_K_M.gguf -n 512 -p "Escribe un código en Python para ordenar una matriz."

---

⚖️ Descargo de Responsabilidad

Este modelo es de acceso abierto y carece de filtros de seguridad artificiales. El contenido generado es responsabilidad exclusiva de quien ejecute la inferencia local.

🔒 Verificación de Integridad Sha256sum (SHA-256)

Para asegurarte de que los archivos de gran tamaño no se hayan corrompido durante la descarga, podés verificar su integridad utilizando el archivo oficial SHA256SUMS.txt provisto en este repositorio.

En Linux / macOS:

Abre una terminal en la carpeta donde descargaste el modelo y el archivo de hashes, y ejecuta(EJEMPLO):

grep "Llama-3.3-70B-Instruct-abliterated-Q4_K_M.gguf" SHA256SUMS.txt | sha256sum -c

Resultado Esperado:

  • Llama-3.3-70B-Instruct-abliterated-Q4_K_M.gguf: La suma coincide (o OK) (¡Descarga perfecta!)

Resultado Negativo:

  • Llama-3.3-70B-Instruct-abliterated-Q4_K_M.gguf: "La suma NO coincide (¡Falla!)

La descarga falló o está incompleta. Se recomienda volver a descargar ese archivo específico.

Nota: Si vas a verificar otro tamaño (como el Q5_K_M o el Q8_0), simplemente reemplaza el nombre del archivo dentro de las comillas del comando.

Créditos

  • Modelo Base Original: Meta AI (Llama-3.3-70B-Instruct)
  • Abliteración: huihui-ai.
  • Cuantizaciones GGUF Completas: Thaurock

Run Thaurock/Llama-3.3-70B-Instruct-abliterated-GGUF with guIDE

Download guIDE — the AI-native code editor with local LLM inference and 69 built-in tools.

Download guIDE → · Browse 524k+ models · Compare models

Source: Hugging Face · Compare models