---

base_model: mistralai/Mistral-7B-Instruct-v0.3

tags:

• quantized
• gguf
• llama.cpp

language:

• en
• fr

---

NathMen12/Mistral-7B-Instruct-v0.3-GGUF

English | Français

---

English

GGUF quantized version of mistralai/Mistral-7B-Instruct-v0.3, for use with

llama.cpp, Ollama, LM Studio, koboldcpp, and other GGUF-compatible runtimes.

📋 Details

• Base model: mistralai/Mistral-7B-Instruct-v0.3
• Method: GGUF quantization (Q4_K_M, Q5_K_M) via llama.cpp
• Total size: ~8.86 GB
• Generated on: 2026-08-26
• Generated with: automatic GGUF quantization Colab notebook (CPU, no GPU required)

📁 Files

| File | Type | Size |

|---|---|---|

| Mistral-7B-Instruct-v0.3-Q4_K_M.gguf | Q4_K_M | 4.07 GB |

| Mistral-7B-Instruct-v0.3-Q5_K_M.gguf | Q5_K_M | 4.78 GB |

🚀 Usage

# With llama.cpp
./llama-cli -m Mistral-7B-Instruct-v0.3-Q4_K_M.gguf -p "Hello"

# Or with Ollama (minimal Modelfile)
# FROM ./Mistral-7B-Instruct-v0.3-Q4_K_M.gguf

⚠️ Disclaimer

This model was quantized automatically. Always check output quality against

the original model before using it in production.

---

Français

Version quantizée en GGUF de mistralai/Mistral-7B-Instruct-v0.3, pour une

utilisation avec llama.cpp, Ollama, LM Studio, koboldcpp et autres runtimes compatibles GGUF.

📋 Détails

• Modèle de base : mistralai/Mistral-7B-Instruct-v0.3
• Méthode : Quantization GGUF (Q4_K_M, Q5_K_M) via llama.cpp
• Taille totale : ~8.86 GB
• Date de génération : 2026-08-26
• Généré avec : notebook Colab de quantization GGUF automatique (CPU, sans GPU)

📁 Fichiers

| Fichier | Type | Taille |

|---|---|---|

| Mistral-7B-Instruct-v0.3-Q4_K_M.gguf | Q4_K_M | 4.07 GB |

| Mistral-7B-Instruct-v0.3-Q5_K_M.gguf | Q5_K_M | 4.78 GB |

🚀 Utilisation

# Avec llama.cpp
./llama-cli -m Mistral-7B-Instruct-v0.3-Q4_K_M.gguf -p "Bonjour"

# Ou avec Ollama (Modelfile minimal)
# FROM ./Mistral-7B-Instruct-v0.3-Q4_K_M.gguf

⚠️ Avertissement

Ce modèle a été quantizé automatiquement. Vérifie toujours la qualité des sorties

par rapport au modèle original avant toute utilisation en production.