---

base_model: google/gemma-4-12B-it

license: gemma

tags:

- gguf

- ollama

- gemma4

- q4_k_m

- llama-cpp

- multimodal

- image-text-to-text

language:

- en

- pt

- multilingual

library_name: gguf

pipeline_tag: image-text-to-text

---

Gemma 4 12B Instruct — GGUF Q4_K_M

Quantização Q4_K_M com imatrix do modelo google/gemma-4-12B-it,

obtida de bartowski/gemma-4-12B-it-GGUF (llama.cpp b9496).

| Arquivo | Tamanho | Tipo |

|---|---|---|

| gemma-4-12B-it-Q4_K_M.gguf | 7.66 GB | Modelo principal |

| mmproj-gemma-4-12B-it-f16.gguf | ~122 MB | Projetor visual (multimodal) |

| gemma-4-12B-it-imatrix.gguf | — | Calibração imatrix |

| Modelfile | — | Template Ollama pronto para uso |

Especificações

• Parâmetros: 12B (denso, arquitetura gemma4)
• Contexto máximo: 128K tokens (131 072)
• Quantização: Q4_K_M com imatrix calibration dataset
• Ferramenta de build: llama.cpp b9496
• Licença: Gemma Terms of Use

Uso com Ollama

# Baixar e criar modelo
huggingface-cli download bandtor/gemma-4-12B-it-GGUF --local-dir ./gemma4-12b
ollama create gemma4-12b -f ./gemma4-12b/Modelfile
ollama run gemma4-12b

Ou diretamente via HF (Ollama >= 0.3):

ollama run hf.co/bandtor/gemma-4-12B-it-GGUF

Uso com llama.cpp

# Apenas texto
llama-cli -m gemma-4-12B-it-Q4_K_M.gguf \
  --ctx-size 32768 \
  -fa 1 \
  --prompt "<|turn>user\nOlá!<turn|>\n<|turn>model\n"

# Multimodal (visão)
llama-cli -m gemma-4-12B-it-Q4_K_M.gguf \
  --mmproj mmproj-gemma-4-12B-it-f16.gguf \
  --image imagem.jpg \
  --prompt "<|turn>user\nDescreva esta imagem.<turn|>\n<|turn>model\n"

Formato de prompt (Gemma 4)

<bos><|turn>system
{system_prompt}<turn|>
<|turn>user
{mensagem}<turn|>
<|turn>model
{resposta}<turn|>

Créditos

• Quantização imatrix: bartowski/gemma-4-12B-it-GGUF
• Modelo base: google/gemma-4-12B-it
• Repositório pessoal: bandtor/gemma-4-12B-it-GGUF