---

base_model: tepirale/Ornith-Agents-A1-3.6-35B-A3B-dare_ties

tags: [gguf, mtp, qwen3.6, moe, dare-ties, ornith]

---

Note:

• I haven't used it.

• It's an experiment combining the model with MTP.

• I don't know if it will load or take forever to load.

• I don't know what response it will give.

• I haven't evaluated it.

• This model will be removed at some point.

Ornith-Agents-A1-3.6-35B-A3B-GGUF

GGUF multi-quant experimento de tepirale/Ornith-Agents-A1-3.6-35B-A3B-dare_ties con bloque MTP (Multi-Token Prediction) injertado desde el GGUF oficial de Qwen3.6-35B-A3B, para speculative decoding nativo en llama.cpp.

Uso (llama.cpp con MTP)

llama-server -m Ornith-Agents-A1-3.6-35B-A3B-dare_ties-Q4_K_M.gguf \
  --spec-type draft-mtp --spec-draft-n-max 2 \
  -ngl 99 -fa on -c 65536 --jinja \
  --cache-type-k q8_0 --cache-type-v q8_0

Detalles técnicos

• Bloque MTP (blk.40, 20 tensores) injertado después de cuantizar: pesos en Q8_0, routing gates en BF16, norms en F32 en todos los quants (sin degradación de las draft heads).
• block_count=41, nextn_predict_layers=1.
• Quants generados directo desde F16 (sin doble cuantización).
• Ornith-Agents-A1-3.6-35B-A3B-dare_ties-mtp-sidecar.gguf: sidecar con el bloque MTP crudo, por si quieres injertarlo sobre otros quants con graft_mtp.py.

Quants

| Quant | Tamaño |

|-------|--------|

| Q4_K_M | 20.5 GiB |

| Q5_K_M | 23.9 GiB |

| Q6_K | 27.4 GiB |

| Q8_0 | 35.2 GiB |

| f16 | 69.4 GiB |