GraySoft
Projects Models Compare Cloud benchmarks FAQ Download guIDE →
Model Intelligence Sheet

NullpoLab/Agents-A1-4B-Heretic-ARA-Refusals7-GGUF overview

English version: README en.md README en.md Agents A1 4B Heretic ARA Refusals7 GGUF NullpoLab/Agents A1 4B Heretic ARA Refusals7 https://huggingface.co/NullpoLa…

ggufhereticuncensoreddecensoredabliteratedaraconversationaltext-generationbase_model:NullpoLab/Agents-A1-4B-Heretic-ARA-Refusals7base_model:quantized:NullpoLab/Agents-A1-4B-Heretic-ARA-Refusals7license:apache-2.0endpoints_compatibleregion:us

Runs locally from ~644.3 MB disk (4 GB VRAM class GPUs with llama.cpp / guIDE).

Downloads
0
Likes
0
Pipeline
text-generation
Author

Repository Files & Downloads

6 GGUF files detected
Direct downloads for local inference
FileTypeQuantizationSizeLink
Agents-A1-4B-Heretic-ARA-Refusals7-BF16.ggufGGUFBF167.85 GBDownload
Agents-A1-4B-Heretic-ARA-Refusals7-Q4_K_M.ggufGGUFQ4_K_M2.52 GBDownload
Agents-A1-4B-Heretic-ARA-Refusals7-Q5_K_M.ggufGGUFQ5_K_M2.86 GBDownload
Agents-A1-4B-Heretic-ARA-Refusals7-Q6_K.ggufGGUFQ6_K3.23 GBDownload
Agents-A1-4B-Heretic-ARA-Refusals7-Q8_0.ggufGGUFQ8_04.17 GBDownload
mmproj-Agents-A1-4B-bf16.ggufGGUFBF16644.3 MBDownload

Model Details

Model IDNullpoLab/Agents-A1-4B-Heretic-ARA-Refusals7-GGUF
AuthorNullpoLab
Pipelinetext-generation
Licenseapache-2.0
Base modelNullpoLab/Agents-A1-4B-Heretic-ARA-Refusals7
Last modified2026-07-22T06:33:03.000Z

Model README

---

license: apache-2.0

base_model: NullpoLab/Agents-A1-4B-Heretic-ARA-Refusals7

library_name: gguf

pipeline_tag: text-generation

tags:

  • heretic
  • uncensored
  • decensored
  • abliterated
  • ara
  • conversational

---

English version: README_en.md

Agents-A1-4B-Heretic-ARA-Refusals7-GGUF

NullpoLab/Agents-A1-4B-Heretic-ARA-Refusals7 のGGUF量子化版です。

概要

InternScience/Agents-A1-4BHeretic v1.2.0 の Arbitrary-Rank Ablation (ARA) 手法を用いて検閲解除したモデルです。

変換に関する注記

現時点では、そのままGGUF化すると読み込みエラーが発生するため、暫定的な回避策としてconfig.jsonの"mtp_num_hidden_layers"を0に変更しています。

Abliteration パラメータ

| パラメータ | 値 |

| --- | --- |

| start_layer_index | 13 |

| end_layer_index | 25 |

| preserve_good_behavior_weight | 0.8630 |

| steer_bad_behavior_weight | 0.0001 |

| overcorrect_relative_weight | 1.1907 |

| neighbor_count | 15 |

性能

| 指標 | このモデル | 元のモデル (InternScience/Agents-A1-4B) |

| --- | --- | --- |

| 拒否率 | 7/100 | 85/100 |

| KL発散 | 0.0030 | 0 (定義上) |

> 評価は mlabonne/harmful_behaviors(テスト 100 プロンプト)で拒否率を、mlabonne/harmless_alpaca(テスト 100 プロンプト)で KL 発散を計測しました。

注記

  • このモデルは研究およびクリエイティブライティング目的を想定しています
  • 拒否率の評価は英語プロンプトのみで実施しています。日本語プロンプトでの動作は異なる場合があります
  • ベースモデル: NullpoLab/Agents-A1-4B-Heretic-ARA-Refusals7
  • Heretic: p-e-w/heretic

Run NullpoLab/Agents-A1-4B-Heretic-ARA-Refusals7-GGUF with guIDE

Download guIDE — the AI-native code editor with local LLM inference and 69 built-in tools.

Download guIDE → · Browse 524k+ models · Compare models

Source: Hugging Face · Compare models