NullpoLab/Agents-A1-4B-Heretic-ARA-Refusals0-GGUF overview
English version: README en.md README en.md Agents A1 4B Heretic ARA Refusals0 GGUF NullpoLab/Agents A1 4B Heretic ARA Refusals0 https://huggingface.co/NullpoLa…
Runs locally from ~644.3 MB disk (4 GB VRAM class GPUs with llama.cpp / guIDE).
Repository Files & Downloads
| File | Type | Quantization | Size | Link |
|---|---|---|---|---|
| Agents-A1-4B-Heretic-ARA-Refusals0-BF16.gguf | GGUF | BF16 | 7.85 GB | Download |
| Agents-A1-4B-Heretic-ARA-Refusals0-Q4_K_M.gguf | GGUF | Q4_K_M | 2.52 GB | Download |
| Agents-A1-4B-Heretic-ARA-Refusals0-Q5_K_M.gguf | GGUF | Q5_K_M | 2.86 GB | Download |
| Agents-A1-4B-Heretic-ARA-Refusals0-Q6_K.gguf | GGUF | Q6_K | 3.23 GB | Download |
| Agents-A1-4B-Heretic-ARA-Refusals0-Q8_0.gguf | GGUF | Q8_0 | 4.17 GB | Download |
| mmproj-Agents-A1-4B-bf16.gguf | GGUF | BF16 | 644.3 MB | Download |
Model Details
| Model ID | NullpoLab/Agents-A1-4B-Heretic-ARA-Refusals0-GGUF |
|---|---|
| Author | NullpoLab |
| Pipeline | text-generation |
| License | apache-2.0 |
| Base model | NullpoLab/Agents-A1-4B-Heretic-ARA-Refusals0 |
| Last modified | 2026-07-22T06:28:43.000Z |
Model README
---
license: apache-2.0
base_model: NullpoLab/Agents-A1-4B-Heretic-ARA-Refusals0
library_name: gguf
pipeline_tag: text-generation
tags:
- heretic
- uncensored
- decensored
- abliterated
- ara
- conversational
---
English version: README_en.md
Agents-A1-4B-Heretic-ARA-Refusals0-GGUF
NullpoLab/Agents-A1-4B-Heretic-ARA-Refusals0 のGGUF量子化版です。
概要
InternScience/Agents-A1-4B を Heretic v1.2.0 の Arbitrary-Rank Ablation (ARA) 手法を用いて検閲解除したモデルです。
変換に関する注記
現時点では、そのままGGUF化すると読み込みエラーが発生するため、暫定的な回避策としてconfig.jsonの"mtp_num_hidden_layers"を0に変更しています。
Abliteration パラメータ
| パラメータ | 値 |
| --- | --- |
| start_layer_index | 10 |
| end_layer_index | 28 |
| preserve_good_behavior_weight | 0.8484 |
| steer_bad_behavior_weight | 0.0002 |
| overcorrect_relative_weight | 1.1303 |
| neighbor_count | 14 |
性能
| 指標 | このモデル | 元のモデル (InternScience/Agents-A1-4B) |
| --- | --- | --- |
| 拒否率 | 0/100 | 85/100 |
| KL発散 | 0.0116 | 0 (定義上) |
> 評価は mlabonne/harmful_behaviors(テスト 100 プロンプト)で拒否率を、mlabonne/harmless_alpaca(テスト 100 プロンプト)で KL 発散を計測しました。
注記
- このモデルは研究およびクリエイティブライティング目的を想定しています
- 拒否率の評価は英語プロンプトのみで実施しています。日本語プロンプトでの動作は異なる場合があります
- ベースモデル: NullpoLab/Agents-A1-4B-Heretic-ARA-Refusals0
- Heretic: p-e-w/heretic
Run NullpoLab/Agents-A1-4B-Heretic-ARA-Refusals0-GGUF with guIDE
Download guIDE — the AI-native code editor with local LLM inference and 69 built-in tools.
Source: Hugging Face · Compare models