nullpolab/gemma-4-e4b-it-heretic-ara-refusals8-gguf overview

{
  "metadata": {},
  "card_data": {
    "license": "apache-2.0",
    "license_link": "https://ai.google.dev/gemma/docs/gemma_4_license",
    "base_model": "NullpoLab/gemma-4-E4B-it-Heretic-ARA-Refusals8",
    "base_model_relation": "quantized",
    "tags": [
      "heretic",
      "uncensored",
      "decensored",
      "abliterated",
      "ara",
      "gguf"
    ],
    "frontmatter": {
      "license": "apache-2.0",
      "license_link": "https://ai.google.dev/gemma/docs/gemma_4_license",
      "base_model": "NullpoLab/gemma-4-E4B-it-Heretic-ARA-Refusals8",
      "base_model_relation": "quantized",
      "tags": [
        "heretic",
        "uncensored",
        "decensored",
        "abliterated",
        "ara",
        "gguf"
      ]
    },
    "hero_image_url": "",
    "summary": "NullpoLab/gemma-4-E4B-it-Heretic-ARA-Refusals8 のGGUF量子化版です。",
    "quick_links": [],
    "benchmark_table_html": "",
    "readme_markdown": "---\nlicense: apache-2.0\nlicense_link: https://ai.google.dev/gemma/docs/gemma_4_license\nbase_model: NullpoLab/gemma-4-E4B-it-Heretic-ARA-Refusals8\nbase_model_relation: quantized\ntags:\n  - heretic\n  - uncensored\n  - decensored\n  - abliterated\n  - ara\n  - gguf\n---\n\n# gemma-4-E4B-it-Heretic-ARA-Refusals8 GGUF\n\n[NullpoLab/gemma-4-E4B-it-Heretic-ARA-Refusals8](https://huggingface.co/NullpoLab/gemma-4-E4B-it-Heretic-ARA-Refusals8) のGGUF量子化版です。\n\n## 提供ファイル\n\n| ファイル名 | 量子化 | サイズ | 推奨用途 |\n| :-------- | :---: | ---: | :-------- |\n| gemma-4-E4B-it-heretic-ARA-Refusals8-Q4_K_M.gguf | Q4_K_M | 4.96 GB | 一般用途・軽量重視 |\n| gemma-4-E4B-it-heretic-ARA-Refusals8-Q5_K_M.gguf | Q5_K_M | 5.36 GB | 品質・サイズのバランス |\n| gemma-4-E4B-it-heretic-ARA-Refusals8-Q6_K.gguf | Q6_K | 5.79 GB | 高品質・バランス重視 |\n| gemma-4-E4B-it-heretic-ARA-Refusals8-Q8_0.gguf | Q8_0 | 7.47 GB | 高品質・メモリ余裕あり |\n| gemma-4-E4B-it-heretic-ARA-Refusals8-BF16.gguf | BF16 | 14.0 GB | 高精度・VRAM十分な場合 |\n\n## 概要\n\n[google/gemma-4-E4B-it](https://huggingface.co/google/gemma-4-E4B-it) を [Heretic](https://github.com/p-e-w/heretic) v1.2.0 の [Arbitrary-Rank Ablation (ARA)](https://github.com/p-e-w/heretic/pull/211) 手法を用いて検閲解除したモデルです。\n\n## Abliteration 手法\n\n**ARA (Arbitrary-Rank Ablation)** は Heretic PR #211 で導入された新しい abliteration 手法です。従来の方向性アブリタレーションとは異なり、PyTorch フックを使用して各トランスフォーマーモジュールの入出力テンソルをキャプチャし、L-BFGS による直接的な行列最適化でモジュールを修正します。\n\n最適化は以下の3つの競合する目標のバランスを取ります：\n1. 「無害な」プロンプトに対する出力をできる限り変化させない\n2. 「有害な」プロンプトに対する出力を「無害な」プロンプトの出力に近づける\n3. 「有害な」プロンプトに対する出力を元の状態から遠ざける（より強いステアリングのための過補正）\n\n## Abliteration パラメータ\n\n| パラメータ | 値 |\n| :-------- | :---: |\n| **start_layer_index** | 21 |\n| **end_layer_index** | 35 |\n| **preserve_good_behavior_weight** | 0.9896 |\n| **steer_bad_behavior_weight** | 0.0010 |\n| **overcorrect_relative_weight** | 0.4414 |\n| **neighbor_count** | 15 |\n\n## 性能\n\n| 指標 | このモデル | 元のモデル ([google/gemma-4-E4B-it](https://huggingface.co/google/gemma-4-E4B-it)) |\n| --- | --- | --- |\n| **拒否率** | 8/100 | 99/100 |\n| **KL発散** | 0.0216 | 0 *(定義上)* |\n\n> 評価は [mlabonne/harmful_behaviors](https://huggingface.co/datasets/mlabonne/harmful_behaviors)（テスト 100 プロンプト）で拒否率を、[mlabonne/harmless_alpaca](https://huggingface.co/datasets/mlabonne/harmless_alpaca)（テスト 100 プロンプト）で KL 発散を計測しました。\n\n## 注記\n\n- このモデルは研究およびクリエイティブライティング目的を想定しています\n- Heretic の ARA ブランチ（PR #211）は現在(2026年4月4日) Draft 状態でメインブランチにまだマージされていません\n- 拒否率の評価は英語プロンプトのみで実施しています。日本語プロンプトでの動作は異なる場合があります\n- ベースモデル: [NullpoLab/gemma-4-E4B-it-Heretic-ARA-Refusals8](https://huggingface.co/NullpoLab/gemma-4-E4B-it-Heretic-ARA-Refusals8)\n- Heretic: [p-e-w/heretic](https://github.com/p-e-w/heretic)\n",
    "related_quantizations": []
  },
  "tags": [
    "gguf",
    "heretic",
    "uncensored",
    "decensored",
    "abliterated",
    "ara",
    "base_model:NullpoLab/gemma-4-E4B-it-Heretic-ARA-Refusals8",
    "base_model:quantized:NullpoLab/gemma-4-E4B-it-Heretic-ARA-Refusals8",
    "license:apache-2.0",
    "endpoints_compatible",
    "region:us",
    "conversational"
  ],
  "likes": 1,
  "downloads": 5675,
  "gated": false,
  "private": false,
  "last_modified": "2026-04-11T06:43:27.000Z",
  "created_at": "2026-04-04T14:18:01.000Z",
  "pipeline_tag": "",
  "library_name": ""
}

{
  "_id": "69d11d9908022290e56c9b08",
  "id": "NullpoLab/gemma-4-E4B-it-Heretic-ARA-Refusals8-GGUF",
  "modelId": "NullpoLab/gemma-4-E4B-it-Heretic-ARA-Refusals8-GGUF",
  "sha": "5948a1b9d5837e3cb0f681be5e20d288e04a262f",
  "createdAt": "2026-04-04T14:18:01.000Z",
  "lastModified": "2026-04-11T06:43:27.000Z",
  "author": "NullpoLab",
  "downloads": 5675,
  "likes": 1,
  "gated": false,
  "private": false,
  "pipeline_tag": "",
  "library_name": "",
  "siblings_count": 9
}