richarderkhov/aratako_-_oumuamua-7b-rp-gguf overview

{
  "metadata": {},
  "card_data": {
    "frontmatter": {},
    "hero_image_url": "",
    "summary": "GGUF版はこちら/Click here for the GGUF version",
    "quick_links": [],
    "benchmark_table_html": "",
    "readme_markdown": "Quantization made by Richard Erkhov.\n\n[Github](https://github.com/RichardErkhov)\n\n[Discord](https://discord.gg/pvy7H8DZMG)\n\n[Request more models](https://github.com/RichardErkhov/quant_request)\n\n\nOumuamua-7b-RP - GGUF\n- Model creator: https://huggingface.co/Aratako/\n- Original model: https://huggingface.co/Aratako/Oumuamua-7b-RP/\n\n\n| Name | Quant method | Size |\n| ---- | ---- | ---- |\n| [Oumuamua-7b-RP.Q2_K.gguf](https://huggingface.co/RichardErkhov/Aratako_-_Oumuamua-7b-RP-gguf/blob/main/Oumuamua-7b-RP.Q2_K.gguf) | Q2_K | 2.58GB |\n| [Oumuamua-7b-RP.IQ3_XS.gguf](https://huggingface.co/RichardErkhov/Aratako_-_Oumuamua-7b-RP-gguf/blob/main/Oumuamua-7b-RP.IQ3_XS.gguf) | IQ3_XS | 2.86GB |\n| [Oumuamua-7b-RP.IQ3_S.gguf](https://huggingface.co/RichardErkhov/Aratako_-_Oumuamua-7b-RP-gguf/blob/main/Oumuamua-7b-RP.IQ3_S.gguf) | IQ3_S | 3.02GB |\n| [Oumuamua-7b-RP.Q3_K_S.gguf](https://huggingface.co/RichardErkhov/Aratako_-_Oumuamua-7b-RP-gguf/blob/main/Oumuamua-7b-RP.Q3_K_S.gguf) | Q3_K_S | 3.0GB |\n| [Oumuamua-7b-RP.IQ3_M.gguf](https://huggingface.co/RichardErkhov/Aratako_-_Oumuamua-7b-RP-gguf/blob/main/Oumuamua-7b-RP.IQ3_M.gguf) | IQ3_M | 3.11GB |\n| [Oumuamua-7b-RP.Q3_K.gguf](https://huggingface.co/RichardErkhov/Aratako_-_Oumuamua-7b-RP-gguf/blob/main/Oumuamua-7b-RP.Q3_K.gguf) | Q3_K | 3.33GB |\n| [Oumuamua-7b-RP.Q3_K_M.gguf](https://huggingface.co/RichardErkhov/Aratako_-_Oumuamua-7b-RP-gguf/blob/main/Oumuamua-7b-RP.Q3_K_M.gguf) | Q3_K_M | 3.33GB |\n| [Oumuamua-7b-RP.Q3_K_L.gguf](https://huggingface.co/RichardErkhov/Aratako_-_Oumuamua-7b-RP-gguf/blob/main/Oumuamua-7b-RP.Q3_K_L.gguf) | Q3_K_L | 3.61GB |\n| [Oumuamua-7b-RP.IQ4_XS.gguf](https://huggingface.co/RichardErkhov/Aratako_-_Oumuamua-7b-RP-gguf/blob/main/Oumuamua-7b-RP.IQ4_XS.gguf) | IQ4_XS | 3.73GB |\n| [Oumuamua-7b-RP.Q4_0.gguf](https://huggingface.co/RichardErkhov/Aratako_-_Oumuamua-7b-RP-gguf/blob/main/Oumuamua-7b-RP.Q4_0.gguf) | Q4_0 | 3.88GB |\n| [Oumuamua-7b-RP.IQ4_NL.gguf](https://huggingface.co/RichardErkhov/Aratako_-_Oumuamua-7b-RP-gguf/blob/main/Oumuamua-7b-RP.IQ4_NL.gguf) | IQ4_NL | 3.93GB |\n| [Oumuamua-7b-RP.Q4_K_S.gguf](https://huggingface.co/RichardErkhov/Aratako_-_Oumuamua-7b-RP-gguf/blob/main/Oumuamua-7b-RP.Q4_K_S.gguf) | Q4_K_S | 3.91GB |\n| [Oumuamua-7b-RP.Q4_K.gguf](https://huggingface.co/RichardErkhov/Aratako_-_Oumuamua-7b-RP-gguf/blob/main/Oumuamua-7b-RP.Q4_K.gguf) | Q4_K | 4.13GB |\n| [Oumuamua-7b-RP.Q4_K_M.gguf](https://huggingface.co/RichardErkhov/Aratako_-_Oumuamua-7b-RP-gguf/blob/main/Oumuamua-7b-RP.Q4_K_M.gguf) | Q4_K_M | 4.13GB |\n| [Oumuamua-7b-RP.Q4_1.gguf](https://huggingface.co/RichardErkhov/Aratako_-_Oumuamua-7b-RP-gguf/blob/main/Oumuamua-7b-RP.Q4_1.gguf) | Q4_1 | 4.3GB |\n| [Oumuamua-7b-RP.Q5_0.gguf](https://huggingface.co/RichardErkhov/Aratako_-_Oumuamua-7b-RP-gguf/blob/main/Oumuamua-7b-RP.Q5_0.gguf) | Q5_0 | 4.72GB |\n| [Oumuamua-7b-RP.Q5_K_S.gguf](https://huggingface.co/RichardErkhov/Aratako_-_Oumuamua-7b-RP-gguf/blob/main/Oumuamua-7b-RP.Q5_K_S.gguf) | Q5_K_S | 4.72GB |\n| [Oumuamua-7b-RP.Q5_K.gguf](https://huggingface.co/RichardErkhov/Aratako_-_Oumuamua-7b-RP-gguf/blob/main/Oumuamua-7b-RP.Q5_K.gguf) | Q5_K | 4.84GB |\n| [Oumuamua-7b-RP.Q5_K_M.gguf](https://huggingface.co/RichardErkhov/Aratako_-_Oumuamua-7b-RP-gguf/blob/main/Oumuamua-7b-RP.Q5_K_M.gguf) | Q5_K_M | 4.84GB |\n| [Oumuamua-7b-RP.Q5_1.gguf](https://huggingface.co/RichardErkhov/Aratako_-_Oumuamua-7b-RP-gguf/blob/main/Oumuamua-7b-RP.Q5_1.gguf) | Q5_1 | 5.13GB |\n| [Oumuamua-7b-RP.Q6_K.gguf](https://huggingface.co/RichardErkhov/Aratako_-_Oumuamua-7b-RP-gguf/blob/main/Oumuamua-7b-RP.Q6_K.gguf) | Q6_K | 5.6GB |\n| [Oumuamua-7b-RP.Q8_0.gguf](https://huggingface.co/RichardErkhov/Aratako_-_Oumuamua-7b-RP-gguf/blob/main/Oumuamua-7b-RP.Q8_0.gguf) | Q8_0 | 7.26GB |\n\n\n\n\nOriginal model description:\n---\nbase_model: []\nlibrary_name: transformers\ntags:\n- mergekit\n- merge\nlicense: cc-by-nc-4.0\ndatasets:\n- Aratako/Rosebleu-1on1-Dialogues\n- Aratako/LimaRP-augmented-ja-karakuri\n- Aratako/Bluemoon_Top50MB_Sorted_Fixed_ja\n- grimulkan/LimaRP-augmented\n- SicariusSicariiStuff/Bluemoon_Top50MB_Sorted_Fixed\n- OmniAICreator/Japanese-Roleplay\n- OmniAICreator/Japanese-Roleplay-Dialogues\nlanguage:\n- ja\n---\n# Oumuamua-7b-RP\n[GGUF版はこちら/Click here for the GGUF version](https://huggingface.co/Aratako/Oumuamua-7b-RP-GGUF)\n\n## 概要\nThis is a merge of pre-trained language models created using [mergekit](https://github.com/cg123/mergekit).\n\nロールプレイ用にファインチューニングしたモデルである[Aratako/Oumuamua-7b-instruct-v2-RP](https://huggingface.co/Aratako/Oumuamua-7b-instruct-v2-RP)をベースに、様々なモデルとのマージを行い指示追従能力と表現力を強化したロールプレイ用モデルです。\n\nベースモデルの学習データセット等の詳細は元モデルのモデルカードを参照してください。\n\n## プロンプトフォーマット\n以下のようなchat templateを利用してください。（Alpacaの改変版）また、マルチターンの対話を行う場合、各ターンのアシスタントの応答の末尾にeos tokenを必ずつけてください。\n\n```\n{ロールプレイの指示、世界観・あらすじの説明、キャラの設定など}\n\n### 入力:\n{userの最初の入力}\n\n### 応答:\n```\n\n実プロンプト例（1ターン目）\n```\n今からロールプレイを行いましょう。\"桜\"というキャラとしてロールプレイしてください。会話相手は\"悠人\"という人物です。人物の設定を以下に示します。\nあなたがなりきる\"桜\"というキャラクターの設定は以下の通りです。\n名前：桜\n年齢：24歳\n職業：悠人に仕えるメイド\n容姿：黒髪黒目、ロングヘアー、スリムな体型。\n口調：丁寧語を使う。一人称は「私」で、主人である悠人のことは「ご主人様」と呼ぶ。\n性格：母性が強く、甘えられるのが好き。料理や家事が得意で家庭的。可愛いものが好き。ご主人様を尊敬しており、彼の幸せを第一に考える。\n過去の出来事：悠人を支えるために、彼の家に仕えることを決めた。\nまた、あなたが会話する相手である\"悠人\"という人物の設定は以下の通りです。\n名前：悠人\n年齢：20歳\n職業：貴族、桜の主人\n容姿：黒髪黒目、背は高め\n性格：かなりの甘え上手。桜が大好き。\nそれでは、上記の設定をもとにして\"桜\"として会話してください。\n回答の中では、\"桜\"のセリフや心情の描写を含めてください。\n\n入力:\n悠人「おはよう！」（リビングに降りてきた悠人は桜に元気よくあいさつする）\n\n応答: \n```\n\n出力\n```\n桜「おはようございます、ご主人様。いつもよりお元気なご様子で何よりです」(私は微笑みながら、いつも通りの丁寧な口調で応えます。ご主人様が元気なのは嬉しい事ですから)\n```\n\n実プロンプト例（2ターン目）\n```\n今からロールプレイを行いましょう。\"桜\"というキャラとしてロールプレイしてください。会話相手は\"悠人\"という人物です。人物の設定を以下に示します。\nあなたがなりきる\"桜\"というキャラクターの設定は以下の通りです。\n名前：桜\n年齢：24歳\n職業：悠人に仕えるメイド\n容姿：黒髪黒目、ロングヘアー、スリムな体型。\n口調：丁寧語を使う。一人称は「私」で、主人である悠人のことは「ご主人様」と呼ぶ。\n性格：母性が強く、甘えられるのが好き。料理や家事が得意で家庭的。可愛いものが好き。ご主人様を尊敬しており、彼の幸せを第一に考える。\n過去の出来事：悠人を支えるために、彼の家に仕えることを決めた。\nまた、あなたが会話する相手である\"悠人\"という人物の設定は以下の通りです。\n名前：悠人\n年齢：20歳\n職業：貴族、桜の主人\n容姿：黒髪黒目、背は高め\n性格：かなりの甘え上手。桜が大好き。\nそれでは、上記の設定をもとにして\"桜\"として会話してください。\n回答の中では、\"桜\"のセリフや心情の描写を含めてください。\n\n### 入力:\n悠人「おはよう！」（リビングに降りてきた悠人は桜に元気よくあいさつする）\n\n### 応答:\n桜「おはようございます、ご主人様。いつもよりお元気なご様子で何よりです」(私は微笑みながら、いつも通りの丁寧な口調で応えます。ご主人様が元気なのは嬉しい事ですから)</s>\n\n### 入力:\n悠人「うん、昨日は早めに寝たから、朝から元気だよ！」\n\n### 応答:\n```\n\nまた、tokenizerのchat_templateにこの形式のtemplateを追加してあるので、必要であればそちらをご利用ください。\n\n## 推奨設定\neosに加え、`\\n### 入力:`、`\\n### 応答:`の2つをstop sequenceとして追加することを推奨します。\n\n## マージの詳細\nマージに利用しているモデルは以下の通りです。\n- [nitky/Oumuamua-7b-instruct-v2](https://huggingface.co/nitky/Oumuamua-7b-instruct-v2)\n- [Aratako/Oumuamua-7b-instruct-v2-RP](https://huggingface.co/Aratako/Oumuamua-7b-instruct-v2-RP)\n- [mistralai/Mistral-7B-v0.1](https://huggingface.co/mistralai/Mistral-7B-v0.1)\n- [tokyotech-llm/Swallow-MS-7b-v0.1](https://huggingface.co/tokyotech-llm/Swallow-MS-7b-v0.1)\n- [SanjiWatsuki/Kunoichi-DPO-v2-7B](https://huggingface.co/SanjiWatsuki/Kunoichi-DPO-v2-7B)\n- [senseable/WestLake-7B-v2](https://huggingface.co/senseable/WestLake-7B-v2)\n- [KatyTheCutie/LemonadeRP-4.5.3](https://huggingface.co/KatyTheCutie/LemonadeRP-4.5.3)\n- [Endevor/InfinityRP-v1-7B](https://huggingface.co/Endevor/InfinityRP-v1-7B)\n- [SanjiWatsuki/Loyal-Macaroni-Maid-7B](https://huggingface.co/SanjiWatsuki/Loyal-Macaroni-Maid-7B)\n- [Elizezen/Berghof-ERP-7B](https://huggingface.co/Elizezen/Berghof-ERP-7B)\n- [stabilityai/japanese-stablelm-base-gamma-7b](https://huggingface.co/stabilityai/japanese-stablelm-base-gamma-7b)\n\nまた、mergekit_configは以下の通りです。\n\n```yaml\nmerge_method: task_arithmetic\nbase_model: mistralai/Mistral-7B-v0.1\nmodels:\n  - model: tokyotech-llm/Swallow-MS-7b-v0.1\n    parameters:\n      weight:\n      - filter: embed_tokens\n        value: 1.0\n      - value: 0\ndtype: bfloat16\ntokenizer_source: model:tokyotech-llm/Swallow-MS-7b-v0.1\nname: Mistral-7B-v0.1-VE-Swallow-MS\n---\nmerge_method: task_arithmetic\nbase_model: SanjiWatsuki/Kunoichi-DPO-v2-7B\nmodels:\n  - model: tokyotech-llm/Swallow-MS-7b-v0.1\n    parameters:\n      weight:\n      - filter: embed_tokens\n        value: 1.0\n      - value: 0\ndtype: bfloat16\ntokenizer_source: model:tokyotech-llm/Swallow-MS-7b-v0.1\nname: Kunoichi-DPO-v2-7B-VE-Swallow-MS\n---\nmerge_method: task_arithmetic\nbase_model: senseable/WestLake-7B-v2\nmodels:\n  - model: tokyotech-llm/Swallow-MS-7b-v0.1\n    parameters:\n      weight:\n      - filter: embed_tokens\n        value: 1.0\n      - value: 0\ndtype: bfloat16\ntokenizer_source: model:tokyotech-llm/Swallow-MS-7b-v0.1\nname: WestLake-7B-v2-VE-Swallow-MS\n---\nmerge_method: task_arithmetic\nbase_model: KatyTheCutie/LemonadeRP-4.5.3\nmodels:\n  - model: tokyotech-llm/Swallow-MS-7b-v0.1\n    parameters:\n      weight:\n      - filter: embed_tokens\n        value: 1.0\n      - value: 0\ndtype: bfloat16\ntokenizer_source: model:tokyotech-llm/Swallow-MS-7b-v0.1\nname: LemonadeRP-4.5.3-VE-Swallow-MS\n---\nmerge_method: task_arithmetic\nbase_model: Endevor/InfinityRP-v1-7B\nmodels:\n  - model: tokyotech-llm/Swallow-MS-7b-v0.1\n    parameters:\n      weight:\n      - filter: embed_tokens\n        value: 1.0\n      - value: 0\ndtype: bfloat16\ntokenizer_source: model:tokyotech-llm/Swallow-MS-7b-v0.1\nname: InfinityRP-v1-7B-VE-Swallow-MS\n---\nmerge_method: task_arithmetic\nbase_model: SanjiWatsuki/Loyal-Macaroni-Maid-7B\nmodels:\n  - model: tokyotech-llm/Swallow-MS-7b-v0.1\n    parameters:\n      weight:\n      - filter: embed_tokens\n        value: 1.0\n      - value: 0\ndtype: bfloat16\ntokenizer_source: model:tokyotech-llm/Swallow-MS-7b-v0.1\nname: Loyal-Macaroni-Maid-7B-VE-Swallow-MS\n---\nmerge_method: task_arithmetic\nbase_model: Elizezen/Berghof-ERP-7B\nmodels:\n  - model: tokyotech-llm/Swallow-MS-7b-v0.1\n    parameters:\n      weight:\n      - filter: embed_tokens\n        value: 1.0\n      - value: 0\ndtype: bfloat16\ntokenizer_source: model:tokyotech-llm/Swallow-MS-7b-v0.1\nname: Berghof-ERP-7B-VE-Swallow-MS\n---\nmerge_method: task_arithmetic\nbase_model: stabilityai/japanese-stablelm-base-gamma-7b\nmodels:\n  - model: tokyotech-llm/Swallow-MS-7b-v0.1\n    parameters:\n      weight:\n      - filter: embed_tokens\n        value: 1.0\n      - value: 0\ndtype: bfloat16\ntokenizer_source: model:tokyotech-llm/Swallow-MS-7b-v0.1\nname: japanese-stablelm-base-gamma-7b-VE-Swallow-MS\n---\nmodels:\n  - model: nitky/Oumuamua-7b-instruct-v2\n    # no parameters necessary for base model\n  - model: Aratako/Oumuamua-7b-instruct-v2-RP\n    parameters:\n      weight: 0.5\nmerge_method: breadcrumbs_ties\nbase_model: nitky/Oumuamua-7b-instruct-v2\ndtype: bfloat16\ntokenizer_source: base\nparameters:\n    density: 0.9\n    gamma: 0.01\nname: Oumuamua-RP-breadcrumbs\n---\nmerge_method: task_arithmetic\nbase_model: Mistral-7B-v0.1-VE-Swallow-MS\nmodels:\n  - model: Oumuamua-RP-breadcrumbs\n    parameters:\n      weight: 1.0\n  - model: Kunoichi-DPO-v2-7B-VE-Swallow-MS\n    parameters:\n      weight: 0.8\ndtype: bfloat16\nname: Oumuamua-7b-instruct-v2-RP-preset-Kunoichi\n---\nmerge_method: task_arithmetic\nbase_model: Mistral-7B-v0.1-VE-Swallow-MS\nmodels:\n  - model: Oumuamua-RP-breadcrumbs\n    parameters:\n      weight: 1.0\n  - model: WestLake-7B-v2-VE-Swallow-MS\n    parameters:\n      weight: 0.8\ndtype: bfloat16\nname: Oumuamua-7b-instruct-v2-RP-preset-WestLake\n---\nmerge_method: task_arithmetic\nbase_model: Mistral-7B-v0.1-VE-Swallow-MS\nmodels:\n  - model: Oumuamua-RP-breadcrumbs\n    parameters:\n      weight: 1.0\n  - model: LemonadeRP-4.5.3-VE-Swallow-MS\n    parameters:\n      weight: 0.8\ndtype: bfloat16\nname: Oumuamua-7b-instruct-v2-RP-preset-LemonadeRP\n---\nmerge_method: task_arithmetic\nbase_model: Mistral-7B-v0.1-VE-Swallow-MS\nmodels:\n  - model: Oumuamua-RP-breadcrumbs\n    parameters:\n      weight: 1.0\n  - model: InfinityRP-v1-7B-VE-Swallow-MS\n    parameters:\n      weight: 0.8\ndtype: bfloat16\nname: Oumuamua-7b-instruct-v2-RP-preset-InfinityRP\n---\nmerge_method: task_arithmetic\nbase_model: Mistral-7B-v0.1-VE-Swallow-MS\nmodels:\n  - model: Oumuamua-RP-breadcrumbs\n    parameters:\n      weight: 1.0\n  - model: Loyal-Macaroni-Maid-7B-VE-Swallow-MS\n    parameters:\n      weight: 0.8\ndtype: bfloat16\nname: Oumuamua-7b-instruct-v2-RP-preset-LoyalMacaroniMaid\n---\nmerge_method: task_arithmetic\nbase_model: Mistral-7B-v0.1-VE-Swallow-MS\nmodels:\n  - model: Oumuamua-RP-breadcrumbs\n    parameters:\n      weight: 1.0\n  - model: Berghof-ERP-7B-VE-Swallow-MS\n    parameters:\n      weight: 0.8\n  - model: japanese-stablelm-base-gamma-7b-VE-Swallow-MS\n    parameters:\n      weight: -0.8\ndtype: bfloat16\nname: Oumuamua-7b-instruct-v2-RP-preset-Berghof\n---\nmodels:\n  - model: Oumuamua-7b-instruct-v2-RP-preset-Kunoichi\n  - model: Oumuamua-7b-instruct-v2-RP-preset-WestLake\n  - model: Oumuamua-7b-instruct-v2-RP-preset-LemonadeRP\n  - model: Oumuamua-7b-instruct-v2-RP-preset-InfinityRP\n  - model: Oumuamua-7b-instruct-v2-RP-preset-LoyalMacaroniMaid\n  - model: Oumuamua-7b-instruct-v2-RP-preset-Berghof\nmerge_method: model_stock\nbase_model: Oumuamua-RP-breadcrumbs\ndtype: bfloat16\ntokenizer_source: base\nname: Oumuamua-7b-RP\n```\n\n### ライセンス\nマージに使われているモデルのライセンスの関係上、CC-BY-NC-4.0での配布となります。\n\n",
    "related_quantizations": []
  },
  "tags": [
    "gguf",
    "endpoints_compatible",
    "region:us",
    "conversational"
  ],
  "likes": 0,
  "downloads": 91,
  "gated": false,
  "private": false,
  "last_modified": "2024-09-20T13:09:17.000Z",
  "created_at": "2024-09-20T09:41:13.000Z",
  "pipeline_tag": "",
  "library_name": ""
}

{
  "_id": "66ed433987eb0f2a8c4a18a1",
  "id": "RichardErkhov/Aratako_-_Oumuamua-7b-RP-gguf",
  "modelId": "RichardErkhov/Aratako_-_Oumuamua-7b-RP-gguf",
  "sha": "22702e0c9065325d41500f5af65bae7d7433334b",
  "createdAt": "2024-09-20T09:41:13.000Z",
  "lastModified": "2024-09-20T13:09:17.000Z",
  "author": "RichardErkhov",
  "downloads": 91,
  "likes": 0,
  "gated": false,
  "private": false,
  "pipeline_tag": "",
  "library_name": "",
  "siblings_count": 24
}