dahara1/gemma-2-2b-jpn-it-gguf-japanese-imatrix overview

{
  "metadata": {},
  "card_data": {
    "license": "gemma",
    "language": [
      "ja"
    ],
    "base_model": [
      "google/gemma-2-2b-jpn-it"
    ],
    "tags": [
      "gemma2"
    ],
    "frontmatter": {
      "license": "gemma",
      "language": [
        "ja"
      ],
      "base_model": [
        "google/gemma-2-2b-jpn-it"
      ],
      "tags": [
        "gemma2"
      ]
    },
    "hero_image_url": "https://cdn-uploads.huggingface.co/production/uploads/630469550907b9a115c91e62/PHli0VVox8bt6ziQoP02B.png",
    "summary": "google/gemma-2-2b-jpn-itを日本語が多く含まれる重要度行列(iMatrix)を使って量子化したgguf版です。 日本語対応能力が多めに保持されている事を期待しています。 gemma-2-9b-itの4bit量子化版で比較したところ、perplexityスコアがわずかに改善する事がわかっています。 This is a quantized gguf version of google/gemma-2-2b-jpn-it using an importance matrix (iMatrix) that contains many Japanese words. I hope it retains more Japanese support. When compared with the 4-bit quantized version of gemma-2-9b-it, we found that the perplexity score improved slightly. # 使い方 How to Use. ggufフォーマットに対応したツールは様々なものがあるのでお好きなツールをお使いください。例えば、llama.cppでの使い方は以下です There are many tools that support the gguf format, so please use the one you like. For example, the usage for llama.cpp is as follows. Windows11のターミナル(CMD, Power shell)では日本語が化けてしまうのでブラウザを使ってください Please use a browser as Japanese characters will be garbled in the Windows 11 terminal (CMD, Power shell). 公式マニュアルに従ってllama.cppをビルドします Build llama.cpp according to the official manual ダウンロードしたモデルを指定して下記コマンドを実行します Execute command. `` llama.cpp\\build\\bin\\Release\\llama-server -m .\\gemma-2-9b-it-Q4_K_M-fp16.gguf `` ブラウザでhttp://127.0.0.1:8080を開きます Open http://127.0.0.1:8080 in your browser !image/png # どのモデルを使うべきですか？ Which model should I use? 人によって意見が異なりますが、目安としては以下です Opinions vary from person to person, but here are some guidelines:",
    "quick_links": [],
    "benchmark_table_html": "",
    "readme_markdown": "---\nlicense: gemma\nlanguage:\n- ja\nbase_model:\n- google/gemma-2-2b-jpn-it\ntags:\n- gemma2\n---\n\n# 本モデルについて About this model.\n\n[google/gemma-2-2b-jpn-it](https://huggingface.co/google/gemma-2-2b-jpn-it)を日本語が多く含まれる重要度行列(iMatrix)を使って量子化したgguf版です。  \n日本語対応能力が多めに保持されている事を期待しています。  \n[gemma-2-9b-itの4bit量子化版で比較](https://huggingface.co/dahara1/imatrix-jpn-test)したところ、perplexityスコアがわずかに改善する事がわかっています。\n\nThis is a quantized gguf version of [google/gemma-2-2b-jpn-it](https://huggingface.co/google/gemma-2-2b-jpn-it) using an importance matrix (iMatrix) that contains many Japanese words.  \nI hope it retains more Japanese support.  \nWhen [compared with the 4-bit quantized version of gemma-2-9b-it](https://huggingface.co/google/gemma-2-2b-jpn-it), we found that the perplexity score improved slightly.  \n\n# 使い方 How to Use. \n\nggufフォーマットに対応したツールは様々なものがあるのでお好きなツールをお使いください。例えば、[llama.cpp](https://github.com/ggerganov/llama.cpp)での使い方は以下です  \nThere are many tools that support the gguf format, so please use the one you like. For example, the usage for [llama.cpp](https://github.com/ggerganov/llama.cpp) is as follows.  \n\nWindows11のターミナル(CMD, Power shell)では日本語が化けてしまうのでブラウザを使ってください  \nPlease use a browser as Japanese characters will be garbled in the Windows 11 terminal (CMD, Power shell).  \n\n公式マニュアルに従ってllama.cppをビルドします  \nBuild llama.cpp according to the official manual  \n\nダウンロードしたモデルを指定して下記コマンドを実行します  \nExecute command.  \n```\nllama.cpp\\build\\bin\\Release\\llama-server -m .\\gemma-2-9b-it-Q4_K_M-fp16.gguf\n```\nブラウザでhttp://127.0.0.1:8080を開きます  \nOpen http://127.0.0.1:8080 in your browser  \n\n\n![image/png](https://cdn-uploads.huggingface.co/production/uploads/630469550907b9a115c91e62/PHli0VVox8bt6ziQoP02B.png)\n\n\n# どのモデルを使うべきですか？ Which model should I use?\n\n人によって意見が異なりますが、目安としては以下です  \n- できればQ4以上\n- メモリが許す限り大きいモデル(例えば、利用可能なメモリの７割程度)\n\nOpinions vary from person to person, but here are some guidelines:  \n- Preferably Q4 or higher\n- As large a model as memory allows (for example, about 70% of available memory)\n\n\n\n\n\n",
    "related_quantizations": []
  },
  "tags": [
    "gguf",
    "gemma2",
    "ja",
    "base_model:google/gemma-2-2b-jpn-it",
    "base_model:quantized:google/gemma-2-2b-jpn-it",
    "license:gemma",
    "endpoints_compatible",
    "region:us",
    "conversational"
  ],
  "likes": 1,
  "downloads": 470,
  "gated": false,
  "private": false,
  "last_modified": "2024-10-03T15:56:59.000Z",
  "created_at": "2024-10-03T14:27:12.000Z",
  "pipeline_tag": "",
  "library_name": ""
}

{
  "_id": "66fea9c05a359c1af1db4ef8",
  "id": "dahara1/gemma-2-2b-jpn-it-gguf-japanese-imatrix",
  "modelId": "dahara1/gemma-2-2b-jpn-it-gguf-japanese-imatrix",
  "sha": "f2a964a09385fbe6b05573bcdcf5159f03bdbd44",
  "createdAt": "2024-10-03T14:27:12.000Z",
  "lastModified": "2024-10-03T15:56:59.000Z",
  "author": "dahara1",
  "downloads": 470,
  "likes": 1,
  "gated": false,
  "private": false,
  "pipeline_tag": "",
  "library_name": "",
  "siblings_count": 24
}