richarderkhov/ilyagusev_-_saiga_llama3_8b-gguf overview

{
  "metadata": {},
  "card_data": {
    "frontmatter": {},
    "hero_image_url": "",
    "summary": "Based on Llama-3 8B Instruct. Llama.cpp version: link **ОСТОРОЖНО! WARNING! LET OP!** I've changed the prompt format from ChatML to **the original Llama-3 format in v4**. Don't forget to switch formats! **v4**: LLama-3 prompt format: `` system Ты — Сайга, русскоязычный автоматический ассистент. Ты разговариваешь с людьми и помогаешь им.user Как дела?assistant Отлично, а у тебя?user Шикарно. Как пройти в библиотеку?assistant ` **v2, v3**: ChatML prompt format: ` system Ты — Сайга, русскоязычный автоматический ассистент. Ты разговариваешь с людьми и помогаешь им. user Как дела? assistant Отлично, а у тебя? user Шикарно. Как пройти в библиотеку? assistant ` Examples: ` User: Почему трава зеленая? Saiga: Зеленый цвет травы обусловлен наличием хлорофилла, пигмента, который поглощает свет и передает энергию для фотосинтеза. Хлорофилл содержится в клетках листьев растений и играет ключевую роль в процессе фотосинтеза, когда растения используют солнечный свет для превращения воды и углекислого газа в органические вещества, такие как глюкоза и олигоэфиры. Хлорофилл состоит из двух основных форм: хлорофилла а и хлорофилла б. Хлорофилл а поглощает свет с длиной волны около 430 нанометров (нм), что соответствует синему или голубому свету, а хлорофилл б поглощает свет с длиной волны около 660 нм, что соответствует красному свету. Когда свет поглощается хлорофиллом, он передается в молекулы воды и углекислого газа, которые используются для фотосинтеза. Таким образом, хлорофилл является основным компонентом, ответственным за зеленый цвет листьев растений, так как он поглощает свет и передает его энергию для фотосинтеза. ` ` User: Сочини длинный рассказ, обязательно упоминая следующие объекты. Дано: Таня, мяч Saiga: Однажды в солнечную погоду на поле для игры в футбол приехала группа друзей, чтобы провести время вместе. В числе их был и Таня, которая была страстной футбольной фанаткой и всегда радовал своих друзей своим энтузиазмом и умением забивать мячи. В этот день, как обычно, друзья решили провести соревнование между собой, чтобы определить кто из них является лучшим футболистом. Таня была очень уверена в своих силах и готовилась к этому матчу с особой серьёзностью. Когда все друзья собрались на поле, они увидели, что перед ними стоял огромный мяч, который должен был стать предметом состязания. Мяч был огромным и тяжелым, и его размеры были необычайно большими по сравнению с обычными мячами, которые используются в футболе. Таня была первая, кто решил начать игру. Она подошла к мячу и начала его удерживать, стараясь выдержать его вес и силу. Но мяч оказался настолько тяжелым, что Таня не смогла удержать его и он упал на землю. Друзья посмеялись над ее неудачей, но Таня не отчаивалась и продолжила пытаться удержать мяч. Она стала использовать все свои силы и умения, чтобы выдержать его вес и силу. Наконец, после долгих усилий, она смогла удержать мяч и начала его бросать в сторону. Мяч летел высоко вверх, и друзья смотрели, как он пролетает над полем. Но мяч неожиданно повернул и стал лететь обратно к Тане. Она успела поймать его и продолжила играть, используя все свои навыки и умения. `` v4: v3: v2: # Evaluation * Dataset: https://github.com/IlyaGusev/rulm/blob/master/self_instruct/data/tasks.jsonl * Framework: https://github.com/tatsu-lab/alpaca_eval * Evaluator: alpaca_eval_cot_gpt4_turbo_fn | model | length_controlled_winrate |  win_rate | standard_error  | avg_length | |-----|-----|-----|-----|-----| |chatgpt_4_turbo | 76.04 | 90.00 |1.46 | 1270 | |chatgpt_3_5_turbo | 50.00 | 50.00 | 0.00  | 536 | |saiga_llama3_8b, v4  | 43.64  | 65.90 | 2.31 | 1200 | |saiga_llama3_8b, v3  | 36.97  | 61.08 | 2.38 | 1162 | |saiga_llama3_8b, v2  | 33.07  | 48.19 | 2.45 | 1166 | |saiga_mistral_7b  | 23.38  | 35.99 | 2.34 | 949  |",
    "quick_links": [],
    "benchmark_table_html": "",
    "readme_markdown": "Quantization made by Richard Erkhov.\n\n[Github](https://github.com/RichardErkhov)\n\n[Discord](https://discord.gg/pvy7H8DZMG)\n\n[Request more models](https://github.com/RichardErkhov/quant_request)\n\n\nsaiga_llama3_8b - GGUF\n- Model creator: https://huggingface.co/IlyaGusev/\n- Original model: https://huggingface.co/IlyaGusev/saiga_llama3_8b/\n\n\n| Name | Quant method | Size |\n| ---- | ---- | ---- |\n| [saiga_llama3_8b.Q2_K.gguf](https://huggingface.co/RichardErkhov/IlyaGusev_-_saiga_llama3_8b-gguf/blob/main/saiga_llama3_8b.Q2_K.gguf) | Q2_K | 2.96GB |\n| [saiga_llama3_8b.IQ3_XS.gguf](https://huggingface.co/RichardErkhov/IlyaGusev_-_saiga_llama3_8b-gguf/blob/main/saiga_llama3_8b.IQ3_XS.gguf) | IQ3_XS | 3.28GB |\n| [saiga_llama3_8b.IQ3_S.gguf](https://huggingface.co/RichardErkhov/IlyaGusev_-_saiga_llama3_8b-gguf/blob/main/saiga_llama3_8b.IQ3_S.gguf) | IQ3_S | 3.43GB |\n| [saiga_llama3_8b.Q3_K_S.gguf](https://huggingface.co/RichardErkhov/IlyaGusev_-_saiga_llama3_8b-gguf/blob/main/saiga_llama3_8b.Q3_K_S.gguf) | Q3_K_S | 3.41GB |\n| [saiga_llama3_8b.IQ3_M.gguf](https://huggingface.co/RichardErkhov/IlyaGusev_-_saiga_llama3_8b-gguf/blob/main/saiga_llama3_8b.IQ3_M.gguf) | IQ3_M | 3.52GB |\n| [saiga_llama3_8b.Q3_K.gguf](https://huggingface.co/RichardErkhov/IlyaGusev_-_saiga_llama3_8b-gguf/blob/main/saiga_llama3_8b.Q3_K.gguf) | Q3_K | 3.74GB |\n| [saiga_llama3_8b.Q3_K_M.gguf](https://huggingface.co/RichardErkhov/IlyaGusev_-_saiga_llama3_8b-gguf/blob/main/saiga_llama3_8b.Q3_K_M.gguf) | Q3_K_M | 3.74GB |\n| [saiga_llama3_8b.Q3_K_L.gguf](https://huggingface.co/RichardErkhov/IlyaGusev_-_saiga_llama3_8b-gguf/blob/main/saiga_llama3_8b.Q3_K_L.gguf) | Q3_K_L | 4.03GB |\n| [saiga_llama3_8b.IQ4_XS.gguf](https://huggingface.co/RichardErkhov/IlyaGusev_-_saiga_llama3_8b-gguf/blob/main/saiga_llama3_8b.IQ4_XS.gguf) | IQ4_XS | 4.18GB |\n| [saiga_llama3_8b.Q4_0.gguf](https://huggingface.co/RichardErkhov/IlyaGusev_-_saiga_llama3_8b-gguf/blob/main/saiga_llama3_8b.Q4_0.gguf) | Q4_0 | 4.34GB |\n| [saiga_llama3_8b.IQ4_NL.gguf](https://huggingface.co/RichardErkhov/IlyaGusev_-_saiga_llama3_8b-gguf/blob/main/saiga_llama3_8b.IQ4_NL.gguf) | IQ4_NL | 4.38GB |\n| [saiga_llama3_8b.Q4_K_S.gguf](https://huggingface.co/RichardErkhov/IlyaGusev_-_saiga_llama3_8b-gguf/blob/main/saiga_llama3_8b.Q4_K_S.gguf) | Q4_K_S | 4.37GB |\n| [saiga_llama3_8b.Q4_K.gguf](https://huggingface.co/RichardErkhov/IlyaGusev_-_saiga_llama3_8b-gguf/blob/main/saiga_llama3_8b.Q4_K.gguf) | Q4_K | 4.58GB |\n| [saiga_llama3_8b.Q4_K_M.gguf](https://huggingface.co/RichardErkhov/IlyaGusev_-_saiga_llama3_8b-gguf/blob/main/saiga_llama3_8b.Q4_K_M.gguf) | Q4_K_M | 4.58GB |\n| [saiga_llama3_8b.Q4_1.gguf](https://huggingface.co/RichardErkhov/IlyaGusev_-_saiga_llama3_8b-gguf/blob/main/saiga_llama3_8b.Q4_1.gguf) | Q4_1 | 4.78GB |\n| [saiga_llama3_8b.Q5_0.gguf](https://huggingface.co/RichardErkhov/IlyaGusev_-_saiga_llama3_8b-gguf/blob/main/saiga_llama3_8b.Q5_0.gguf) | Q5_0 | 5.21GB |\n| [saiga_llama3_8b.Q5_K_S.gguf](https://huggingface.co/RichardErkhov/IlyaGusev_-_saiga_llama3_8b-gguf/blob/main/saiga_llama3_8b.Q5_K_S.gguf) | Q5_K_S | 5.21GB |\n| [saiga_llama3_8b.Q5_K.gguf](https://huggingface.co/RichardErkhov/IlyaGusev_-_saiga_llama3_8b-gguf/blob/main/saiga_llama3_8b.Q5_K.gguf) | Q5_K | 5.34GB |\n| [saiga_llama3_8b.Q5_K_M.gguf](https://huggingface.co/RichardErkhov/IlyaGusev_-_saiga_llama3_8b-gguf/blob/main/saiga_llama3_8b.Q5_K_M.gguf) | Q5_K_M | 5.34GB |\n| [saiga_llama3_8b.Q5_1.gguf](https://huggingface.co/RichardErkhov/IlyaGusev_-_saiga_llama3_8b-gguf/blob/main/saiga_llama3_8b.Q5_1.gguf) | Q5_1 | 5.65GB |\n| [saiga_llama3_8b.Q6_K.gguf](https://huggingface.co/RichardErkhov/IlyaGusev_-_saiga_llama3_8b-gguf/blob/main/saiga_llama3_8b.Q6_K.gguf) | Q6_K | 6.14GB |\n\n\n\n\nOriginal model description:\n---\nlanguage:\n- ru\ndatasets:\n- IlyaGusev/saiga_scored\nlicense: other\nlicense_name: llama3\nlicense_link: https://llama.meta.com/llama3/license/\n---\n\n\n# Saiga/Llama3 8B, Russian Llama-3-based chatbot\n\nBased on [Llama-3 8B Instruct](https://huggingface.co/meta-llama/Meta-Llama-3-8B-Instruct).\n\nLlama.cpp version: [link](https://huggingface.co/IlyaGusev/saiga_llama3_8b_gguf)\n\n**ОСТОРОЖНО! WARNING! LET OP!**\n\nI've changed the prompt format from ChatML to **the original Llama-3 format in v4**. Don't forget to switch formats!\n\n**v4**: LLama-3 prompt format:\n```\n<|begin_of_text|><|start_header_id|>system<|end_header_id|>\n\nТы — Сайга, русскоязычный автоматический ассистент. Ты разговариваешь с людьми и помогаешь им.<|eot_id|><|start_header_id|>user<|end_header_id|>\n\nКак дела?<|eot_id|><|start_header_id|>assistant<|end_header_id|>\n\nОтлично, а у тебя?<|eot_id|><|start_header_id|>user<|end_header_id|>\n\nШикарно. Как пройти в библиотеку?<|eot_id|><|start_header_id|>assistant<|end_header_id|>\n\n```\n\n\n**v2, v3**: ChatML prompt format:\n```\n<|im_start|>system\nТы — Сайга, русскоязычный автоматический ассистент. Ты разговариваешь с людьми и помогаешь им.<|im_end|>\n<|im_start|>user\nКак дела?<|im_end|>\n<|im_start|>assistant\nОтлично, а у тебя?<|im_end|>\n<|im_start|>user\nШикарно. Как пройти в библиотеку?<|im_end|>\n<|im_start|>assistant\n```\n\nExamples:\n```\nUser: Почему трава зеленая? \nSaiga: Зеленый цвет травы обусловлен наличием хлорофилла, пигмента, который поглощает свет и передает энергию для фотосинтеза. Хлорофилл содержится в клетках листьев растений и играет ключевую роль в процессе фотосинтеза, когда растения используют солнечный свет для превращения воды и углекислого газа в органические вещества, такие как глюкоза и олигоэфиры.\nХлорофилл состоит из двух основных форм: хлорофилла а и хлорофилла б. Хлорофилл а поглощает свет с длиной волны около 430 нанометров (нм), что соответствует синему или голубому свету, а хлорофилл б поглощает свет с длиной волны около 660 нм, что соответствует красному свету. Когда свет поглощается хлорофиллом, он передается в молекулы воды и углекислого газа, которые используются для фотосинтеза.\nТаким образом, хлорофилл является основным компонентом, ответственным за зеленый цвет листьев растений, так как он поглощает свет и передает его энергию для фотосинтеза.\n```\n\n```\nUser: Сочини длинный рассказ, обязательно упоминая следующие объекты. Дано: Таня, мяч\nSaiga: Однажды в солнечную погоду на поле для игры в футбол приехала группа друзей, чтобы провести время вместе. В числе их был и Таня, которая была страстной футбольной фанаткой и всегда радовал своих друзей своим энтузиазмом и умением забивать мячи.\nВ этот день, как обычно, друзья решили провести соревнование между собой, чтобы определить кто из них является лучшим футболистом. Таня была очень уверена в своих силах и готовилась к этому матчу с особой серьёзностью.\nКогда все друзья собрались на поле, они увидели, что перед ними стоял огромный мяч, который должен был стать предметом состязания. Мяч был огромным и тяжелым, и его размеры были необычайно большими по сравнению с обычными мячами, которые используются в футболе.\nТаня была первая, кто решил начать игру. Она подошла к мячу и начала его удерживать, стараясь выдержать его вес и силу. Но мяч оказался настолько тяжелым, что Таня не смогла удержать его и он упал на землю.\nДрузья посмеялись над ее неудачей, но Таня не отчаивалась и продолжила пытаться удержать мяч. Она стала использовать все свои силы и умения, чтобы выдержать его вес и силу. Наконец, после долгих усилий, она смогла удержать мяч и начала его бросать в сторону.\nМяч летел высоко вверх, и друзья смотрели, как он пролетает над полем. Но мяч неожиданно повернул и стал лететь обратно к Тане. Она успела поймать его и продолжила играть, используя все свои навыки и умения.\n```\n\nv4:\n- [1cc945d4ca2c7901cf989e7edaac52ab24f1a7dd](https://huggingface.co/IlyaGusev/saiga_llama3_8b/commit/1cc945d4ca2c7901cf989e7edaac52ab24f1a7dd)\n- dataset: [saiga_scored](https://huggingface.co/datasets/IlyaGusev/saiga_scored), scores >= 8, c66032920556c0f21bbbed05e7e04433ec954c3d\n- wandb [link](https://wandb.ai/ilyagusev/rulm_self_instruct/runs/dcbs9ttt)\n\nv3:\n- [c588356cd60bdee54d52c2dd5a2445acca8aa5c3](https://huggingface.co/IlyaGusev/saiga_llama3_8b/commit/c588356cd60bdee54d52c2dd5a2445acca8aa5c3)\n- dataset: [saiga_scored](https://huggingface.co/datasets/IlyaGusev/saiga_scored), scores >= 8, d51cf8060bdc90023da8cf1c3f113f9193d6569b\n- wandb [link](https://wandb.ai/ilyagusev/rulm_self_instruct/runs/ltoqdsal)\n\nv2:\n- [ae61b4f9b34fac9856d361ea78c66284a00e4f0b](https://huggingface.co/IlyaGusev/saiga_llama3_8b/commit/ae61b4f9b34fac9856d361ea78c66284a00e4f0b)\n- dataset code revision d0d123dd221e10bb2a3383bcb1c6e4efe1b4a28a\n- wandb [link](https://wandb.ai/ilyagusev/huggingface/runs/r6u5juyk)\n- 5 datasets: ru_turbo_saiga, ru_sharegpt_cleaned, oasst1_ru_main_branch, gpt_roleplay_realm, ru_instruct_gpt4\n- Datasets merging script: [create_short_chat_set.py](https://github.com/IlyaGusev/rulm/blob/d0d123dd221e10bb2a3383bcb1c6e4efe1b4a28a/self_instruct/src/data_processing/create_short_chat_set.py)\n\n\n# Evaluation\n\n* Dataset: https://github.com/IlyaGusev/rulm/blob/master/self_instruct/data/tasks.jsonl\n* Framework: https://github.com/tatsu-lab/alpaca_eval\n* Evaluator: alpaca_eval_cot_gpt4_turbo_fn\n\n| model | length_controlled_winrate |  win_rate | standard_error  | avg_length |\n|-----|-----|-----|-----|-----|\n|chatgpt_4_turbo | 76.04 | 90.00 |1.46 | 1270 |\n|chatgpt_3_5_turbo | 50.00 | 50.00 | 0.00  | 536 |\n|saiga_llama3_8b, v4  | 43.64  | 65.90 | 2.31 | 1200 |\n|saiga_llama3_8b, v3  | 36.97  | 61.08 | 2.38 | 1162 |\n|saiga_llama3_8b, v2  | 33.07  | 48.19 | 2.45 | 1166 |\n|saiga_mistral_7b  | 23.38  | 35.99 | 2.34 | 949  |\n\n",
    "related_quantizations": []
  },
  "tags": [
    "gguf",
    "endpoints_compatible",
    "region:us",
    "conversational"
  ],
  "likes": 0,
  "downloads": 113,
  "gated": false,
  "private": false,
  "last_modified": "2024-04-26T20:58:04.000Z",
  "created_at": "2024-04-26T19:23:31.000Z",
  "pipeline_tag": "",
  "library_name": ""
}

{
  "_id": "662bff33322afcbae502c0f9",
  "id": "RichardErkhov/IlyaGusev_-_saiga_llama3_8b-gguf",
  "modelId": "RichardErkhov/IlyaGusev_-_saiga_llama3_8b-gguf",
  "sha": "0ff7afb3ca8cf89f30f4b1e8665649a3280d2ad5",
  "createdAt": "2024-04-26T19:23:31.000Z",
  "lastModified": "2024-04-26T20:58:04.000Z",
  "author": "RichardErkhov",
  "downloads": 113,
  "likes": 0,
  "gated": false,
  "private": false,
  "pipeline_tag": "",
  "library_name": "",
  "siblings_count": 23
}