richarderkhov/orionstarai_-_orionstar-yi-34b-chat-gguf overview

{
  "metadata": {},
  "card_data": {
    "frontmatter": {},
    "hero_image_url": "./pics/orion_start.PNG",
    "summary": "# 模型介绍 上取得不错的效果。今天我们推出的Orionstar-Yi-34B-Chat更进一步挖掘了Yi-34B的潜力。通过对大量高质量微调语料库的深度训练，Orionstar-Yi-34B-Chat在评估数据上表现出色，我们致力于将其打造成为ChatGPT领域中的杰出开源替代品！ 和 Yi License 我们使用opencompass对以下通用领域数据集进行了 5-shot 测试。其他模型评估结果取自opencompass-leaderboard。 |                           | C-Eval    | MMLU   | CMMLU     | |---------------------------|-----------|--------|-----------| | **GPT-4**                 | 69.9      | **83** | 71        | | **ChatGPT**               | 52.5      | 69.1   | 53.9      | | **Claude-1**              | 52        | 65.7   | -         | | **TigerBot-70B-Chat-V2**  | 57.7      | 65.9   | 59.9      | | **WeMix-LLaMA2-70B**      | 55.2      | 71.3   | 56        | | **LLaMA-2-70B-Chat**      | 44.3      | 63.8   | 43.3      | | **Qwen-14B-Chat**         | 71.7      | 66.4   | 70        | | **Baichuan2-13B-Chat**    | 56.7      | 57     | 58.4      | | **OrionStar-Yi-34B-Chat** | **77.71** | 78.32  | **73.52** | # 模型推理 推理所需的相关代码已发布在 Github上。Github仓库链接：OrionStar-Yi-34B-Chat。",
    "quick_links": [],
    "benchmark_table_html": "",
    "readme_markdown": "Quantization made by Richard Erkhov.\n\n[Github](https://github.com/RichardErkhov)\n\n[Discord](https://discord.gg/pvy7H8DZMG)\n\n[Request more models](https://github.com/RichardErkhov/quant_request)\n\n\nOrionStar-Yi-34B-Chat - GGUF\n- Model creator: https://huggingface.co/OrionStarAI/\n- Original model: https://huggingface.co/OrionStarAI/OrionStar-Yi-34B-Chat/\n\n\n| Name | Quant method | Size |\n| ---- | ---- | ---- |\n| [OrionStar-Yi-34B-Chat.Q2_K.gguf](https://huggingface.co/RichardErkhov/OrionStarAI_-_OrionStar-Yi-34B-Chat-gguf/blob/main/OrionStar-Yi-34B-Chat.Q2_K.gguf) | Q2_K | 11.94GB |\n| [OrionStar-Yi-34B-Chat.IQ3_XS.gguf](https://huggingface.co/RichardErkhov/OrionStarAI_-_OrionStar-Yi-34B-Chat-gguf/blob/main/OrionStar-Yi-34B-Chat.IQ3_XS.gguf) | IQ3_XS | 13.26GB |\n| [OrionStar-Yi-34B-Chat.IQ3_S.gguf](https://huggingface.co/RichardErkhov/OrionStarAI_-_OrionStar-Yi-34B-Chat-gguf/blob/main/OrionStar-Yi-34B-Chat.IQ3_S.gguf) | IQ3_S | 4.56GB |\n| [OrionStar-Yi-34B-Chat.Q3_K_S.gguf](https://huggingface.co/RichardErkhov/OrionStarAI_-_OrionStar-Yi-34B-Chat-gguf/blob/main/OrionStar-Yi-34B-Chat.Q3_K_S.gguf) | Q3_K_S | 13.93GB |\n| [OrionStar-Yi-34B-Chat.IQ3_M.gguf](https://huggingface.co/RichardErkhov/OrionStarAI_-_OrionStar-Yi-34B-Chat-gguf/blob/main/OrionStar-Yi-34B-Chat.IQ3_M.gguf) | IQ3_M | 14.5GB |\n| [OrionStar-Yi-34B-Chat.Q3_K.gguf](https://huggingface.co/RichardErkhov/OrionStarAI_-_OrionStar-Yi-34B-Chat-gguf/blob/main/OrionStar-Yi-34B-Chat.Q3_K.gguf) | Q3_K | 10.77GB |\n| [OrionStar-Yi-34B-Chat.Q3_K_M.gguf](https://huggingface.co/RichardErkhov/OrionStarAI_-_OrionStar-Yi-34B-Chat-gguf/blob/main/OrionStar-Yi-34B-Chat.Q3_K_M.gguf) | Q3_K_M | 15.51GB |\n| [OrionStar-Yi-34B-Chat.Q3_K_L.gguf](https://huggingface.co/RichardErkhov/OrionStarAI_-_OrionStar-Yi-34B-Chat-gguf/blob/main/OrionStar-Yi-34B-Chat.Q3_K_L.gguf) | Q3_K_L | 16.89GB |\n| [OrionStar-Yi-34B-Chat.IQ4_XS.gguf](https://huggingface.co/RichardErkhov/OrionStarAI_-_OrionStar-Yi-34B-Chat-gguf/blob/main/OrionStar-Yi-34B-Chat.IQ4_XS.gguf) | IQ4_XS | 17.36GB |\n| [OrionStar-Yi-34B-Chat.Q4_0.gguf](https://huggingface.co/RichardErkhov/OrionStarAI_-_OrionStar-Yi-34B-Chat-gguf/blob/main/OrionStar-Yi-34B-Chat.Q4_0.gguf) | Q4_0 | 18.13GB |\n| [OrionStar-Yi-34B-Chat.IQ4_NL.gguf](https://huggingface.co/RichardErkhov/OrionStarAI_-_OrionStar-Yi-34B-Chat-gguf/blob/main/OrionStar-Yi-34B-Chat.IQ4_NL.gguf) | IQ4_NL | 18.3GB |\n| [OrionStar-Yi-34B-Chat.Q4_K_S.gguf](https://huggingface.co/RichardErkhov/OrionStarAI_-_OrionStar-Yi-34B-Chat-gguf/blob/main/OrionStar-Yi-34B-Chat.Q4_K_S.gguf) | Q4_K_S | 18.25GB |\n| [OrionStar-Yi-34B-Chat.Q4_K.gguf](https://huggingface.co/RichardErkhov/OrionStarAI_-_OrionStar-Yi-34B-Chat-gguf/blob/main/OrionStar-Yi-34B-Chat.Q4_K.gguf) | Q4_K | 19.24GB |\n| [OrionStar-Yi-34B-Chat.Q4_K_M.gguf](https://huggingface.co/RichardErkhov/OrionStarAI_-_OrionStar-Yi-34B-Chat-gguf/blob/main/OrionStar-Yi-34B-Chat.Q4_K_M.gguf) | Q4_K_M | 19.24GB |\n| [OrionStar-Yi-34B-Chat.Q4_1.gguf](https://huggingface.co/RichardErkhov/OrionStarAI_-_OrionStar-Yi-34B-Chat-gguf/blob/main/OrionStar-Yi-34B-Chat.Q4_1.gguf) | Q4_1 | 20.1GB |\n| [OrionStar-Yi-34B-Chat.Q5_0.gguf](https://huggingface.co/RichardErkhov/OrionStarAI_-_OrionStar-Yi-34B-Chat-gguf/blob/main/OrionStar-Yi-34B-Chat.Q5_0.gguf) | Q5_0 | 22.08GB |\n| [OrionStar-Yi-34B-Chat.Q5_K_S.gguf](https://huggingface.co/RichardErkhov/OrionStarAI_-_OrionStar-Yi-34B-Chat-gguf/blob/main/OrionStar-Yi-34B-Chat.Q5_K_S.gguf) | Q5_K_S | 22.08GB |\n| [OrionStar-Yi-34B-Chat.Q5_K.gguf](https://huggingface.co/RichardErkhov/OrionStarAI_-_OrionStar-Yi-34B-Chat-gguf/blob/main/OrionStar-Yi-34B-Chat.Q5_K.gguf) | Q5_K | 22.65GB |\n| [OrionStar-Yi-34B-Chat.Q5_K_M.gguf](https://huggingface.co/RichardErkhov/OrionStarAI_-_OrionStar-Yi-34B-Chat-gguf/blob/main/OrionStar-Yi-34B-Chat.Q5_K_M.gguf) | Q5_K_M | 22.65GB |\n| [OrionStar-Yi-34B-Chat.Q5_1.gguf](https://huggingface.co/RichardErkhov/OrionStarAI_-_OrionStar-Yi-34B-Chat-gguf/blob/main/OrionStar-Yi-34B-Chat.Q5_1.gguf) | Q5_1 | 24.05GB |\n| [OrionStar-Yi-34B-Chat.Q6_K.gguf](https://huggingface.co/RichardErkhov/OrionStarAI_-_OrionStar-Yi-34B-Chat-gguf/blob/main/OrionStar-Yi-34B-Chat.Q6_K.gguf) | Q6_K | 26.28GB |\n| [OrionStar-Yi-34B-Chat.Q8_0.gguf](https://huggingface.co/RichardErkhov/OrionStarAI_-_OrionStar-Yi-34B-Chat-gguf/blob/main/OrionStar-Yi-34B-Chat.Q8_0.gguf) | Q8_0 | 28.9GB |\n\n\n\n\nOriginal model description:\n---\nlicense: other\nlicense_name: yi-license\nlicense_link: LICENSE\nwidget:\n  - text: \"你好! 你叫什么名字!\"\n    output:\n      text: \"你好，我的名字叫聚言，很高兴见到你。\"\npipeline_tag: text-generation\n---\n\n<!-- markdownlint-disable first-line-h1 -->\n<!-- markdownlint-disable html -->\n\n<div align=\"center\">\n  <img src=\"./pics/orion_start.PNG\" alt=\"logo\" width=\"50%\" />\n</div>\n\n<div align=\"center\">\n<h1>\n  OrionStar-Yi-34B-Chat\n</h1>\n</div>\n\n<p align=\"center\">\n🤗 <a href=\"https://huggingface.co/OrionStarAI/OrionStar-Yi-34B-Chat\" target=\"_blank\">Hugging Face</a> | \n<a href=\"https://github.com/OrionStarAI/OrionStar-Yi-34B-Chat\" target=\"_blank\">Github</a> |\n🤗 <a href=\"https://huggingface.co/spaces/OrionStarAI/OrionStar-Yi-34B-Chat-Demo\" target=\"_blank\">Online Demo</a>\n</p>\n\n<div align=\"center\">\n\n\n<h4 align=\"center\">\n    <p>\n        <b>中文</b> |\n        <a href=\"https://huggingface.co/OrionStarAI/OrionStar-Yi-34B-Chat/blob/main/README_en.md\">English</a>\n    <p>\n</h4>\n\n</div>\n\n# 目录\n\n- [📖 模型介绍](#模型介绍)\n- [📊 模型推理 🔥](#模型推理)\n- [👥 示例输出](#示例输出)\n- [🥇 企业介绍](#企业介绍)\n- [📜 声明、协议](#声明协议)\n\n# 模型介绍\n\n- OrionStar-Yi-34B-Chat 是一款开源中英文Chat模型，由猎户星空基于Yi-34B开源模型、使用 __15W+__ 高质量语料微调而成。\n\n- Yi系列模型是由零一万物团队开源的大模型，在多个权威的中文、英文及通用领域 benchmark\n  上取得不错的效果。今天我们推出的Orionstar-Yi-34B-Chat更进一步挖掘了Yi-34B的潜力。通过对大量高质量微调语料库的深度训练，Orionstar-Yi-34B-Chat在评估数据上表现出色，我们致力于将其打造成为ChatGPT领域中的杰出开源替代品！\n\n- 我们微调的模型对学术研究完全开放，同时请大家遵守[协议](#协议)\n  和 [Yi License](https://github.com/01-ai/Yi/blob/main/MODEL_LICENSE_AGREEMENT.txt)\n\n- 模型评估结果\n\n我们使用[opencompass](https://opencompass.org.cn)对以下通用领域数据集进行了 5-shot\n测试。其他模型评估结果取自[opencompass-leaderboard](https://opencompass.org.cn/leaderboard-llm)。\n\n|                           | C-Eval    | MMLU   | CMMLU     |\n|---------------------------|-----------|--------|-----------|\n| **GPT-4**                 | 69.9      | **83** | 71        |\n| **ChatGPT**               | 52.5      | 69.1   | 53.9      | \t\t\t\n| **Claude-1**              | 52        | 65.7   | -         |\n| **TigerBot-70B-Chat-V2**  | 57.7      | 65.9   | 59.9      |\n| **WeMix-LLaMA2-70B**      | 55.2      | 71.3   | 56        |  \t\t\t\n| **LLaMA-2-70B-Chat**      | 44.3      | 63.8   | 43.3      |\n| **Qwen-14B-Chat**         | 71.7      | 66.4   | 70        |\n| **Baichuan2-13B-Chat**    | 56.7      | 57     | 58.4      |      \t\n| **OrionStar-Yi-34B-Chat** | **77.71** | 78.32  | **73.52** |  \n\n# 模型推理\n\n推理所需的相关代码已发布在 Github上。Github仓库链接：[OrionStar-Yi-34B-Chat](https://github.com/OrionStarAI/OrionStar-Yi-34B-Chat)。\n\n## Python 代码方式\n\n```python\nimport torch\nfrom transformers import AutoModelForCausalLM, AutoTokenizer\nfrom transformers.generation.utils import GenerationConfig\n\ntokenizer = AutoTokenizer.from_pretrained(\"OrionStarAI/OrionStar-Yi-34B-Chat\", use_fast=False, trust_remote_code=True)\nmodel = AutoModelForCausalLM.from_pretrained(\"OrionStarAI/OrionStar-Yi-34B-Chat\", device_map=\"auto\",\n                                             torch_dtype=torch.bfloat16, trust_remote_code=True)\n\nmodel.generation_config = GenerationConfig.from_pretrained(\"OrionStarAI/OrionStar-Yi-34B-Chat\")\nmessages = [{\"role\": \"user\", \"content\": \"你好! 你叫什么名字!\"}]\nresponse = model.chat(tokenizer, messages, streaming=False)\nprint(response)\n\n# 你好，我的名字叫聚言，很高兴见到你。\n```\n\n在上述两段代码中，模型加载指定 `device_map='auto'`\n，会使用所有可用显卡。如需指定使用的设备，可以使用类似 `export CUDA_VISIBLE_DEVICES=0,1`（使用了0、1号显卡）的方式控制。\n\n## 命令行工具方式\n\n```shell                                                                                                                                                                                                \npython cli_demo.py                                                                                                                                                                  \n```\n\n本命令行工具是为 Chat 场景设计，因此我们不支持使用该工具调用 Base 模型。\n\n## 脚本直接推理\n\n```shell                                                                                                                                                                                                \n python text_generation.py --model OrionStarAI/OrionStar-Yi-34B-Chat --tokenizer OrionStarAI/OrionStar-Yi-34B-Chat --prompt 你好,你叫什么名字                                                                                                                                                                              \n```\n\n# 示例输出\n\n## 闲聊\n\n`````                                                                                           \n用户：你好,你叫什么名字\nOrionStar-Yi-34B：你好，我的名字叫聚言，很高兴见到你。\n用户：你有哪些功能\nOrionStar-Yi-34B：我是一个多才多艺的AI助手，我可以回答你的问题、陪你聊天、帮你查询信息、提供生活建议等等。\n用户：讲个笑话\nOrionStar-Yi-34B：为什么香肠总是不开心？因为它没有朋友，只能被夹在面包里。\n`````\n\n## 数学\n\n`````                                                                                                                                                                                                   \n用户：鸡和兔在一个笼子里，共有26个头，68只脚，那么鸡有多少只，兔有多少只？\nOrionStar-Yi-34B：设鸡的数量为x，兔的数量为y。                                                                                                                                                          \n根据题意，可得出以下两个方程：                                                                                                                                                                          \nx + y = 26  （共有26个头）                                                                                                                                                                              \n2x + 4y = 68 （共有68只脚）                                                                                                                                                                             \n将第一个方程变形，得到y = 26 - x                                                                                                                                                                        \n将y的值代入第二个方程中，得到：                                                                                                                                                                         \n2x + 4(26-x) = 68                                                                                                                                                                                       \n解这个方程，得到x = 18                                                                                                                                                                                  \n所以，鸡有18只，兔有26 - 18 = 8只。\n`````\n\n# 企业介绍\n\n猎户星空（ORION\nSTAR）是一家全球领先的服务机器人解决方案公司，成立于2016年9月。猎户星空致力于基于人工智能技术打造下一代革命性机器人，使人们能够摆脱重复的体力劳动，使人类的工作和生活更加智能和有趣，通过技术使社会和世界变得更加美好。\n\n猎户星空拥有完全自主开发的全链条人工智能技术，如语音交互和视觉导航。它整合了产品开发能力和技术应用能力。基于Orion机械臂平台，它推出了ORION\nSTAR AI Robot Greeting、AI Robot Greeting Mini、Lucki、Coffee\nMaster等产品，并建立了Orion机器人的开放平台OrionOS。通过为 **真正有用的机器人而生** 的理念实践，它通过AI技术为更多人赋能。\n\n凭借7年AI经验积累，猎户星空已推出的大模型深度应用“聚言”，并陆续面向行业客户提供定制化AI大模型咨询与服务解决方案，真正帮助客户实现企业经营效率领先同行目标。\n\n**猎户星空具备全链条大模型应用能力的核心优势**，包括拥有从海量数据处理、大模型预训练、二次预训练、微调(Fine-tune)、Prompt\nEngineering 、Agent开发的全链条能力和经验积累；拥有完整的端到端模型训练能力，包括系统化的数据处理流程和数百张GPU的并行模型训练能力，现已在大政务、云服务、出海电商、快消等多个行业场景落地。\n\n***欢迎有大模型应用落地需求的企业联系我们进行商务合作，咨询电话 400-898-7779 。***\n\n企业微信\n<div align=\"center\">\n  <img src=\"./pics/company_wechat.jpg\" alt=\"company\" width=\"30%\" />\n</div>\n\n\n# 声明、协议\n\n## 声明\n\n我们强烈呼吁所有使用者，不要利用 OrionStar-Yi-34B-Chat 模型进行任何危害国家社会安全或违法的活动。另外，我们也要求使用者不要将\nOrionStar-Yi-34B-Chat 模型用于未经适当安全审查和备案的互联网服务。\n\n我们希望所有的使用者都能遵守这个原则，确保科技的发展能在规范和合法的环境下进行。\n我们已经尽我们所能，来确保模型训练过程中使用的数据的合规性。然而，尽管我们已经做出了巨大的努力，但由于模型和数据的复杂性，仍有可能存在一些无法预见的问题。因此，如果由于使用\nOrionStar-Yi-34B-Chat 开源模型而导致的任何问题，包括但不限于数据安全问题、公共舆论风险，或模型被误导、滥用、传播或不当利用所带来的任何风险和问题，我们将不承担任何责任。\n\n## 协议\n\n社区使用 OrionStar-Yi-34B-Chat\n模型需要遵循 [Apache 2.0](https://github.com/OrionStarAI/OrionStar-Yi-34B-Chat/blob/main/LICENSE)\n和[《Yi-34B 模型社区许可协议》](https://github.com/01-ai/Yi/blob/main/MODEL_LICENSE_AGREEMENT.txt)\n\n# 联系我们\n\n**Discord社区链接: https://discord.gg/zumjDWgdAs**\n\n<div align=\"center\">\n  <img src=\"./pics/wechat_group.jpg\" alt=\"wechat\" width=\"40%\" />\n</div>\n\n",
    "related_quantizations": []
  },
  "tags": [
    "gguf",
    "endpoints_compatible",
    "region:us"
  ],
  "likes": 0,
  "downloads": 287,
  "gated": false,
  "private": false,
  "last_modified": "2024-08-28T00:20:05.000Z",
  "created_at": "2024-08-27T12:13:00.000Z",
  "pipeline_tag": "",
  "library_name": ""
}

{
  "_id": "66cdc2cca7299207064794ce",
  "id": "RichardErkhov/OrionStarAI_-_OrionStar-Yi-34B-Chat-gguf",
  "modelId": "RichardErkhov/OrionStarAI_-_OrionStar-Yi-34B-Chat-gguf",
  "sha": "3bed5c18837e37c86fd24bd9d9e60a098ec4f8ee",
  "createdAt": "2024-08-27T12:13:00.000Z",
  "lastModified": "2024-08-28T00:20:05.000Z",
  "author": "RichardErkhov",
  "downloads": 287,
  "likes": 0,
  "gated": false,
  "private": false,
  "pipeline_tag": "",
  "library_name": "",
  "siblings_count": 24
}