richarderkhov/aift_-_aift-ko-orca-plat-yi-ko-6b-v1.6-gguf overview

{
  "metadata": {},
  "card_data": {
    "frontmatter": {},
    "hero_image_url": "",
    "summary": "Quantization made by Richard Erkhov. Github Discord Request more models AIFT-ko-orca-plat-Yi-ko-6b-v1.6 - GGUF | Name | Quant method | Size | | ---- | ---- | ---- | | AIFT-ko-orca-plat-Yi-ko-6b-v1.6.Q2_K.gguf | Q2_K | 2.24GB | | AIFT-ko-orca-plat-Yi-ko-6b-v1.6.IQ3_XS.gguf | IQ3_XS | 2.48GB | | AIFT-ko-orca-plat-Yi-ko-6b-v1.6.IQ3_S.gguf | IQ3_S | 2.6GB | | AIFT-ko-orca-plat-Yi-ko-6b-v1.6.Q3_K_S.gguf | Q3_K_S | 2.59GB | | AIFT-ko-orca-plat-Yi-ko-6b-v1.6.IQ3_M.gguf | IQ3_M | 2.69GB | | AIFT-ko-orca-plat-Yi-ko-6b-v1.6.Q3_K.gguf | Q3_K | 2.86GB | | AIFT-ko-orca-plat-Yi-ko-6b-v1.6.Q3_K_M.gguf | Q3_K_M | 2.86GB | | AIFT-ko-orca-plat-Yi-ko-6b-v1.6.Q3_K_L.gguf | Q3_K_L | 3.08GB | | AIFT-ko-orca-plat-Yi-ko-6b-v1.6.IQ4_XS.gguf | IQ4_XS | 3.18GB | | AIFT-ko-orca-plat-Yi-ko-6b-v1.6.Q4_0.gguf | Q4_0 | 3.32GB | | AIFT-ko-orca-plat-Yi-ko-6b-v1.6.IQ4_NL.gguf | IQ4_NL | 3.35GB | | AIFT-ko-orca-plat-Yi-ko-6b-v1.6.Q4_K_S.gguf | Q4_K_S | 3.34GB | | AIFT-ko-orca-plat-Yi-ko-6b-v1.6.Q4_K.gguf | Q4_K | 3.5GB | | AIFT-ko-orca-plat-Yi-ko-6b-v1.6.Q4_K_M.gguf | Q4_K_M | 3.5GB | | AIFT-ko-orca-plat-Yi-ko-6b-v1.6.Q4_1.gguf | Q4_1 | 3.66GB | | AIFT-ko-orca-plat-Yi-ko-6b-v1.6.Q5_0.gguf | Q5_0 | 4.0GB | | AIFT-ko-orca-plat-Yi-ko-6b-v1.6.Q5_K_S.gguf | Q5_K_S | 4.0GB | | AIFT-ko-orca-plat-Yi-ko-6b-v1.6.Q5_K.gguf | Q5_K | 4.09GB | | AIFT-ko-orca-plat-Yi-ko-6b-v1.6.Q5_K_M.gguf | Q5_K_M | 4.09GB | | AIFT-ko-orca-plat-Yi-ko-6b-v1.6.Q5_1.gguf | Q5_1 | 4.34GB | | AIFT-ko-orca-plat-Yi-ko-6b-v1.6.Q6_K.gguf | Q6_K | 4.72GB | | AIFT-ko-orca-plat-Yi-ko-6b-v1.6.Q8_0.gguf | Q8_0 | 6.12GB | Original model description: --- license: cc-by-sa-4.0 --- orca-platypus - instruct 모델 v1.6  kyujinpy 님이 공개하신 KOR-OpenOrca-Platypus 데이터를 일부 삭제(샘플링) 및 정제 작업 진행하여 활용. 그 이후 해당 데이터들을 보며 관련 태스크를 추출하였고 이를 기반으로 해당 태스크에 맞춰서 NLP 관련 오픈소스 데이터를 활용하여 학습데이터를 자체적으로 역사, 과학, 수학, 기계독해, 리뷰 분석 문제를 gpt를 통해서 구축하였고, aihub 일반상식 및 기계독해 데이터를 활용하여 추가로 학습 데이터를 구축(형태소 관련, 기계독해 관련 및 요약) 각종 블로그에서 역사 및 상식 퀴즈를 사람이 직접 학습데이터 형태로 변경 AI2AI Challenge 데이터 형태를 보고 gpt를 통해 초등 수준의 과학 수학 문제 유형을 제작 500문제 영어 번역 데이터 영한/한영 데이터 학습 데이터로 활용 진행 총 데이터 4만개 정도 사용하였습니다.   +  TruthfulQA 관련 문제 추가를 진행하였습니다.(속설 관련 참거짓 문제) + 기계독해 관련 학습 데이터를 ChatGPT를 통해서 답변을 얻어 학습 + 문법관련 학습 데이터  ###학습 데이터 파일은 비공개입니다.   학습은 LoRA를 사용하여 A100 40G *2에서 학습을 진행하였습니다.",
    "quick_links": [],
    "benchmark_table_html": "",
    "readme_markdown": "Quantization made by Richard Erkhov.\n\n[Github](https://github.com/RichardErkhov)\n\n[Discord](https://discord.gg/pvy7H8DZMG)\n\n[Request more models](https://github.com/RichardErkhov/quant_request)\n\n\nAIFT-ko-orca-plat-Yi-ko-6b-v1.6 - GGUF\n- Model creator: https://huggingface.co/AIFT/\n- Original model: https://huggingface.co/AIFT/AIFT-ko-orca-plat-Yi-ko-6b-v1.6/\n\n\n| Name | Quant method | Size |\n| ---- | ---- | ---- |\n| [AIFT-ko-orca-plat-Yi-ko-6b-v1.6.Q2_K.gguf](https://huggingface.co/RichardErkhov/AIFT_-_AIFT-ko-orca-plat-Yi-ko-6b-v1.6-gguf/blob/main/AIFT-ko-orca-plat-Yi-ko-6b-v1.6.Q2_K.gguf) | Q2_K | 2.24GB |\n| [AIFT-ko-orca-plat-Yi-ko-6b-v1.6.IQ3_XS.gguf](https://huggingface.co/RichardErkhov/AIFT_-_AIFT-ko-orca-plat-Yi-ko-6b-v1.6-gguf/blob/main/AIFT-ko-orca-plat-Yi-ko-6b-v1.6.IQ3_XS.gguf) | IQ3_XS | 2.48GB |\n| [AIFT-ko-orca-plat-Yi-ko-6b-v1.6.IQ3_S.gguf](https://huggingface.co/RichardErkhov/AIFT_-_AIFT-ko-orca-plat-Yi-ko-6b-v1.6-gguf/blob/main/AIFT-ko-orca-plat-Yi-ko-6b-v1.6.IQ3_S.gguf) | IQ3_S | 2.6GB |\n| [AIFT-ko-orca-plat-Yi-ko-6b-v1.6.Q3_K_S.gguf](https://huggingface.co/RichardErkhov/AIFT_-_AIFT-ko-orca-plat-Yi-ko-6b-v1.6-gguf/blob/main/AIFT-ko-orca-plat-Yi-ko-6b-v1.6.Q3_K_S.gguf) | Q3_K_S | 2.59GB |\n| [AIFT-ko-orca-plat-Yi-ko-6b-v1.6.IQ3_M.gguf](https://huggingface.co/RichardErkhov/AIFT_-_AIFT-ko-orca-plat-Yi-ko-6b-v1.6-gguf/blob/main/AIFT-ko-orca-plat-Yi-ko-6b-v1.6.IQ3_M.gguf) | IQ3_M | 2.69GB |\n| [AIFT-ko-orca-plat-Yi-ko-6b-v1.6.Q3_K.gguf](https://huggingface.co/RichardErkhov/AIFT_-_AIFT-ko-orca-plat-Yi-ko-6b-v1.6-gguf/blob/main/AIFT-ko-orca-plat-Yi-ko-6b-v1.6.Q3_K.gguf) | Q3_K | 2.86GB |\n| [AIFT-ko-orca-plat-Yi-ko-6b-v1.6.Q3_K_M.gguf](https://huggingface.co/RichardErkhov/AIFT_-_AIFT-ko-orca-plat-Yi-ko-6b-v1.6-gguf/blob/main/AIFT-ko-orca-plat-Yi-ko-6b-v1.6.Q3_K_M.gguf) | Q3_K_M | 2.86GB |\n| [AIFT-ko-orca-plat-Yi-ko-6b-v1.6.Q3_K_L.gguf](https://huggingface.co/RichardErkhov/AIFT_-_AIFT-ko-orca-plat-Yi-ko-6b-v1.6-gguf/blob/main/AIFT-ko-orca-plat-Yi-ko-6b-v1.6.Q3_K_L.gguf) | Q3_K_L | 3.08GB |\n| [AIFT-ko-orca-plat-Yi-ko-6b-v1.6.IQ4_XS.gguf](https://huggingface.co/RichardErkhov/AIFT_-_AIFT-ko-orca-plat-Yi-ko-6b-v1.6-gguf/blob/main/AIFT-ko-orca-plat-Yi-ko-6b-v1.6.IQ4_XS.gguf) | IQ4_XS | 3.18GB |\n| [AIFT-ko-orca-plat-Yi-ko-6b-v1.6.Q4_0.gguf](https://huggingface.co/RichardErkhov/AIFT_-_AIFT-ko-orca-plat-Yi-ko-6b-v1.6-gguf/blob/main/AIFT-ko-orca-plat-Yi-ko-6b-v1.6.Q4_0.gguf) | Q4_0 | 3.32GB |\n| [AIFT-ko-orca-plat-Yi-ko-6b-v1.6.IQ4_NL.gguf](https://huggingface.co/RichardErkhov/AIFT_-_AIFT-ko-orca-plat-Yi-ko-6b-v1.6-gguf/blob/main/AIFT-ko-orca-plat-Yi-ko-6b-v1.6.IQ4_NL.gguf) | IQ4_NL | 3.35GB |\n| [AIFT-ko-orca-plat-Yi-ko-6b-v1.6.Q4_K_S.gguf](https://huggingface.co/RichardErkhov/AIFT_-_AIFT-ko-orca-plat-Yi-ko-6b-v1.6-gguf/blob/main/AIFT-ko-orca-plat-Yi-ko-6b-v1.6.Q4_K_S.gguf) | Q4_K_S | 3.34GB |\n| [AIFT-ko-orca-plat-Yi-ko-6b-v1.6.Q4_K.gguf](https://huggingface.co/RichardErkhov/AIFT_-_AIFT-ko-orca-plat-Yi-ko-6b-v1.6-gguf/blob/main/AIFT-ko-orca-plat-Yi-ko-6b-v1.6.Q4_K.gguf) | Q4_K | 3.5GB |\n| [AIFT-ko-orca-plat-Yi-ko-6b-v1.6.Q4_K_M.gguf](https://huggingface.co/RichardErkhov/AIFT_-_AIFT-ko-orca-plat-Yi-ko-6b-v1.6-gguf/blob/main/AIFT-ko-orca-plat-Yi-ko-6b-v1.6.Q4_K_M.gguf) | Q4_K_M | 3.5GB |\n| [AIFT-ko-orca-plat-Yi-ko-6b-v1.6.Q4_1.gguf](https://huggingface.co/RichardErkhov/AIFT_-_AIFT-ko-orca-plat-Yi-ko-6b-v1.6-gguf/blob/main/AIFT-ko-orca-plat-Yi-ko-6b-v1.6.Q4_1.gguf) | Q4_1 | 3.66GB |\n| [AIFT-ko-orca-plat-Yi-ko-6b-v1.6.Q5_0.gguf](https://huggingface.co/RichardErkhov/AIFT_-_AIFT-ko-orca-plat-Yi-ko-6b-v1.6-gguf/blob/main/AIFT-ko-orca-plat-Yi-ko-6b-v1.6.Q5_0.gguf) | Q5_0 | 4.0GB |\n| [AIFT-ko-orca-plat-Yi-ko-6b-v1.6.Q5_K_S.gguf](https://huggingface.co/RichardErkhov/AIFT_-_AIFT-ko-orca-plat-Yi-ko-6b-v1.6-gguf/blob/main/AIFT-ko-orca-plat-Yi-ko-6b-v1.6.Q5_K_S.gguf) | Q5_K_S | 4.0GB |\n| [AIFT-ko-orca-plat-Yi-ko-6b-v1.6.Q5_K.gguf](https://huggingface.co/RichardErkhov/AIFT_-_AIFT-ko-orca-plat-Yi-ko-6b-v1.6-gguf/blob/main/AIFT-ko-orca-plat-Yi-ko-6b-v1.6.Q5_K.gguf) | Q5_K | 4.09GB |\n| [AIFT-ko-orca-plat-Yi-ko-6b-v1.6.Q5_K_M.gguf](https://huggingface.co/RichardErkhov/AIFT_-_AIFT-ko-orca-plat-Yi-ko-6b-v1.6-gguf/blob/main/AIFT-ko-orca-plat-Yi-ko-6b-v1.6.Q5_K_M.gguf) | Q5_K_M | 4.09GB |\n| [AIFT-ko-orca-plat-Yi-ko-6b-v1.6.Q5_1.gguf](https://huggingface.co/RichardErkhov/AIFT_-_AIFT-ko-orca-plat-Yi-ko-6b-v1.6-gguf/blob/main/AIFT-ko-orca-plat-Yi-ko-6b-v1.6.Q5_1.gguf) | Q5_1 | 4.34GB |\n| [AIFT-ko-orca-plat-Yi-ko-6b-v1.6.Q6_K.gguf](https://huggingface.co/RichardErkhov/AIFT_-_AIFT-ko-orca-plat-Yi-ko-6b-v1.6-gguf/blob/main/AIFT-ko-orca-plat-Yi-ko-6b-v1.6.Q6_K.gguf) | Q6_K | 4.72GB |\n| [AIFT-ko-orca-plat-Yi-ko-6b-v1.6.Q8_0.gguf](https://huggingface.co/RichardErkhov/AIFT_-_AIFT-ko-orca-plat-Yi-ko-6b-v1.6-gguf/blob/main/AIFT-ko-orca-plat-Yi-ko-6b-v1.6.Q8_0.gguf) | Q8_0 | 6.12GB |\n\n\n\n\nOriginal model description:\n---\nlicense: cc-by-sa-4.0\n---\n<h1>orca-platypus - instruct 모델 v1.6</h1>\n\n<b><학습 데이터 구축></b>\nkyujinpy 님이 공개하신 KOR-OpenOrca-Platypus 데이터를 일부 삭제(샘플링) 및 정제 작업 진행하여 활용.\n그 이후 해당 데이터들을 보며 관련 태스크를 추출하였고 이를 기반으로\n해당 태스크에 맞춰서 NLP 관련 오픈소스 데이터를 활용하여 학습데이터를 자체적으로 \n역사, 과학, 수학, 기계독해, 리뷰 분석 문제를 gpt를 통해서 구축하였고, \naihub 일반상식 및 기계독해 데이터를 활용하여 추가로 학습 데이터를 구축(형태소 관련, 기계독해 관련 및 요약)\n각종 블로그에서 역사 및 상식 퀴즈를 사람이 직접 학습데이터 형태로 변경\nAI2AI Challenge 데이터 형태를 보고 gpt를 통해 초등 수준의 과학 수학 문제 유형을 제작 500문제\n영어 번역 데이터 영한/한영 데이터 학습 데이터로 활용 진행\n총 데이터 4만개 정도 사용하였습니다.\n\n<br>\n<br>\n+  TruthfulQA 관련 문제 추가를 진행하였습니다.(속설 관련 참거짓 문제)\n+ 기계독해 관련 학습 데이터를 ChatGPT를 통해서 답변을 얻어 학습\n+ 문법관련 학습 데이터 \n<br>\n###학습 데이터 파일은 비공개입니다. \n<br>\n<b><학습></b>\n학습은 LoRA를 사용하여 A100 40G *2에서 학습을 진행하였습니다.\n\n",
    "related_quantizations": []
  },
  "tags": [
    "gguf",
    "endpoints_compatible",
    "region:us"
  ],
  "likes": 0,
  "downloads": 292,
  "gated": false,
  "private": false,
  "last_modified": "2024-08-02T17:09:50.000Z",
  "created_at": "2024-08-02T15:36:37.000Z",
  "pipeline_tag": "",
  "library_name": ""
}

{
  "_id": "66acfd05141190910067ab4f",
  "id": "RichardErkhov/AIFT_-_AIFT-ko-orca-plat-Yi-ko-6b-v1.6-gguf",
  "modelId": "RichardErkhov/AIFT_-_AIFT-ko-orca-plat-Yi-ko-6b-v1.6-gguf",
  "sha": "9ba01852f1181218801bc9defd38cd022feb3913",
  "createdAt": "2024-08-02T15:36:37.000Z",
  "lastModified": "2024-08-02T17:09:50.000Z",
  "author": "RichardErkhov",
  "downloads": 292,
  "likes": 0,
  "gated": false,
  "private": false,
  "pipeline_tag": "",
  "library_name": "",
  "siblings_count": 24
}