richarderkhov/bllossom_-_llama-3.2-korean-bllossom-3b-gguf overview

{
  "metadata": {},
  "card_data": {
    "frontmatter": {},
    "hero_image_url": "https://github.com/teddysum/bllossom/blob/main//bllossom_icon.png?raw=true",
    "summary": "* [2024.10.08] Bllossom-3B 모델이 최초 업데이트 되었습니다. # Bllossom | [Demo]() | Homepage | Github | ``bash 저희 Bllossom 팀에서 Bllossom-3B 모델을 공개합니다. llama3.2-3B가 나왔는데 한국어가 포함 안되었다구?? 이번 Bllossom-3B는 한국어가 지원되지 않는 기본 모델을 한국어-영어로 강화모델입니다. 언제나 그랬듯 해당 모델은 상업적 이용이 가능합니다. 1. Bllossom은 AAAI2024, NAACL2024, LREC-COLING2024 (구두) 발표되었습니다. 2. 좋은 언어모델 계속 업데이트 하겠습니다!! 한국어 강화를위해 공동 연구하실분(특히논문) 언제든 환영합니다!! ` `python import torch from transformers import AutoTokenizer, AutoModelForCausalLM model_id = 'Bllossom/llama-3.2-Korean-Bllossom-3B' tokenizer = AutoTokenizer.from_pretrained(model_id) model = AutoModelForCausalLM.from_pretrained( model_id, torch_dtype=torch.bfloat16, device_map=\"auto\", ) instruction = \"철수가 20개의 연필을 가지고 있었는데 영희가 절반을 가져가고 민수가 남은 5개를 가져갔으면 철수에게 남은 연필의 갯수는 몇개인가요?\" messages = [ {\"role\": \"user\", \"content\": f\"{instruction}\"} ] input_ids = tokenizer.apply_chat_template( messages, add_generation_prompt=True, return_tensors=\"pt\" ).to(model.device) terminators = [ tokenizer.convert_tokens_to_ids(\"\"), tokenizer.convert_tokens_to_ids(\"\") ] outputs = model.generate( input_ids, max_new_tokens=1024, eos_token_id=terminators, do_sample=True, temperature=0.6, top_p=0.9 ) print(tokenizer.decode(outputs[0][input_ids.shape[-1]:], skip_special_tokens=True)) ` ` 철수가 20개의 연필을 가지고 있었고 영희가 절반을 가져가면, 영희가 가져간 연필의 갯수는 20 / 2 = 10개입니다. 이제 철수가 남은 연필의 갯수를 계산해보겠습니다. 영희가 10개를 가져간 후 철수가 남은 연필의 갯수는 20 - 10 = 10개입니다. 민수가 남은 5개를 가져갔으므로, 철수가 남은 연필의 갯수는 10 - 5 = 5개입니다. 따라서 철수가 남은 연필의 갯수는 5개입니다. ``",
    "quick_links": [],
    "benchmark_table_html": "",
    "readme_markdown": "Quantization made by Richard Erkhov.\n\n[Github](https://github.com/RichardErkhov)\n\n[Discord](https://discord.gg/pvy7H8DZMG)\n\n[Request more models](https://github.com/RichardErkhov/quant_request)\n\n\nllama-3.2-Korean-Bllossom-3B - GGUF\n- Model creator: https://huggingface.co/Bllossom/\n- Original model: https://huggingface.co/Bllossom/llama-3.2-Korean-Bllossom-3B/\n\n\n| Name | Quant method | Size |\n| ---- | ---- | ---- |\n| [llama-3.2-Korean-Bllossom-3B.Q2_K.gguf](https://huggingface.co/RichardErkhov/Bllossom_-_llama-3.2-Korean-Bllossom-3B-gguf/blob/main/llama-3.2-Korean-Bllossom-3B.Q2_K.gguf) | Q2_K | 1.27GB |\n| [llama-3.2-Korean-Bllossom-3B.IQ3_XS.gguf](https://huggingface.co/RichardErkhov/Bllossom_-_llama-3.2-Korean-Bllossom-3B-gguf/blob/main/llama-3.2-Korean-Bllossom-3B.IQ3_XS.gguf) | IQ3_XS | 1.38GB |\n| [llama-3.2-Korean-Bllossom-3B.IQ3_S.gguf](https://huggingface.co/RichardErkhov/Bllossom_-_llama-3.2-Korean-Bllossom-3B-gguf/blob/main/llama-3.2-Korean-Bllossom-3B.IQ3_S.gguf) | IQ3_S | 1.44GB |\n| [llama-3.2-Korean-Bllossom-3B.Q3_K_S.gguf](https://huggingface.co/RichardErkhov/Bllossom_-_llama-3.2-Korean-Bllossom-3B-gguf/blob/main/llama-3.2-Korean-Bllossom-3B.Q3_K_S.gguf) | Q3_K_S | 1.44GB |\n| [llama-3.2-Korean-Bllossom-3B.IQ3_M.gguf](https://huggingface.co/RichardErkhov/Bllossom_-_llama-3.2-Korean-Bllossom-3B-gguf/blob/main/llama-3.2-Korean-Bllossom-3B.IQ3_M.gguf) | IQ3_M | 1.49GB |\n| [llama-3.2-Korean-Bllossom-3B.Q3_K.gguf](https://huggingface.co/RichardErkhov/Bllossom_-_llama-3.2-Korean-Bllossom-3B-gguf/blob/main/llama-3.2-Korean-Bllossom-3B.Q3_K.gguf) | Q3_K | 1.57GB |\n| [llama-3.2-Korean-Bllossom-3B.Q3_K_M.gguf](https://huggingface.co/RichardErkhov/Bllossom_-_llama-3.2-Korean-Bllossom-3B-gguf/blob/main/llama-3.2-Korean-Bllossom-3B.Q3_K_M.gguf) | Q3_K_M | 1.57GB |\n| [llama-3.2-Korean-Bllossom-3B.Q3_K_L.gguf](https://huggingface.co/RichardErkhov/Bllossom_-_llama-3.2-Korean-Bllossom-3B-gguf/blob/main/llama-3.2-Korean-Bllossom-3B.Q3_K_L.gguf) | Q3_K_L | 1.69GB |\n| [llama-3.2-Korean-Bllossom-3B.IQ4_XS.gguf](https://huggingface.co/RichardErkhov/Bllossom_-_llama-3.2-Korean-Bllossom-3B-gguf/blob/main/llama-3.2-Korean-Bllossom-3B.IQ4_XS.gguf) | IQ4_XS | 1.71GB |\n| [llama-3.2-Korean-Bllossom-3B.Q4_0.gguf](https://huggingface.co/RichardErkhov/Bllossom_-_llama-3.2-Korean-Bllossom-3B-gguf/blob/main/llama-3.2-Korean-Bllossom-3B.Q4_0.gguf) | Q4_0 | 1.79GB |\n| [llama-3.2-Korean-Bllossom-3B.IQ4_NL.gguf](https://huggingface.co/RichardErkhov/Bllossom_-_llama-3.2-Korean-Bllossom-3B-gguf/blob/main/llama-3.2-Korean-Bllossom-3B.IQ4_NL.gguf) | IQ4_NL | 1.79GB |\n| [llama-3.2-Korean-Bllossom-3B.Q4_K_S.gguf](https://huggingface.co/RichardErkhov/Bllossom_-_llama-3.2-Korean-Bllossom-3B-gguf/blob/main/llama-3.2-Korean-Bllossom-3B.Q4_K_S.gguf) | Q4_K_S | 1.8GB |\n| [llama-3.2-Korean-Bllossom-3B.Q4_K.gguf](https://huggingface.co/RichardErkhov/Bllossom_-_llama-3.2-Korean-Bllossom-3B-gguf/blob/main/llama-3.2-Korean-Bllossom-3B.Q4_K.gguf) | Q4_K | 1.88GB |\n| [llama-3.2-Korean-Bllossom-3B.Q4_K_M.gguf](https://huggingface.co/RichardErkhov/Bllossom_-_llama-3.2-Korean-Bllossom-3B-gguf/blob/main/llama-3.2-Korean-Bllossom-3B.Q4_K_M.gguf) | Q4_K_M | 1.88GB |\n| [llama-3.2-Korean-Bllossom-3B.Q4_1.gguf](https://huggingface.co/RichardErkhov/Bllossom_-_llama-3.2-Korean-Bllossom-3B-gguf/blob/main/llama-3.2-Korean-Bllossom-3B.Q4_1.gguf) | Q4_1 | 1.95GB |\n| [llama-3.2-Korean-Bllossom-3B.Q5_0.gguf](https://huggingface.co/RichardErkhov/Bllossom_-_llama-3.2-Korean-Bllossom-3B-gguf/blob/main/llama-3.2-Korean-Bllossom-3B.Q5_0.gguf) | Q5_0 | 2.11GB |\n| [llama-3.2-Korean-Bllossom-3B.Q5_K_S.gguf](https://huggingface.co/RichardErkhov/Bllossom_-_llama-3.2-Korean-Bllossom-3B-gguf/blob/main/llama-3.2-Korean-Bllossom-3B.Q5_K_S.gguf) | Q5_K_S | 2.11GB |\n| [llama-3.2-Korean-Bllossom-3B.Q5_K.gguf](https://huggingface.co/RichardErkhov/Bllossom_-_llama-3.2-Korean-Bllossom-3B-gguf/blob/main/llama-3.2-Korean-Bllossom-3B.Q5_K.gguf) | Q5_K | 2.16GB |\n| [llama-3.2-Korean-Bllossom-3B.Q5_K_M.gguf](https://huggingface.co/RichardErkhov/Bllossom_-_llama-3.2-Korean-Bllossom-3B-gguf/blob/main/llama-3.2-Korean-Bllossom-3B.Q5_K_M.gguf) | Q5_K_M | 2.16GB |\n| [llama-3.2-Korean-Bllossom-3B.Q5_1.gguf](https://huggingface.co/RichardErkhov/Bllossom_-_llama-3.2-Korean-Bllossom-3B-gguf/blob/main/llama-3.2-Korean-Bllossom-3B.Q5_1.gguf) | Q5_1 | 2.28GB |\n| [llama-3.2-Korean-Bllossom-3B.Q6_K.gguf](https://huggingface.co/RichardErkhov/Bllossom_-_llama-3.2-Korean-Bllossom-3B-gguf/blob/main/llama-3.2-Korean-Bllossom-3B.Q6_K.gguf) | Q6_K | 2.46GB |\n| [llama-3.2-Korean-Bllossom-3B.Q8_0.gguf](https://huggingface.co/RichardErkhov/Bllossom_-_llama-3.2-Korean-Bllossom-3B-gguf/blob/main/llama-3.2-Korean-Bllossom-3B.Q8_0.gguf) | Q8_0 | 3.19GB |\n\n\n\n\nOriginal model description:\n---\nbase_model:\n- meta-llama/Meta-Llama-3.2-3B\nlanguage:\n- en\n- ko\nlibrary_name: transformers\nlicense: llama3.2\n---\n \n\n<a href=\"https://github.com/MLP-Lab/Bllossom\">\n  <img src=\"https://github.com/teddysum/bllossom/blob/main//bllossom_icon.png?raw=true\" width=\"30%\" height=\"30%\">\n</a>\n\n# Update!\n* [2024.10.08] Bllossom-3B 모델이 최초 업데이트 되었습니다.\n\n\n\n# Bllossom | [Demo]() | [Homepage](https://www.bllossom.ai/) | [Github](https://github.com/MLP-Lab/Bllossom) |\n\n```bash\n저희 Bllossom 팀에서 Bllossom-3B 모델을 공개합니다.\nllama3.2-3B가 나왔는데 한국어가 포함 안되었다구?? 이번 Bllossom-3B는 한국어가 지원되지 않는 기본 모델을 한국어-영어로 강화모델입니다.\n - 100% full-tuning으로 150GB의 정제된 한국어로 추가 사전학습 되었습니다. (GPU많이 태웠습니다)\n - 굉장히 정제된 Instruction Tuning을 진행했습니다.\n - 영어 성능을 전혀 손상시키지 않은 완전한 Bilingual 모델입니다.\n - LogicKor 기준 5B이하 최고점수를 기록했고 6점 초반대 점수를 보입니다.\n - Instruction tuning만 진행했습니다. DPO 등 성능 올릴 방법으로 튜닝해보세요.\n - MT-Bench, LogicKor 등 벤치마크 점수를 잘받기 위해 정답데이터를 활용하거나 혹은 벤치마크를 타겟팅 해서 학습하지 않았습니다. (해당 벤치마크 타게팅해서 학습하면 8점도 나옵니다...)\n\n언제나 그랬듯 해당 모델은 상업적 이용이 가능합니다.\n\n1. Bllossom은 AAAI2024, NAACL2024, LREC-COLING2024 (구두) 발표되었습니다.\n2. 좋은 언어모델 계속 업데이트 하겠습니다!! 한국어 강화를위해 공동 연구하실분(특히논문) 언제든 환영합니다!! \n```\n\n\n\n```python\nimport torch\nfrom transformers import AutoTokenizer, AutoModelForCausalLM\n\nmodel_id = 'Bllossom/llama-3.2-Korean-Bllossom-3B'\n\ntokenizer = AutoTokenizer.from_pretrained(model_id)\nmodel = AutoModelForCausalLM.from_pretrained(\n    model_id,\n    torch_dtype=torch.bfloat16,\n    device_map=\"auto\",\n)\ninstruction = \"철수가 20개의 연필을 가지고 있었는데 영희가 절반을 가져가고 민수가 남은 5개를 가져갔으면 철수에게 남은 연필의 갯수는 몇개인가요?\"\n\nmessages = [\n    {\"role\": \"user\", \"content\": f\"{instruction}\"}\n    ]\n\ninput_ids = tokenizer.apply_chat_template(\n    messages,\n    add_generation_prompt=True,\n    return_tensors=\"pt\"\n).to(model.device)\n\nterminators = [\n    tokenizer.convert_tokens_to_ids(\"<|end_of_text|>\"),\n    tokenizer.convert_tokens_to_ids(\"<|eot_id|>\")\n]\n\noutputs = model.generate(\n    input_ids,\n    max_new_tokens=1024,\n    eos_token_id=terminators,\n    do_sample=True,\n    temperature=0.6,\n    top_p=0.9\n)\n\nprint(tokenizer.decode(outputs[0][input_ids.shape[-1]:], skip_special_tokens=True))\n```\n```\n철수가 20개의 연필을 가지고 있었고 영희가 절반을 가져가면, 영희가 가져간 연필의 갯수는 20 / 2 = 10개입니다.\n\n이제 철수가 남은 연필의 갯수를 계산해보겠습니다. 영희가 10개를 가져간 후 철수가 남은 연필의 갯수는 20 - 10 = 10개입니다.\n\n민수가 남은 5개를 가져갔으므로, 철수가 남은 연필의 갯수는 10 - 5 = 5개입니다. \n\n따라서 철수가 남은 연필의 갯수는 5개입니다.\n```\n\n## Supported by\n\n - AICA  <img src=\"https://aica-gj.kr/images/logo.png\" width=\"20%\" height=\"20%\">\n\n## Citation\n**Language Model**\n```text\n@misc{bllossom,\n  author = {ChangSu Choi, Yongbin Jeong, Seoyoon Park, InHo Won, HyeonSeok Lim, SangMin Kim, Yejee Kang, Chanhyuk Yoon, Jaewan Park, Yiseul Lee, HyeJin Lee, Younggyun Hahm, Hansaem Kim, KyungTae Lim},\n  title = {Optimizing Language Augmentation for Multilingual Large Language Models: A Case Study on Korean},\n  year = {2024},\n  journal = {LREC-COLING 2024},\n  paperLink = {\\url{https://arxiv.org/pdf/2403.10882}},\n },\n}\n```\n\n**Vision-Language Model**\n```text\n@misc{bllossom-V,\n  author = {Dongjae Shin, Hyunseok Lim, Inho Won, Changsu Choi, Minjun Kim, Seungwoo Song, Hangyeol Yoo, Sangmin Kim, Kyungtae Lim},\n  title = {X-LLaVA: Optimizing Bilingual Large Vision-Language Alignment},\n  year = {2024},\n  publisher = {GitHub},\n  journal = {NAACL 2024 findings},\n  paperLink = {\\url{https://arxiv.org/pdf/2403.11399}},\n },\n}\n```\n\n## Contact\n - 임경태(KyungTae Lim), Professor at Seoultech. `ktlim@seoultech.ac.kr`\n - 함영균(Younggyun Hahm), CEO of Teddysum. `hahmyg@teddysum.ai`\n - 김한샘(Hansaem Kim), Professor at Yonsei. `khss@yonsei.ac.kr`\n\n## Contributor\n - **유한결(Hangyeol Yoo)**, hgyoo@seoultech.ac.kr\n - 신동재(Dongjae Shin), dylan1998@seoultech.ac.kr\n - 임현석(Hyeonseok Lim), gustjrantk@seoultech.ac.kr\n - 원인호(Inho Won), wih1226@seoultech.ac.kr\n - 김민준(Minjun Kim), mjkmain@seoultech.ac.kr\n - 송승우(Seungwoo Song), sswoo@seoultech.ac.kr\n - 육정훈(Jeonghun Yuk), usually670@gmail.com\n - 최창수(Chansu Choi), choics2623@seoultech.ac.kr\n - 송서현(Seohyun Song), alexalex225225@gmail.com\n\n",
    "related_quantizations": []
  },
  "tags": [
    "gguf",
    "arxiv:2403.10882",
    "arxiv:2403.11399",
    "endpoints_compatible",
    "region:us",
    "conversational"
  ],
  "likes": 0,
  "downloads": 1894,
  "gated": false,
  "private": false,
  "last_modified": "2024-10-16T22:22:53.000Z",
  "created_at": "2024-10-16T18:38:32.000Z",
  "pipeline_tag": "",
  "library_name": ""
}

{
  "_id": "67100828716702a1e30e3fa1",
  "id": "RichardErkhov/Bllossom_-_llama-3.2-Korean-Bllossom-3B-gguf",
  "modelId": "RichardErkhov/Bllossom_-_llama-3.2-Korean-Bllossom-3B-gguf",
  "sha": "ef6edfa38120e40f0d92303243680b1dd1eede7d",
  "createdAt": "2024-10-16T18:38:32.000Z",
  "lastModified": "2024-10-16T22:22:53.000Z",
  "author": "RichardErkhov",
  "downloads": 1894,
  "likes": 0,
  "gated": false,
  "private": false,
  "pipeline_tag": "",
  "library_name": "",
  "siblings_count": 24
}