bllossom/llama-3.2-korean-bllossom-3b-gguf-q4_k_m overview

{
  "metadata": {},
  "card_data": {
    "base_model": [
      "meta-llama/Meta-Llama-3.2-3B"
    ],
    "language": [
      "en",
      "ko"
    ],
    "library_name": "transformers",
    "license": "llama3.2",
    "frontmatter": {
      "base_model": [
        "meta-llama/Meta-Llama-3.2-3B"
      ],
      "language": [
        "en",
        "ko"
      ],
      "library_name": "transformers",
      "license": "llama3.2"
    },
    "hero_image_url": "https://cdn-uploads.huggingface.co/production/uploads/64a90711c05da19ca834f690/a0VE5UCY1HCEhaHtp3mGa.png",
    "summary": "* [2024.10.08] Bllossom-3B 모델이 최초 업데이트 되었습니다. # Bllossom | [Demo]() | Homepage | Github | ``bash 저희 Bllossom 팀에서 Bllossom-3B 모델을 공개합니다. llama3.2-3B가 나왔는데 한국어가 포함 안되었다구?? 이번 Bllossom-3B는 한국어가 지원되지 않는 기본 모델을 한국어-영어로 강화모델입니다. 언제나 그랬듯 해당 모델은 상업적 이용이 가능합니다. 1. Bllossom은 AAAI2024, NAACL2024, LREC-COLING2024 (구두) 발표되었습니다. 2. 좋은 언어모델 계속 업데이트 하겠습니다!! 한국어 강화를위해 공동 연구하실분(특히논문) 언제든 환영합니다!! ` `python from llama_cpp import Llama from transformers import AutoTokenizer model_id = 'Bllossom/llama-3.2-Korean-Bllossom-3B' tokenizer = AutoTokenizer.from_pretrained(model_id) model = Llama( model_path='llama-3.2-Korean-Bllossom-3B-gguf-Q4_K_M.gguf' ) instruction = \"철수가 20개의 연필을 가지고 있었는데 영희가 절반을 가져가고 민수가 남은 5개를 가져갔으면 철수에게 남은 연필의 갯수는 몇개인가요?\" messages = [ {\"role\": \"user\", \"content\": f\"{instruction}\"} ] prompt = tokenizer.apply_chat_template( messages, tokenize = False, add_generation_prompt=True ) generation_kwargs = { \"max_tokens\":512, \"stop\":[\"\"], \"echo\":True, \"top_p\":0.9, \"temperature\":0.6, } resonse_msg = model(prompt, **generation_kwargs) print(resonse_msg['choices'][0]['text'][len(prompt):]) ` ` 철수가 20개의 연필을 가지고 있었고 영희가 절반을 가져가면, 영희가 가져간 연필의 갯수는 20 / 2 = 10개입니다. 이제 철수가 남은 연필의 갯수를 계산해보겠습니다. 영희가 10개를 가져간 후 철수가 남은 연필의 갯수는 20 - 10 = 10개입니다. 민수가 남은 5개를 가져갔으므로, 철수가 남은 연필의 갯수는 10 - 5 = 5개입니다. 따라서 철수가 남은 연필의 갯수는 5개입니다. ``",
    "quick_links": [],
    "benchmark_table_html": "",
    "readme_markdown": "---\nbase_model:\n- meta-llama/Meta-Llama-3.2-3B\nlanguage:\n- en\n- ko\nlibrary_name: transformers\nlicense: llama3.2\n---\n\n \n<a href=\"https://github.com/MLP-Lab/Bllossom\">\n  <img src=\"https://cdn-uploads.huggingface.co/production/uploads/64a90711c05da19ca834f690/a0VE5UCY1HCEhaHtp3mGa.png\" alt=\"image\" width=\"30%\" height=\"30%\">\n</a>\n\n# Update!\n* [2024.10.08] Bllossom-3B 모델이 최초 업데이트 되었습니다.\n\n\n\n# Bllossom | [Demo]() | [Homepage](https://www.bllossom.ai/) | [Github](https://github.com/MLP-Lab/Bllossom) |\n\n```bash\n저희 Bllossom 팀에서 Bllossom-3B 모델을 공개합니다.\nllama3.2-3B가 나왔는데 한국어가 포함 안되었다구?? 이번 Bllossom-3B는 한국어가 지원되지 않는 기본 모델을 한국어-영어로 강화모델입니다.\n - 100% full-tuning으로 150GB의 정제된 한국어로 추가 사전학습 되었습니다. (GPU많이 태웠습니다)\n - 굉장히 정제된 Instruction Tuning을 진행했습니다.\n - 영어 성능을 전혀 손상시키지 않은 완전한 Bilingual 모델입니다.\n - LogicKor 기준 5B이하 최고점수를 기록했고 6점 초반대 점수를 보입니다.\n - Instruction tuning만 진행했습니다. DPO 등 성능 올릴 방법으로 튜닝해보세요.\n - MT-Bench, LogicKor 등 벤치마크 점수를 잘받기 위해 정답데이터를 활용하거나 혹은 벤치마크를 타겟팅 해서 학습하지 않았습니다. (해당 벤치마크 타게팅해서 학습하면 8점도 나옵니다...)\n\n언제나 그랬듯 해당 모델은 상업적 이용이 가능합니다.\n\n1. Bllossom은 AAAI2024, NAACL2024, LREC-COLING2024 (구두) 발표되었습니다.\n2. 좋은 언어모델 계속 업데이트 하겠습니다!! 한국어 강화를위해 공동 연구하실분(특히논문) 언제든 환영합니다!! \n```\n\n\n\n```python\nfrom llama_cpp import Llama\nfrom transformers import AutoTokenizer\n\nmodel_id = 'Bllossom/llama-3.2-Korean-Bllossom-3B'\ntokenizer = AutoTokenizer.from_pretrained(model_id)\nmodel = Llama(\n    model_path='llama-3.2-Korean-Bllossom-3B-gguf-Q4_K_M.gguf'\n)\n\ninstruction = \"철수가 20개의 연필을 가지고 있었는데 영희가 절반을 가져가고 민수가 남은 5개를 가져갔으면 철수에게 남은 연필의 갯수는 몇개인가요?\"\n\nmessages = [\n    {\"role\": \"user\", \"content\": f\"{instruction}\"}\n    ]\n\nprompt = tokenizer.apply_chat_template(\n    messages, \n    tokenize = False,\n    add_generation_prompt=True\n)\n\ngeneration_kwargs = {\n    \"max_tokens\":512,\n    \"stop\":[\"<|eot_id|>\"],\n    \"echo\":True,\n    \"top_p\":0.9,\n    \"temperature\":0.6,\n}\n\nresonse_msg = model(prompt, **generation_kwargs)\nprint(resonse_msg['choices'][0]['text'][len(prompt):])\n```\n```\n철수가 20개의 연필을 가지고 있었고 영희가 절반을 가져가면, 영희가 가져간 연필의 갯수는 20 / 2 = 10개입니다.\n\n이제 철수가 남은 연필의 갯수를 계산해보겠습니다. 영희가 10개를 가져간 후 철수가 남은 연필의 갯수는 20 - 10 = 10개입니다.\n\n민수가 남은 5개를 가져갔으므로, 철수가 남은 연필의 갯수는 10 - 5 = 5개입니다. \n\n따라서 철수가 남은 연필의 갯수는 5개입니다.\n```\n\n## Supported by\n\n - AICA  <img src=\"https://aica-gj.kr/images/logo.png\" width=\"20%\" height=\"20%\">\n\n## Citation\n**Language Model**\n```text\n@misc{bllossom,\n  author = {ChangSu Choi, Yongbin Jeong, Seoyoon Park, InHo Won, HyeonSeok Lim, SangMin Kim, Yejee Kang, Chanhyuk Yoon, Jaewan Park, Yiseul Lee, HyeJin Lee, Younggyun Hahm, Hansaem Kim, KyungTae Lim},\n  title = {Optimizing Language Augmentation for Multilingual Large Language Models: A Case Study on Korean},\n  year = {2024},\n  journal = {LREC-COLING 2024},\n  paperLink = {\\url{https://arxiv.org/pdf/2403.10882}},\n },\n}\n```\n\n**Vision-Language Model**\n```text\n@misc{bllossom-V,\n  author = {Dongjae Shin, Hyunseok Lim, Inho Won, Changsu Choi, Minjun Kim, Seungwoo Song, Hangyeol Yoo, Sangmin Kim, Kyungtae Lim},\n  title = {X-LLaVA: Optimizing Bilingual Large Vision-Language Alignment},\n  year = {2024},\n  publisher = {GitHub},\n  journal = {NAACL 2024 findings},\n  paperLink = {\\url{https://arxiv.org/pdf/2403.11399}},\n },\n}\n```\n\n## Contact\n - 임경태(KyungTae Lim), Professor at Seoultech. `ktlim@seoultech.ac.kr`\n - 함영균(Younggyun Hahm), CEO of Teddysum. `hahmyg@teddysum.ai`\n - 김한샘(Hansaem Kim), Professor at Yonsei. `khss@yonsei.ac.kr`\n\n## Contributor\n - **유한결(Hangyeol Yoo)**, hgyoo@seoultech.ac.kr\n - 신동재(Dongjae Shin), dylan1998@seoultech.ac.kr\n - 임현석(Hyeonseok Lim), gustjrantk@seoultech.ac.kr\n - 원인호(Inho Won), wih1226@seoultech.ac.kr\n - 김민준(Minjun Kim), mjkmain@seoultech.ac.kr\n - 송승우(Seungwoo Song), sswoo@seoultech.ac.kr\n - 육정훈(Jeonghun Yuk), usually670@gmail.com\n - 최창수(Chansu Choi), choics2623@seoultech.ac.kr\n - 송서현(Seohyun Song), alexalex225225@gmail.com",
    "related_quantizations": []
  },
  "tags": [
    "transformers",
    "gguf",
    "en",
    "ko",
    "arxiv:2403.10882",
    "arxiv:2403.11399",
    "license:llama3.2",
    "endpoints_compatible",
    "region:us",
    "conversational"
  ],
  "likes": 42,
  "downloads": 655,
  "gated": false,
  "private": false,
  "last_modified": "2024-12-13T14:26:06.000Z",
  "created_at": "2024-10-09T11:10:24.000Z",
  "pipeline_tag": "",
  "library_name": "transformers"
}

{
  "_id": "670664a02d3883ec801acb9a",
  "id": "Bllossom/llama-3.2-Korean-Bllossom-3B-gguf-Q4_K_M",
  "modelId": "Bllossom/llama-3.2-Korean-Bllossom-3B-gguf-Q4_K_M",
  "sha": "c07b7a0f2688d1212612b653a752a0dfe4e18bae",
  "createdAt": "2024-10-09T11:10:24.000Z",
  "lastModified": "2024-12-13T14:26:06.000Z",
  "author": "Bllossom",
  "downloads": 655,
  "likes": 42,
  "gated": false,
  "private": false,
  "pipeline_tag": "",
  "library_name": "transformers",
  "siblings_count": 3
}