richarderkhov/remek_-_llama-3-8b-omnibus-1-pl-v01-instruct-gguf overview

{
  "metadata": {},
  "card_data": {
    "frontmatter": {},
    "hero_image_url": "Llama-3-8B-PL-small.jpg",
    "summary": "Quantization made by Richard Erkhov. Github Discord Request more models Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT - GGUF | Name | Quant method | Size | | ---- | ---- | ---- | | Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT.Q2_K.gguf | Q2_K | 2.96GB | | Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT.IQ3_XS.gguf | IQ3_XS | 3.28GB | | Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT.IQ3_S.gguf | IQ3_S | 3.43GB | | Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT.Q3_K_S.gguf | Q3_K_S | 3.41GB | | Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT.IQ3_M.gguf | IQ3_M | 3.52GB | | Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT.Q3_K.gguf | Q3_K | 3.74GB | | Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT.Q3_K_M.gguf | Q3_K_M | 3.74GB | | Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT.Q3_K_L.gguf | Q3_K_L | 4.03GB | | Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT.IQ4_XS.gguf | IQ4_XS | 4.18GB | | Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT.Q4_0.gguf | Q4_0 | 4.34GB | | Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT.IQ4_NL.gguf | IQ4_NL | 4.38GB | | Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT.Q4_K_S.gguf | Q4_K_S | 4.37GB | | Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT.Q4_K.gguf | Q4_K | 4.58GB | | Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT.Q4_K_M.gguf | Q4_K_M | 4.58GB | | Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT.Q4_1.gguf | Q4_1 | 4.78GB | | Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT.Q5_0.gguf | Q5_0 | 5.21GB | | Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT.Q5_K_S.gguf | Q5_K_S | 5.21GB | | Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT.Q5_K.gguf | Q5_K | 5.34GB | | Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT.Q5_K_M.gguf | Q5_K_M | 5.34GB | | Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT.Q5_1.gguf | Q5_1 | 5.65GB | | Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT.Q6_K.gguf | Q6_K | 6.14GB | | Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT.Q8_0.gguf | Q8_0 | 7.95GB | Original model description: --- language: pipeline_tag: text-generation license: cc-by-4.0 ---",
    "quick_links": [],
    "benchmark_table_html": "",
    "readme_markdown": "Quantization made by Richard Erkhov.\n\n[Github](https://github.com/RichardErkhov)\n\n[Discord](https://discord.gg/pvy7H8DZMG)\n\n[Request more models](https://github.com/RichardErkhov/quant_request)\n\n\nLlama-3-8B-Omnibus-1-PL-v01-INSTRUCT - GGUF\n- Model creator: https://huggingface.co/Remek/\n- Original model: https://huggingface.co/Remek/Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT/\n\n\n| Name | Quant method | Size |\n| ---- | ---- | ---- |\n| [Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT.Q2_K.gguf](https://huggingface.co/RichardErkhov/Remek_-_Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT-gguf/blob/main/Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT.Q2_K.gguf) | Q2_K | 2.96GB |\n| [Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT.IQ3_XS.gguf](https://huggingface.co/RichardErkhov/Remek_-_Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT-gguf/blob/main/Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT.IQ3_XS.gguf) | IQ3_XS | 3.28GB |\n| [Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT.IQ3_S.gguf](https://huggingface.co/RichardErkhov/Remek_-_Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT-gguf/blob/main/Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT.IQ3_S.gguf) | IQ3_S | 3.43GB |\n| [Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT.Q3_K_S.gguf](https://huggingface.co/RichardErkhov/Remek_-_Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT-gguf/blob/main/Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT.Q3_K_S.gguf) | Q3_K_S | 3.41GB |\n| [Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT.IQ3_M.gguf](https://huggingface.co/RichardErkhov/Remek_-_Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT-gguf/blob/main/Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT.IQ3_M.gguf) | IQ3_M | 3.52GB |\n| [Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT.Q3_K.gguf](https://huggingface.co/RichardErkhov/Remek_-_Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT-gguf/blob/main/Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT.Q3_K.gguf) | Q3_K | 3.74GB |\n| [Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT.Q3_K_M.gguf](https://huggingface.co/RichardErkhov/Remek_-_Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT-gguf/blob/main/Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT.Q3_K_M.gguf) | Q3_K_M | 3.74GB |\n| [Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT.Q3_K_L.gguf](https://huggingface.co/RichardErkhov/Remek_-_Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT-gguf/blob/main/Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT.Q3_K_L.gguf) | Q3_K_L | 4.03GB |\n| [Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT.IQ4_XS.gguf](https://huggingface.co/RichardErkhov/Remek_-_Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT-gguf/blob/main/Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT.IQ4_XS.gguf) | IQ4_XS | 4.18GB |\n| [Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT.Q4_0.gguf](https://huggingface.co/RichardErkhov/Remek_-_Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT-gguf/blob/main/Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT.Q4_0.gguf) | Q4_0 | 4.34GB |\n| [Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT.IQ4_NL.gguf](https://huggingface.co/RichardErkhov/Remek_-_Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT-gguf/blob/main/Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT.IQ4_NL.gguf) | IQ4_NL | 4.38GB |\n| [Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT.Q4_K_S.gguf](https://huggingface.co/RichardErkhov/Remek_-_Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT-gguf/blob/main/Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT.Q4_K_S.gguf) | Q4_K_S | 4.37GB |\n| [Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT.Q4_K.gguf](https://huggingface.co/RichardErkhov/Remek_-_Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT-gguf/blob/main/Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT.Q4_K.gguf) | Q4_K | 4.58GB |\n| [Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT.Q4_K_M.gguf](https://huggingface.co/RichardErkhov/Remek_-_Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT-gguf/blob/main/Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT.Q4_K_M.gguf) | Q4_K_M | 4.58GB |\n| [Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT.Q4_1.gguf](https://huggingface.co/RichardErkhov/Remek_-_Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT-gguf/blob/main/Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT.Q4_1.gguf) | Q4_1 | 4.78GB |\n| [Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT.Q5_0.gguf](https://huggingface.co/RichardErkhov/Remek_-_Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT-gguf/blob/main/Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT.Q5_0.gguf) | Q5_0 | 5.21GB |\n| [Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT.Q5_K_S.gguf](https://huggingface.co/RichardErkhov/Remek_-_Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT-gguf/blob/main/Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT.Q5_K_S.gguf) | Q5_K_S | 5.21GB |\n| [Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT.Q5_K.gguf](https://huggingface.co/RichardErkhov/Remek_-_Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT-gguf/blob/main/Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT.Q5_K.gguf) | Q5_K | 5.34GB |\n| [Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT.Q5_K_M.gguf](https://huggingface.co/RichardErkhov/Remek_-_Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT-gguf/blob/main/Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT.Q5_K_M.gguf) | Q5_K_M | 5.34GB |\n| [Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT.Q5_1.gguf](https://huggingface.co/RichardErkhov/Remek_-_Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT-gguf/blob/main/Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT.Q5_1.gguf) | Q5_1 | 5.65GB |\n| [Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT.Q6_K.gguf](https://huggingface.co/RichardErkhov/Remek_-_Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT-gguf/blob/main/Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT.Q6_K.gguf) | Q6_K | 6.14GB |\n| [Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT.Q8_0.gguf](https://huggingface.co/RichardErkhov/Remek_-_Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT-gguf/blob/main/Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT.Q8_0.gguf) | Q8_0 | 7.95GB |\n\n\n\n\nOriginal model description:\n---\nlanguage:\n- pl\n- en\npipeline_tag: text-generation\nlicense: cc-by-4.0\n---\n\n## Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT\n\nRepozytorium zawiera model Meta Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT w wersji polskojęzycznej. Jest to model INSTRUCT (instrukcyjny). Model postał na podstawie finetuningu modelu bazowego Llama-3-8B. Wykorzystano do tego dataset instrukcji Omnibus-1-PL (stworzyłem go na własne potrzeby przeprowadzania eksperymenów finetuningu modeli w języku polskim). Szczegóły parametrów treningu w sekcji Trening. Celem tego eksperymentu było sprawdzenie czy można namówić Llama-3-8B do płynnego rozmawiania w języku polskim (oryginalny model instrukcyjny 8B ma z tym problem - woli zdecydowanie bardziej rozmawiać po angielsku).\n\n<img src=\"Llama-3-8B-PL-small.jpg\" width=\"420\" />\n\nUwaga! \n* Model NIE jest CENZUROWANY. To wersja do zabawy. Nie została ujarzmiona.\n* Model będzie dalej rozwijany ponieważ eksperymentuję z a. kolejnymi wersjami datasetu, b. model jest świetną bazą do testowania różnych technik finetunowania (LoRA, QLoRA; DPO, ORPO itd.)\n* Udostępniłem go spontanicznie by użytkownicy mogli go używać i sprawdzać jakość Llama 3 ale w kontekście języka polskiego.\n* Po informacji, że baza była trenowana na 15T tokenów (tylko 5% nie angielskich) uznałem, że to świetny model do finetuningu. Być może lekkie dotrenowanie modelu za pomocą contingued-pretraining da jeszcze większy uzysk. \n\n### Sposób kodowania nazwy modelu\n* Nazwa modelu bazowego: Llama-3-8B\n* Nazwa datasetu: Omnibus-1\n* Wersja językowa: PL (polska)\n* Wersja modelu: v01\n\n### Dataset\nOmnibus-1 to zbiór polskich instrukcji (100% kontekstu Polskiego - fakty, osoby, miejsca osadzone w Polsce), który został w 100% syntetycznie wygenerowany. Zawiera on instrukcje z kategorii - matematyka, umiejętność pisania, dialogi, tematy medyczne, zagadki logiczne, tłumaczenia itd. Powstał on w ramach moich prac związanych z badaniem jakości modeli w kontekście języka polskiego. Pozwala on na finetuning modelu i sprawdzenie podatności modelu do mówienia w naszym rodzimym języku. Dataset zawiera obecnie 75.000 instrukcji. Nie jest on idealny i wymaga jeszcze dużo nakładu pracy by model pracował w przewidywalnie ale będzie cały czas udoskonalony i być może w przyszłości udostępniony (jak uznam, że już jest wtstarczająco pełen i obejmuje szerokie spektrum tematyki i umiejętności). Dataset jest w 100% generowany za pomocą innych LLM. \n\n### Użycie Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT z biblioteką Transformers\n\nPoniższy kod używa bibliotekę Transformers:\n\n```python\nimport transformers\nimport torch\n\nmodel_id = \"Remek/Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT\"\n\npipeline = transformers.pipeline(\n    \"text-generation\",\n    model=model_id,\n    model_kwargs={\"torch_dtype\": torch.bfloat16},\n    device=\"auto\",\n)\n\nmessages = [\n    {\"role\": \"system\", \"content\": \"You are a helpful, smart, kind, and efficient AI assistant. You always fulfill the user's requests to the best of your ability.\"},\n    {\"role\": \"user\", \"content\": \"Napisz czym jest Warszawa?\"},\n]\n\nprompt = pipeline.tokenizer.apply_chat_template(\n\t\tmessages, \n\t\ttokenize=False, \n\t\tadd_generation_prompt=True\n)\n\nterminators = [\n    pipeline.tokenizer.eos_token_id,\n    pipeline.tokenizer.convert_tokens_to_ids(\"<|eot_id|>\")\n]\n\noutputs = pipeline(\n    prompt,\n    max_new_tokens=256,\n    eos_token_id=terminators,\n    do_sample=True,\n    temperature=0.6,\n    top_p=0.9,\n)\nprint(outputs[0][\"generated_text\"][len(prompt):])\n```\n\nPrzykładowa odpowiedź:\n\n> Warszawa to stolica Polski, położona na terenie Mazowsza. Jest to największe miasto w Polsce pod względem liczby mieszkańców oraz powierzchni. Warszawa jest również siedzibą rządu, parlamentu, prezydenta, sądu najwyższego oraz wielu innych instytucji państwowych i międzynarodowych. Miasto jest znane z wielu zabytków, takich jak Stare Miasto, Zamek Królewski, Pałac Kultury i Nauki, a także z nowoczesnych atrakcji, takich jak Centrum Nauki Kopernik czy Centrum Nauki i Sztuki. Warszawa jest również ważnym centrum kulturalnym, gospodarczym i naukowym. Miasto jest również siedzibą wielu firm międzynarodowych i polskich przedsiębiorstw. Warszawa jest miastem, które łączy w sobie przeszłość z nowoczesnością, oferując mieszkańcom i turystom szeroki zakres możliwości. Miasto jest również znane z wielu festiwali i wydarzeń kulturalnych, które przyciągają miliony turystów z całego świata. Warszawa to miasto pełne życia, kultury, historii i nowoczesności, które zdecydowanie zasługuje na uwagę. <|im_end|>\n\n\n### Szablon konwersacji \nSzablon konwersacji to oryginalna wersja Llama3\n\n```\n<|start_header_id|>system<|end_header_id|>\nYou are a helpful, smart, kind, and efficient AI assistant. You always fulfill the user's requests to the best of your ability.\n<|eot_id|>\n<|start_header_id|>user<|end_header_id|>\n{User}\n<|eot_id|><|start_header_id|>assistant<|end_header_id|>\n{Assistant}\n```\n\n### Wersje quantized\nWersje poddane quantyzacji są dostępne w repozytorium:\n* Llama-3-8B-Omnibus-1-PL-v01-instruct-GGUF - przetestowane w LM Studio (wybierz szablon - Llama3) oraz ollama\n\n* \n| Version | Model card                                                                 |\n| ------- | -------------------------------------------------------------------------- |\n| Instruct| [🤗 HuggingFace](https://huggingface.co/Remek/Llama-3-8B-Omnibus-1-PL-v01-instruct-GGUF) |\n\n### Trening\nPoniżej szczegóły hiperparametrów treningu:\n* learning_rate: 2e-05\n* train_batch_size: 8\n* eval_batch_size: 8\n* seed: 42\n* distributed_type: single-GPU (Nvidia A6000 Ada)\n* num_devices: 1\n* gradient_accumulation_steps: 4\n* optimizer: adamw_8bit\n* lr_scheduler_type: linear\n* lr_scheduler_warmup_steps: 5\n* num_epochs: 1\n* QLoRa - 4bit: rank 64, alpha 128\n\n#### Unsloth\n\n<img src=\"https://raw.githubusercontent.com/unslothai/unsloth/main/images/made with unsloth.png\" width=\"200px\" align=\"center\" />\n\n[Unsloth](https://unsloth.ai), narzędzie dzięki któremu powstał ten model.\n\n\n### Licencja\nLicencja na zasadzie nie do komercyjnego użycia (ze względu na dataset - generowany syntetycznie za pomocą modeli GPT4, GPT3.5) oraz licencja Llama3 (proszę o zapoznanie się ze szczegółami licencji).\n\n",
    "related_quantizations": []
  },
  "tags": [
    "gguf",
    "endpoints_compatible",
    "region:us",
    "conversational"
  ],
  "likes": 0,
  "downloads": 99,
  "gated": false,
  "private": false,
  "last_modified": "2024-05-21T16:21:38.000Z",
  "created_at": "2024-05-21T13:28:19.000Z",
  "pipeline_tag": "",
  "library_name": ""
}

{
  "_id": "664ca173567cb471efc71328",
  "id": "RichardErkhov/Remek_-_Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT-gguf",
  "modelId": "RichardErkhov/Remek_-_Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT-gguf",
  "sha": "9872dedfa9ca08b4518416c204731ece747e7fd4",
  "createdAt": "2024-05-21T13:28:19.000Z",
  "lastModified": "2024-05-21T16:21:38.000Z",
  "author": "RichardErkhov",
  "downloads": 99,
  "likes": 0,
  "gated": false,
  "private": false,
  "pipeline_tag": "",
  "library_name": "",
  "siblings_count": 24
}