richarderkhov/finnish-nlp_-_llama-7b-finnish-instruct-v0.2-gguf overview

{
  "metadata": {},
  "card_data": {
    "frontmatter": {},
    "hero_image_url": "",
    "summary": "For finetuning we try to select well known and widely used dataset and then filter/translate those with multiple methods: For this version we used a mix 21946 samples in total from the the following datasets: ### How to use Here is an example of using this model with Unsloth with some generation arguments you can modify: ``python import torch from unsloth import FastLlamaModel max_seq_length = 2048 dtype = None # None for auto detection. Float16 for Tesla T4, V100, Bfloat16 for Ampere+ load_in_4bit = True # Use 4bit quantization to reduce memory usage. Can be False. use_unsloth = True # use_transformers = True # LOADING MODEL USIINIG TRANSFORMERS assumes at least 16GB of memory. Tested with this configuration # If you have less memory use load_in_4bit or load_in_8_bit as needed if use_transformers: major_version, minor_version = torch.cuda.get_device_capability() model = AutoModelForCausalLM.from_pretrained(\"Finnish-NLP/llama-7b-finnish-instruct-v0.2\", device_map='cuda:0', torch_dtype = torch.bfloat16 if major_version >=8 else torch.float16) tokenizer = AutoTokenizer.from_pretrained(\"Finnish-NLP/llama-7b-finnish-instruct-v0.2\") # USING UNSLOTH, tested with load_in_4bit if use_unsloth: model, tokenizer = FastLlamaModel.from_pretrained( model_name = \"Finnish-NLP/llama-7b-finnish-instruct-v0.2\" max_seq_length = max_seq_length, dtype = dtype, load_in_4bit = load_in_4bit ) alpaca_prompt = \"\"\" Olet tekoälyavustaja. Seuraavaksi saat kysymyksen tai tehtävän. Kirjoita vastaus parhaasi mukaan siten että se täyttää kysymyksen tai tehtävän vaatimukset.  Kysymys/Tehtävä: {}  Vastauksesi: \"\"\" sample_questions = [\"Ketkä ovat Aku Ankan luona asuvat kolme ankanpoikaa?\",\\ \"Mikä on Suomen korkein tunturi?\",\\ \"Suomi soti Neuvostoliittoa vastaan talvisodan 1939-1940. Kuinka monta päivää sota kesti?\",\\ \"Luettele viisi yleistä Suomessa yleisesti käytettyä pojan nimeä. Nimet:\",\\ \"Luettele lyhyt, maksimissaan 50 sanan mittainen runo Suomesta. Runo:\",\\ ] from transformers import GenerationConfig generation_config = GenerationConfig( pad_token_id=tokenizer.eos_token_id, eos_token_id=tokenizer.convert_tokens_to_ids(\"\"), ) for sample_question in sample_questions: model.eval() inputs = tokenizer( [ alpaca_prompt.format( sample_question, # instruction ) ]*1, return_tensors = \"pt\").to(\"cuda\") with torch.no_grad(): generated_ids = model.generate( input_ids=inputs[\"input_ids\"], attention_mask=inputs[\"attention_mask\"], generation_config=generation_config, **{ \"temperature\": 0.1, \"penalty_alpha\": 0.6, \"top_k\": 3, \"do_sample\": True, \"repetition_penalty\": 1.28, \"min_length\": 10, \"max_new_tokens\": 200 }) generated_text = tokenizer.batch_decode(generated_ids, skip_special_tokens=True, clean_up_tokenization_spaces=True)[0] print(len(generated_ids[0])) print(\"KYSYMYS:\") print(generated_text.split('')[0]) print(\"VASTAUS:\") print(generated_text.split(' Vastauksesi:')[1]) print('##################################') ''' -->  Olet tekoälyavustaja. Seuraavaksi saat kysymyksen tai tehtävän. Kirjoita vastaus parhaasi mukaan siten että se täyttää kysymyksen tai tehtävän vaatimukset.  Kysymys/Tehtävä: Aku Ankan luona asuu kolme ankanpoikaa. Mitkä ovat heidän nimet? VASTAUS: Ankka Akun kanssa asuvat pojat ovat nimeltään Tupu, Hupu ja Lupu  ################################## KYSYMYS:  Olet tekoälyavustaja. Seuraavaksi saat kysymyksen tai tehtävän. Kirjoita vastaus parhaasi mukaan siten että se täyttää kysymyksen tai tehtävän vaatimukset.  Kysymys/Tehtävä: Mikä on Suomen korkein tunturi? VASTAUS: Suomen korkein tunturihuippu on Haltitunturi (1 324 metriä).  ################################## KYSYMYS:  Olet tekoälyavustaja. Seuraavaksi saat kysymyksen tai tehtävän. Kirjoita vastaus parhaasi mukaan siten että se täyttää kysymyksen tai tehtävän vaatimukset.  Kysymys/Tehtävä: Suomi soti Neuvostoliittoa vastaan talvisodan 1939-1940. Kuinka monta päivää sota kesti? VASTAUS: Talvisodan aikana Neuvostoliitto hyökkäsi Suomeen 30. marraskuuta ja 13. maaliskuuta välisenä aikana. Tämä tarkoittaa, että talvisota kesti 105 päivää.  ################################## KYSYMYS:  Olet tekoälyavustaja. Seuraavaksi saat kysymyksen tai tehtävän. Kirjoita vastaus parhaasi mukaan siten että se täyttää kysymyksen tai tehtävän vaatimukset.  Kysymys/Tehtävä: Luettele viisi yleistä Suomessa yleisesti käytettyä pojan nimeä. Nimet: VASTAUS: Yleisiä suomalaisia poikien nimiä ovat Eino, Onni, Olavi, Väinö ja Ilmari.  ################################## KYSYMYS:  Olet tekoälyavustaja. Seuraavaksi saat kysymyksen tai tehtävän. Kirjoita vastaus parhaasi mukaan siten että se täyttää kysymyksen tai tehtävän vaatimukset.  Kysymys/Tehtävä: Luettele lyhyt, maksimissaan 50 sanan mittainen runo Suomesta. Runo: VASTAUS: Olipa kerran kaunis maa, jossa ihmiset elivät sopusoinnussa. Se oli täynnä metsiä ja järviä, ja siellä asui onnellisia ja ystävällisiä ihmisiä.  `` ### Limitations and bias The training data used for this model contains a lot of content from the internet, which is far from neutral. Therefore, the model can have biased predictions. This bias will also affect all fine-tuned versions of this model. To reduce toxic content, the pretrained version of thiis model was trained with dataset filtered with a toxicity classifier but it cannot truly eliminate all toxic text. ### Finetuning Training was conducted on RTX 4080 using Unsloth framework https://github.com/unslothai/unsloth \\ Training script is available in this repo.",
    "quick_links": [],
    "benchmark_table_html": "",
    "readme_markdown": "Quantization made by Richard Erkhov.\n\n[Github](https://github.com/RichardErkhov)\n\n[Discord](https://discord.gg/pvy7H8DZMG)\n\n[Request more models](https://github.com/RichardErkhov/quant_request)\n\n\nllama-7b-finnish-instruct-v0.2 - GGUF\n- Model creator: https://huggingface.co/Finnish-NLP/\n- Original model: https://huggingface.co/Finnish-NLP/llama-7b-finnish-instruct-v0.2/\n\n\n| Name | Quant method | Size |\n| ---- | ---- | ---- |\n| [llama-7b-finnish-instruct-v0.2.Q2_K.gguf](https://huggingface.co/RichardErkhov/Finnish-NLP_-_llama-7b-finnish-instruct-v0.2-gguf/blob/main/llama-7b-finnish-instruct-v0.2.Q2_K.gguf) | Q2_K | 2.5GB |\n| [llama-7b-finnish-instruct-v0.2.IQ3_XS.gguf](https://huggingface.co/RichardErkhov/Finnish-NLP_-_llama-7b-finnish-instruct-v0.2-gguf/blob/main/llama-7b-finnish-instruct-v0.2.IQ3_XS.gguf) | IQ3_XS | 2.76GB |\n| [llama-7b-finnish-instruct-v0.2.IQ3_S.gguf](https://huggingface.co/RichardErkhov/Finnish-NLP_-_llama-7b-finnish-instruct-v0.2-gguf/blob/main/llama-7b-finnish-instruct-v0.2.IQ3_S.gguf) | IQ3_S | 2.9GB |\n| [llama-7b-finnish-instruct-v0.2.Q3_K_S.gguf](https://huggingface.co/RichardErkhov/Finnish-NLP_-_llama-7b-finnish-instruct-v0.2-gguf/blob/main/llama-7b-finnish-instruct-v0.2.Q3_K_S.gguf) | Q3_K_S | 2.9GB |\n| [llama-7b-finnish-instruct-v0.2.IQ3_M.gguf](https://huggingface.co/RichardErkhov/Finnish-NLP_-_llama-7b-finnish-instruct-v0.2-gguf/blob/main/llama-7b-finnish-instruct-v0.2.IQ3_M.gguf) | IQ3_M | 3.06GB |\n| [llama-7b-finnish-instruct-v0.2.Q3_K.gguf](https://huggingface.co/RichardErkhov/Finnish-NLP_-_llama-7b-finnish-instruct-v0.2-gguf/blob/main/llama-7b-finnish-instruct-v0.2.Q3_K.gguf) | Q3_K | 3.23GB |\n| [llama-7b-finnish-instruct-v0.2.Q3_K_M.gguf](https://huggingface.co/RichardErkhov/Finnish-NLP_-_llama-7b-finnish-instruct-v0.2-gguf/blob/main/llama-7b-finnish-instruct-v0.2.Q3_K_M.gguf) | Q3_K_M | 3.23GB |\n| [llama-7b-finnish-instruct-v0.2.Q3_K_L.gguf](https://huggingface.co/RichardErkhov/Finnish-NLP_-_llama-7b-finnish-instruct-v0.2-gguf/blob/main/llama-7b-finnish-instruct-v0.2.Q3_K_L.gguf) | Q3_K_L | 3.5GB |\n| [llama-7b-finnish-instruct-v0.2.IQ4_XS.gguf](https://huggingface.co/RichardErkhov/Finnish-NLP_-_llama-7b-finnish-instruct-v0.2-gguf/blob/main/llama-7b-finnish-instruct-v0.2.IQ4_XS.gguf) | IQ4_XS | 3.56GB |\n| [llama-7b-finnish-instruct-v0.2.Q4_0.gguf](https://huggingface.co/RichardErkhov/Finnish-NLP_-_llama-7b-finnish-instruct-v0.2-gguf/blob/main/llama-7b-finnish-instruct-v0.2.Q4_0.gguf) | Q4_0 | 3.73GB |\n| [llama-7b-finnish-instruct-v0.2.IQ4_NL.gguf](https://huggingface.co/RichardErkhov/Finnish-NLP_-_llama-7b-finnish-instruct-v0.2-gguf/blob/main/llama-7b-finnish-instruct-v0.2.IQ4_NL.gguf) | IQ4_NL | 3.76GB |\n| [llama-7b-finnish-instruct-v0.2.Q4_K_S.gguf](https://huggingface.co/RichardErkhov/Finnish-NLP_-_llama-7b-finnish-instruct-v0.2-gguf/blob/main/llama-7b-finnish-instruct-v0.2.Q4_K_S.gguf) | Q4_K_S | 3.76GB |\n| [llama-7b-finnish-instruct-v0.2.Q4_K.gguf](https://huggingface.co/RichardErkhov/Finnish-NLP_-_llama-7b-finnish-instruct-v0.2-gguf/blob/main/llama-7b-finnish-instruct-v0.2.Q4_K.gguf) | Q4_K | 3.97GB |\n| [llama-7b-finnish-instruct-v0.2.Q4_K_M.gguf](https://huggingface.co/RichardErkhov/Finnish-NLP_-_llama-7b-finnish-instruct-v0.2-gguf/blob/main/llama-7b-finnish-instruct-v0.2.Q4_K_M.gguf) | Q4_K_M | 3.97GB |\n| [llama-7b-finnish-instruct-v0.2.Q4_1.gguf](https://huggingface.co/RichardErkhov/Finnish-NLP_-_llama-7b-finnish-instruct-v0.2-gguf/blob/main/llama-7b-finnish-instruct-v0.2.Q4_1.gguf) | Q4_1 | 4.13GB |\n| [llama-7b-finnish-instruct-v0.2.Q5_0.gguf](https://huggingface.co/RichardErkhov/Finnish-NLP_-_llama-7b-finnish-instruct-v0.2-gguf/blob/main/llama-7b-finnish-instruct-v0.2.Q5_0.gguf) | Q5_0 | 4.52GB |\n| [llama-7b-finnish-instruct-v0.2.Q5_K_S.gguf](https://huggingface.co/RichardErkhov/Finnish-NLP_-_llama-7b-finnish-instruct-v0.2-gguf/blob/main/llama-7b-finnish-instruct-v0.2.Q5_K_S.gguf) | Q5_K_S | 4.52GB |\n| [llama-7b-finnish-instruct-v0.2.Q5_K.gguf](https://huggingface.co/RichardErkhov/Finnish-NLP_-_llama-7b-finnish-instruct-v0.2-gguf/blob/main/llama-7b-finnish-instruct-v0.2.Q5_K.gguf) | Q5_K | 4.64GB |\n| [llama-7b-finnish-instruct-v0.2.Q5_K_M.gguf](https://huggingface.co/RichardErkhov/Finnish-NLP_-_llama-7b-finnish-instruct-v0.2-gguf/blob/main/llama-7b-finnish-instruct-v0.2.Q5_K_M.gguf) | Q5_K_M | 4.64GB |\n| [llama-7b-finnish-instruct-v0.2.Q5_1.gguf](https://huggingface.co/RichardErkhov/Finnish-NLP_-_llama-7b-finnish-instruct-v0.2-gguf/blob/main/llama-7b-finnish-instruct-v0.2.Q5_1.gguf) | Q5_1 | 4.91GB |\n| [llama-7b-finnish-instruct-v0.2.Q6_K.gguf](https://huggingface.co/RichardErkhov/Finnish-NLP_-_llama-7b-finnish-instruct-v0.2-gguf/blob/main/llama-7b-finnish-instruct-v0.2.Q6_K.gguf) | Q6_K | 5.35GB |\n| [llama-7b-finnish-instruct-v0.2.Q8_0.gguf](https://huggingface.co/RichardErkhov/Finnish-NLP_-_llama-7b-finnish-instruct-v0.2-gguf/blob/main/llama-7b-finnish-instruct-v0.2.Q8_0.gguf) | Q8_0 | 6.93GB |\n\n\n\n\nOriginal model description:\n---\nlibrary_name: transformers\nlicense: apache-2.0\ntags:\n- finnish\n- llama\ninference: true\npipeline_tag: text-generation\n---\n\n# Llama-7b-instruct-v0.2 for Finnish\n\n\n- This is 0.2 version release of our Instruct finetuned model from https://huggingface.co/Finnish-NLP/llama-7b-finnish \n- Model was trained for 3 epochs using 21946 samples and for this release we chose checkpoint at 8000 steps. \n- Future DPO/SFT+DPO variants are in the pipeline. Also we are investigating and testing different merging techiques\n\nFor finetuning we try to select well known and widely used dataset and then filter/translate those with multiple methods:\nFor this version we used a mix 21946 samples in total from the the following datasets:\n - LIMA from https://github.com/TurkuNLP/finnish-instructions \n - Dolly from https://github.com/TurkuNLP/finnish-instructions \n - OASST from https://github.com/TurkuNLP/finnish-instructions \n - Ultrafeedback https://huggingface.co/datasets/HuggingFaceH4/ultrafeedback_binarized/viewer/default/train_sft translated with deepl\n - facebook/belebele Finnish subset\n - google/boolq translated with deepl\n - LDJnr/Capybara translated with deepl\n - allenai/ai2_arc translated with deepl\n\n\n### How to use\n\nHere is an example of using this model with Unsloth with some generation arguments you can modify:\n\n```python\nimport torch\nfrom unsloth import FastLlamaModel\n\nmax_seq_length = 2048\ndtype = None # None for auto detection. Float16 for Tesla T4, V100, Bfloat16 for Ampere+\nload_in_4bit = True # Use 4bit quantization to reduce memory usage. Can be False.\n\n\nuse_unsloth = True\n# use_transformers = True\n\n# LOADING MODEL USIINIG TRANSFORMERS assumes at least 16GB of memory. Tested with this configuration\n# If you have less memory use load_in_4bit or load_in_8_bit as needed\nif use_transformers:\n  major_version, minor_version = torch.cuda.get_device_capability()\n  model = AutoModelForCausalLM.from_pretrained(\"Finnish-NLP/llama-7b-finnish-instruct-v0.2\", device_map='cuda:0', torch_dtype = torch.bfloat16 if major_version >=8 else torch.float16)\n  tokenizer = AutoTokenizer.from_pretrained(\"Finnish-NLP/llama-7b-finnish-instruct-v0.2\")\n\n# USING UNSLOTH, tested with load_in_4bit\nif use_unsloth:\n  model, tokenizer = FastLlamaModel.from_pretrained(\n      model_name = \"Finnish-NLP/llama-7b-finnish-instruct-v0.2\"\n      max_seq_length = max_seq_length,\n      dtype = dtype,\n      load_in_4bit = load_in_4bit\n  )\n\nalpaca_prompt = \"\"\"<|alku|> Olet tekoälyavustaja. Seuraavaksi saat kysymyksen tai tehtävän. Kirjoita vastaus parhaasi mukaan siten että se täyttää kysymyksen tai tehtävän vaatimukset.\n<|ihminen|> Kysymys/Tehtävä:\n{}\n<|avustaja|> Vastauksesi:\n\"\"\"\n\nsample_questions = [\"Ketkä ovat Aku Ankan luona asuvat kolme ankanpoikaa?\",\\\n\"Mikä on Suomen korkein tunturi?\",\\\n\"Suomi soti Neuvostoliittoa vastaan talvisodan 1939-1940. Kuinka monta päivää sota kesti?\",\\\n\"Luettele viisi yleistä Suomessa yleisesti käytettyä pojan nimeä. Nimet:\",\\\n\"Luettele lyhyt, maksimissaan 50 sanan mittainen runo Suomesta. Runo:\",\\\n]\n\nfrom transformers import GenerationConfig\n\ngeneration_config = GenerationConfig(\n    pad_token_id=tokenizer.eos_token_id,\n    eos_token_id=tokenizer.convert_tokens_to_ids(\"<|loppu|>\"),\n)\n\n\nfor sample_question in sample_questions:\n\n  model.eval()\n  \n  inputs = tokenizer(\n[\n    alpaca_prompt.format(\n        sample_question, # instruction\n    )\n]*1, return_tensors = \"pt\").to(\"cuda\")\n  \n  with torch.no_grad():\n      generated_ids = model.generate(\n      input_ids=inputs[\"input_ids\"], \n      attention_mask=inputs[\"attention_mask\"], \n      generation_config=generation_config, **{\n        \"temperature\": 0.1,\n        \"penalty_alpha\": 0.6,\n        \"top_k\": 3,\n        \"do_sample\": True,\n        \"repetition_penalty\": 1.28,\n        \"min_length\": 10,\n        \"max_new_tokens\": 200\n      })\n  \n  generated_text = tokenizer.batch_decode(generated_ids, skip_special_tokens=True, clean_up_tokenization_spaces=True)[0]\n  print(len(generated_ids[0]))\n  print(\"KYSYMYS:\")\n  print(generated_text.split('<|avustaja|>')[0])\n  print(\"VASTAUS:\")\n  print(generated_text.split('<|avustaja|> Vastauksesi:')[1])\n  print('##################################')\n\n'''\n-->\n<s><|alku|> Olet tekoälyavustaja. Seuraavaksi saat kysymyksen tai tehtävän. Kirjoita vastaus parhaasi mukaan siten että se täyttää kysymyksen tai tehtävän vaatimukset.\n<|ihminen|> Kysymys/Tehtävä:\n Aku Ankan luona asuu kolme ankanpoikaa. Mitkä ovat heidän nimet?\nVASTAUS:\n Ankka Akun kanssa asuvat pojat ovat nimeltään Tupu, Hupu ja Lupu <|loppu|>\n##################################\n\nKYSYMYS:\n<s><|alku|> Olet tekoälyavustaja. Seuraavaksi saat kysymyksen tai tehtävän. Kirjoita vastaus parhaasi mukaan siten että se täyttää kysymyksen tai tehtävän vaatimukset.\n<|ihminen|> Kysymys/Tehtävä:\n Mikä on Suomen korkein tunturi?\nVASTAUS:\n Suomen korkein tunturihuippu on Haltitunturi (1 324 metriä). <|loppu|>\n##################################\n\nKYSYMYS:\n<s><|alku|> Olet tekoälyavustaja. Seuraavaksi saat kysymyksen tai tehtävän. Kirjoita vastaus parhaasi mukaan siten että se täyttää kysymyksen tai tehtävän vaatimukset.\n<|ihminen|> Kysymys/Tehtävä:\n Suomi soti Neuvostoliittoa vastaan talvisodan 1939-1940. Kuinka monta päivää sota kesti?\nVASTAUS:\n Talvisodan aikana Neuvostoliitto hyökkäsi Suomeen 30. marraskuuta ja 13. maaliskuuta välisenä aikana. Tämä tarkoittaa, että talvisota kesti 105 päivää. <|loppu|>\n##################################\n\nKYSYMYS:\n<s><|alku|> Olet tekoälyavustaja. Seuraavaksi saat kysymyksen tai tehtävän. Kirjoita vastaus parhaasi mukaan siten että se täyttää kysymyksen tai tehtävän vaatimukset.\n<|ihminen|> Kysymys/Tehtävä:\n Luettele viisi yleistä Suomessa yleisesti käytettyä pojan nimeä. Nimet:\nVASTAUS:\n Yleisiä suomalaisia poikien nimiä ovat Eino, Onni, Olavi, Väinö ja Ilmari. <|loppu|>\n##################################\n\nKYSYMYS:\n<s><|alku|> Olet tekoälyavustaja. Seuraavaksi saat kysymyksen tai tehtävän. Kirjoita vastaus parhaasi mukaan siten että se täyttää kysymyksen tai tehtävän vaatimukset.\n<|ihminen|> Kysymys/Tehtävä:\n Luettele lyhyt, maksimissaan 50 sanan mittainen runo Suomesta. Runo:\nVASTAUS:\n Olipa kerran kaunis maa,\n jossa ihmiset elivät sopusoinnussa.\n Se oli täynnä metsiä ja järviä,\n ja siellä asui onnellisia ja ystävällisiä ihmisiä. <|loppu|>\n```\n\n### Limitations and bias\n\nThe training data used for this model contains a lot of content from the internet, which is far from neutral. \nTherefore, the model can have biased predictions. This bias will also affect all fine-tuned versions of this model.\nTo reduce toxic content, the pretrained version of thiis model was trained with dataset filtered with a toxicity classifier but it cannot truly eliminate all toxic text.\n\n### Finetuning\n\nTraining was conducted on RTX 4080 using Unsloth framework https://github.com/unslothai/unsloth \\\nTraining script is available in this repo.\n\n\n## Evaluation results\n\nThis model was evaluated using [FIN-bench by TurkuNLP](https://github.com/TurkuNLP/FIN-bench) with zero-shot setting, but \\\nthe evaluation script had some problems running succesfully, so the results reported below should perhaps be viewed with some caution.\n\n[llama-7b-finnish-instruct-v0.2](https://huggingface.co/Finnish-NLP/llama-7b-finnish-instruct-v0.2):\n\n|                      Task                      |Version|       Metric        |Value |   |Stderr|\n|------------------------------------------------|------:|---------------------|-----:|---|-----:|\n|bigbench_analogies                              |      0|multiple_choice_grade|0.5385|±  |0.0439|\n|bigbench_arithmetic_1_digit_addition            |      0|multiple_choice_grade|0.3400|±  |0.0476|\n|bigbench_arithmetic_1_digit_division            |      0|multiple_choice_grade|0.4783|±  |0.1065|\n|bigbench_arithmetic_1_digit_multiplication      |      0|multiple_choice_grade|0.5200|±  |0.0502|\n|bigbench_arithmetic_1_digit_subtraction         |      0|multiple_choice_grade|0.3400|±  |0.0476|\n|bigbench_arithmetic_2_digit_addition            |      0|multiple_choice_grade|0.3200|±  |0.0469|\n|bigbench_arithmetic_2_digit_division            |      0|multiple_choice_grade|0.3400|±  |0.0476|\n|bigbench_arithmetic_2_digit_multiplication      |      0|multiple_choice_grade|0.2200|±  |0.0416|\n|bigbench_arithmetic_2_digit_subtraction         |      0|multiple_choice_grade|0.2800|±  |0.0451|\n|bigbench_arithmetic_3_digit_addition            |      0|multiple_choice_grade|0.3000|±  |0.0461|\n|bigbench_arithmetic_3_digit_division            |      0|multiple_choice_grade|0.2500|±  |0.0435|\n|bigbench_arithmetic_3_digit_multiplication      |      0|multiple_choice_grade|0.2200|±  |0.0416|\n|bigbench_arithmetic_3_digit_subtraction         |      0|multiple_choice_grade|0.4000|±  |0.0492|\n|bigbench_arithmetic_4_digit_addition            |      0|multiple_choice_grade|0.3500|±  |0.0479|\n|bigbench_arithmetic_4_digit_division            |      0|multiple_choice_grade|0.2600|±  |0.0441|\n|bigbench_arithmetic_4_digit_multiplication      |      0|multiple_choice_grade|0.2100|±  |0.0409|\n|bigbench_arithmetic_4_digit_subtraction         |      0|multiple_choice_grade|0.4400|±  |0.0499|\n|bigbench_arithmetic_5_digit_addition            |      0|multiple_choice_grade|0.4500|±  |0.0500|\n|bigbench_arithmetic_5_digit_division            |      0|multiple_choice_grade|0.1800|±  |0.0386|\n|bigbench_arithmetic_5_digit_multiplication      |      0|multiple_choice_grade|0.2000|±  |0.0402|\n|bigbench_arithmetic_5_digit_subtraction         |      0|multiple_choice_grade|0.5000|±  |0.0503|\n|bigbench_cause_and_effect_one_sentence          |      0|multiple_choice_grade|0.5294|±  |0.0706|\n|bigbench_cause_and_effect_one_sentence_no_prompt|      0|multiple_choice_grade|0.8627|±  |0.0487|\n|bigbench_cause_and_effect_two_sentences         |      0|multiple_choice_grade|0.4314|±  |0.0700|\n|bigbench_emotions                               |      0|multiple_choice_grade|0.4750|±  |0.0396|\n|bigbench_empirical_judgments                    |      0|multiple_choice_grade|0.4141|±  |0.0498|\n|bigbench_general_knowledge                      |      0|multiple_choice_grade|0.4429|±  |0.0598|\n|bigbench_hhh_alignment_harmless                 |      0|multiple_choice_grade|0.3793|±  |0.0643|\n|bigbench_hhh_alignment_helpful                  |      0|multiple_choice_grade|0.3220|±  |0.0614|\n|bigbench_hhh_alignment_honest                   |      0|multiple_choice_grade|0.3898|±  |0.0640|\n|bigbench_hhh_alignment_other                    |      0|multiple_choice_grade|0.5581|±  |0.0766|\n|bigbench_intent_recognition                     |      0|multiple_choice_grade|0.2717|±  |0.0169|\n|bigbench_misconceptions                         |      0|multiple_choice_grade|0.5373|±  |0.0432|\n|bigbench_paraphrase                             |      0|multiple_choice_grade|0.5000|±  |0.0354|\n|bigbench_sentence_ambiguity                     |      0|multiple_choice_grade|0.5333|±  |0.0649|\n|bigbench_similarities_abstraction               |      0|multiple_choice_grade|0.5921|±  |0.0567|\n\n\n\n## Team Members\n\n- Aapo Tanskanen, [Hugging Face profile](https://huggingface.co/aapot), [LinkedIn profile](https://www.linkedin.com/in/aapotanskanen/)\n- Rasmus Toivanen, [Hugging Face profile](https://huggingface.co/RASMUS), [LinkedIn profile](https://www.linkedin.com/in/rasmustoivanen/)\n\nFeel free to contact us for more details 🤗\n\n",
    "related_quantizations": []
  },
  "tags": [
    "gguf",
    "endpoints_compatible",
    "region:us"
  ],
  "likes": 0,
  "downloads": 1003,
  "gated": false,
  "private": false,
  "last_modified": "2024-09-04T15:04:56.000Z",
  "created_at": "2024-09-04T08:20:51.000Z",
  "pipeline_tag": "",
  "library_name": ""
}

{
  "_id": "66d818639d8f1cbddaf51c14",
  "id": "RichardErkhov/Finnish-NLP_-_llama-7b-finnish-instruct-v0.2-gguf",
  "modelId": "RichardErkhov/Finnish-NLP_-_llama-7b-finnish-instruct-v0.2-gguf",
  "sha": "59a81d1dd1f54c0e192220e4165d92eef870704f",
  "createdAt": "2024-09-04T08:20:51.000Z",
  "lastModified": "2024-09-04T15:04:56.000Z",
  "author": "RichardErkhov",
  "downloads": 1003,
  "likes": 0,
  "gated": false,
  "private": false,
  "pipeline_tag": "",
  "library_name": "",
  "siblings_count": 24
}