richarderkhov/lorenzodemattei_-_geppetto-gguf overview

{
  "metadata": {},
  "card_data": {
    "frontmatter": {},
    "hero_image_url": "",
    "summary": "Pretrained GPT2 117M model for Italian. You can find further details in the paper: Lorenzo De Mattei, Michele Cafagna, Felice Dell’Orletta, Malvina Nissim, Marco Guerini \"GePpeTto Carves Italian into a Language Model\", arXiv preprint. Pdf available at: https://arxiv.org/abs/2004.14253",
    "quick_links": [],
    "benchmark_table_html": "",
    "readme_markdown": "Quantization made by Richard Erkhov.\n\n[Github](https://github.com/RichardErkhov)\n\n[Discord](https://discord.gg/pvy7H8DZMG)\n\n[Request more models](https://github.com/RichardErkhov/quant_request)\n\n\nGePpeTto - GGUF\n- Model creator: https://huggingface.co/LorenzoDeMattei/\n- Original model: https://huggingface.co/LorenzoDeMattei/GePpeTto/\n\n\n| Name | Quant method | Size |\n| ---- | ---- | ---- |\n| [GePpeTto.Q2_K.gguf](https://huggingface.co/RichardErkhov/LorenzoDeMattei_-_GePpeTto-gguf/blob/main/GePpeTto.Q2_K.gguf) | Q2_K | 0.06GB |\n| [GePpeTto.IQ3_XS.gguf](https://huggingface.co/RichardErkhov/LorenzoDeMattei_-_GePpeTto-gguf/blob/main/GePpeTto.IQ3_XS.gguf) | IQ3_XS | 0.06GB |\n| [GePpeTto.IQ3_S.gguf](https://huggingface.co/RichardErkhov/LorenzoDeMattei_-_GePpeTto-gguf/blob/main/GePpeTto.IQ3_S.gguf) | IQ3_S | 0.06GB |\n| [GePpeTto.Q3_K_S.gguf](https://huggingface.co/RichardErkhov/LorenzoDeMattei_-_GePpeTto-gguf/blob/main/GePpeTto.Q3_K_S.gguf) | Q3_K_S | 0.06GB |\n| [GePpeTto.IQ3_M.gguf](https://huggingface.co/RichardErkhov/LorenzoDeMattei_-_GePpeTto-gguf/blob/main/GePpeTto.IQ3_M.gguf) | IQ3_M | 0.07GB |\n| [GePpeTto.Q3_K.gguf](https://huggingface.co/RichardErkhov/LorenzoDeMattei_-_GePpeTto-gguf/blob/main/GePpeTto.Q3_K.gguf) | Q3_K | 0.07GB |\n| [GePpeTto.Q3_K_M.gguf](https://huggingface.co/RichardErkhov/LorenzoDeMattei_-_GePpeTto-gguf/blob/main/GePpeTto.Q3_K_M.gguf) | Q3_K_M | 0.07GB |\n| [GePpeTto.Q3_K_L.gguf](https://huggingface.co/RichardErkhov/LorenzoDeMattei_-_GePpeTto-gguf/blob/main/GePpeTto.Q3_K_L.gguf) | Q3_K_L | 0.07GB |\n| [GePpeTto.IQ4_XS.gguf](https://huggingface.co/RichardErkhov/LorenzoDeMattei_-_GePpeTto-gguf/blob/main/GePpeTto.IQ4_XS.gguf) | IQ4_XS | 0.07GB |\n| [GePpeTto.Q4_0.gguf](https://huggingface.co/RichardErkhov/LorenzoDeMattei_-_GePpeTto-gguf/blob/main/GePpeTto.Q4_0.gguf) | Q4_0 | 0.08GB |\n| [GePpeTto.IQ4_NL.gguf](https://huggingface.co/RichardErkhov/LorenzoDeMattei_-_GePpeTto-gguf/blob/main/GePpeTto.IQ4_NL.gguf) | IQ4_NL | 0.08GB |\n| [GePpeTto.Q4_K_S.gguf](https://huggingface.co/RichardErkhov/LorenzoDeMattei_-_GePpeTto-gguf/blob/main/GePpeTto.Q4_K_S.gguf) | Q4_K_S | 0.08GB |\n| [GePpeTto.Q4_K.gguf](https://huggingface.co/RichardErkhov/LorenzoDeMattei_-_GePpeTto-gguf/blob/main/GePpeTto.Q4_K.gguf) | Q4_K | 0.08GB |\n| [GePpeTto.Q4_K_M.gguf](https://huggingface.co/RichardErkhov/LorenzoDeMattei_-_GePpeTto-gguf/blob/main/GePpeTto.Q4_K_M.gguf) | Q4_K_M | 0.08GB |\n| [GePpeTto.Q4_1.gguf](https://huggingface.co/RichardErkhov/LorenzoDeMattei_-_GePpeTto-gguf/blob/main/GePpeTto.Q4_1.gguf) | Q4_1 | 0.08GB |\n| [GePpeTto.Q5_0.gguf](https://huggingface.co/RichardErkhov/LorenzoDeMattei_-_GePpeTto-gguf/blob/main/GePpeTto.Q5_0.gguf) | Q5_0 | 0.09GB |\n| [GePpeTto.Q5_K_S.gguf](https://huggingface.co/RichardErkhov/LorenzoDeMattei_-_GePpeTto-gguf/blob/main/GePpeTto.Q5_K_S.gguf) | Q5_K_S | 0.09GB |\n| [GePpeTto.Q5_K.gguf](https://huggingface.co/RichardErkhov/LorenzoDeMattei_-_GePpeTto-gguf/blob/main/GePpeTto.Q5_K.gguf) | Q5_K | 0.09GB |\n| [GePpeTto.Q5_K_M.gguf](https://huggingface.co/RichardErkhov/LorenzoDeMattei_-_GePpeTto-gguf/blob/main/GePpeTto.Q5_K_M.gguf) | Q5_K_M | 0.09GB |\n| [GePpeTto.Q5_1.gguf](https://huggingface.co/RichardErkhov/LorenzoDeMattei_-_GePpeTto-gguf/blob/main/GePpeTto.Q5_1.gguf) | Q5_1 | 0.1GB |\n| [GePpeTto.Q6_K.gguf](https://huggingface.co/RichardErkhov/LorenzoDeMattei_-_GePpeTto-gguf/blob/main/GePpeTto.Q6_K.gguf) | Q6_K | 0.1GB |\n\n\n\n\nOriginal model description:\n---\nlanguage: it\n---\n\n# GePpeTto GPT2 Model 🇮🇹\n\nPretrained GPT2 117M model for Italian.\n\nYou can find further details in the paper:\n\nLorenzo De Mattei, Michele Cafagna, Felice Dell’Orletta, Malvina Nissim, Marco Guerini \"GePpeTto Carves Italian into a Language Model\", arXiv preprint. Pdf available at: https://arxiv.org/abs/2004.14253\n\n## Pretraining Corpus\n\nThe pretraining set comprises two main sources. The first one is a dump of Italian Wikipedia (November 2019), \nconsisting of 2.8GB of text. The second one is the ItWac corpus (Baroni et al., 2009), which amounts to 11GB of web\ntexts. This collection provides a mix of standard and less standard Italian, on a rather wide chronological span, \nwith older texts than the Wikipedia dump (the latter stretches only to the late 2000s).\n\n## Pretraining details\n\nThis model was trained using GPT2's Hugging Face implemenation on 4 NVIDIA Tesla T4 GPU for 620k steps.\n\nTraining parameters:\n\n- GPT-2 small configuration\n- vocabulary size: 30k\n- Batch size: 32\n- Block size: 100\n- Adam Optimizer\n- Initial learning rate: 5e-5\n- Warm up steps: 10k\n\n## Perplexity scores\n\n| Domain | Perplexity |\n|---|---|\n| Wikipedia | 26.1052 |\n| ItWac | 30.3965 |\n| Legal | 37.2197 |\n| News | 45.3859 |\n| Social Media | 84.6408 |\n\nFor further details, qualitative analysis and human evaluation check out: https://arxiv.org/abs/2004.14253\n\n## Load Pretrained Model\n\nYou can use this model by installing Huggingface library `transformers`. And you can use it directly by initializing it like this:  \n\n```python\nfrom transformers import GPT2Tokenizer, GPT2Model\n\nmodel = GPT2Model.from_pretrained('LorenzoDeMattei/GePpeTto')\ntokenizer = GPT2Tokenizer.from_pretrained(\n    'LorenzoDeMattei/GePpeTto',\n)\n```\n\n## Example using GPT2LMHeadModel\n\n```python\nfrom transformers import AutoTokenizer, AutoModelWithLMHead, pipeline, GPT2Tokenizer\n\ntokenizer = AutoTokenizer.from_pretrained(\"LorenzoDeMattei/GePpeTto\")\nmodel = AutoModelWithLMHead.from_pretrained(\"LorenzoDeMattei/GePpeTto\")\n\ntext_generator = pipeline('text-generation', model=model, tokenizer=tokenizer)\nprompts = [\n    \"Wikipedia Geppetto\",\n    \"Maestro Ciliegia regala il pezzo di legno al suo amico Geppetto, il quale lo prende per fabbricarsi un burattino maraviglioso\"]\n\n\nsamples_outputs = text_generator(\n    prompts,\n    do_sample=True,\n    max_length=50,\n    top_k=50,\n    top_p=0.95,\n    num_return_sequences=3\n)\n\n\nfor i, sample_outputs in enumerate(samples_outputs):\n    print(100 * '-')\n    print(\"Prompt:\", prompts[i])\n    for sample_output in sample_outputs:\n        print(\"Sample:\", sample_output['generated_text'])\n        print()\n\n```\n\nOutput is,\n\n```\n----------------------------------------------------------------------------------------------------\nPrompt: Wikipedia Geppetto\nSample: Wikipedia Geppetto rosso (film 1920)\n\nGeppetto rosso (\"The Smokes in the Black\") è un film muto del 1920 diretto da Henry H. Leonard.\n\nIl film fu prodotto dalla Selig Poly\n\nSample: Wikipedia Geppetto\n\nGeppetto (\"Geppetto\" in piemontese) è un comune italiano di 978 abitanti della provincia di Cuneo in Piemonte.\n\nL'abitato, che si trova nel versante valtellinese, si sviluppa nella\n\nSample: Wikipedia Geppetto di Natale (romanzo)\n\nGeppetto di Natale è un romanzo di Mario Caiano, pubblicato nel 2012.\n\n----------------------------------------------------------------------------------------------------\nPrompt: Maestro Ciliegia regala il pezzo di legno al suo amico Geppetto, il quale lo prende per fabbricarsi un burattino maraviglioso\nSample: Maestro Ciliegia regala il pezzo di legno al suo amico Geppetto, il quale lo prende per fabbricarsi un burattino maraviglioso. Il burattino riesce a scappare. Dopo aver trovato un prezioso sacchetto si reca\n\nSample: Maestro Ciliegia regala il pezzo di legno al suo amico Geppetto, il quale lo prende per fabbricarsi un burattino maraviglioso, e l'unico che lo possiede, ma, di fronte a tutte queste prove\n\nSample: Maestro Ciliegia regala il pezzo di legno al suo amico Geppetto, il quale lo prende per fabbricarsi un burattino maraviglioso: - A voi gli occhi, le guance! A voi il mio pezzo!\n```\n\n## Citation\n\nPlease use the following bibtex entry:\n\n```\n@misc{mattei2020geppetto,\n    title={GePpeTto Carves Italian into a Language Model},\n    author={Lorenzo De Mattei and Michele Cafagna and Felice Dell'Orletta and Malvina Nissim and Marco Guerini},\n    year={2020},\n    eprint={2004.14253},\n    archivePrefix={arXiv},\n    primaryClass={cs.CL}\n}\n```\n\n## References\n\nMarco Baroni, Silvia Bernardini, Adriano Ferraresi,\nand Eros Zanchetta. 2009. The WaCky wide web: a\ncollection of very large linguistically processed webcrawled corpora. Language resources and evaluation, 43(3):209–226.\n\n\n",
    "related_quantizations": []
  },
  "tags": [
    "gguf",
    "arxiv:2004.14253",
    "endpoints_compatible",
    "region:us"
  ],
  "likes": 0,
  "downloads": 895,
  "gated": false,
  "private": false,
  "last_modified": "2024-04-17T10:39:44.000Z",
  "created_at": "2024-04-17T10:36:23.000Z",
  "pipeline_tag": "",
  "library_name": ""
}

{
  "_id": "661fa627cd9aa4c2fb2c7a11",
  "id": "RichardErkhov/LorenzoDeMattei_-_GePpeTto-gguf",
  "modelId": "RichardErkhov/LorenzoDeMattei_-_GePpeTto-gguf",
  "sha": "5888563ada0f25bee7aeb1ad26317c46400f63e9",
  "createdAt": "2024-04-17T10:36:23.000Z",
  "lastModified": "2024-04-17T10:39:44.000Z",
  "author": "RichardErkhov",
  "downloads": 895,
  "likes": 0,
  "gated": false,
  "private": false,
  "pipeline_tag": "",
  "library_name": "",
  "siblings_count": 23
}