T0pp by BigScience ist ein Sprachmodell, das Zero-Shot-Learning ermöglicht, indem es auf eine Vielzahl von Aufgaben in natürlicher Sprache trainiert wurde. Im Gegensatz zu anderen Modellen wie GPT-3 ist T0pp 16-mal kleiner, aber gleichzeitig leistungsfähiger.
T0pp ist ein Encoder-Decoder-Modell, das auf einer Vielzahl von Aufgaben in natürlicher Sprache trainiert wurde. Dazu wurden zahlreiche englische Überwachungsdatensätze in Prompts umgewandelt, die jeweils mehrere Vorlagen mit verschiedenen Formulierungen enthalten. Diese Prompts ermöglichen es, die Fähigkeit des Modells zu testen, komplett unbekannte Aufgaben in natürlicher Sprache auszuführen.
T0pp kann für die Inferenz auf Aufgaben verwendet werden, indem ein Query in natürlicher Sprache angegeben wird. Das Modell generiert dann eine Vorhersage. Beispielsweise kann man fragen: "Ist diese Bewertung positiv oder negativ? Bewertung: Dies ist die beste Gusseisenpfanne, die Sie je kaufen werden." Das Modell sollte dann "Positiv" generieren.
Um T0pp zu verwenden, kann man das Modell in PyTorch wie folgt laden:
```python from transformers import AutoTokenizer, AutoModelForSeq2SeqLM
tokenizer = AutoTokenizer.from_pretrained("bigscience/T0pp") model = AutoModelForSeq2SeqLM.from_pretrained("bigscience/T0pp")
inputs = tokenizer.encode("Is this review positive or negative? Review: this is the best cast iron skillet you will ever buy", return_tensors="pt") outputs = model.generate(inputs) print(tokenizer.decode(outputs[0])) ```
T0pp übertrifft GPT-3 auf 9 von 11 Benchmarks, obwohl es 16-mal kleiner ist. Es kann auf eine Vielzahl von Aufgaben in natürlicher Sprache generalisieren und ist robust gegenüber der Formulierung von Prompts.
Weitere Informationen über T0pp by BigScience finden Sie in der Forschungsarbeit und im offiziellen Repository.
* KI-Zusammenfassungen können Fehler enthalten. Alle Angaben ohne Gewähr.