# UL2

## Ikhtisar

Model T5 diperkenalkan dalam [Unifying Language Learning Paradigms](https://huggingface.co/papers/2205.05131) oleh Yi Tay, Mostafa Dehghani, Vinh Q. Tran, Xavier Garcia, Dara Bahri, Tal Schuster, Huaixiu Steven Zheng, Neil Houlsby, Donald Metzler.

Abstrak dari makalah tersebut adalah sebagai berikut:

*Model pre-trained yang ada umumnya dirancang untuk kelas masalah tertentu. Hingga saat ini, tampaknya belum ada konsensus mengenai arsitektur dan setup pre-training yang tepat. Kertas kerja ini menyajikan kerangka kerja terpadu untuk pre-training model yang secara universal efektif di berbagai dataset dan setup. Kami memulai dengan memisahkan arketipe arsitektur dari tujuan pre-training — dua konsep yang sering kali dicampuradukkan. Selanjutnya, kami menyajikan perspektif yang digeneralisasi dan terpadu untuk self-supervision dalam NLP, serta menunjukkan bagaimana tujuan pre-training yang berbeda dapat dipandang sebagai satu sama lain dan bagaimana interpolasi antar tujuan yang berbeda dapat menjadi efektif. Kami kemudian mengusulkan Mixture-of-Denoisers (MoD), sebuah tujuan pre-training yang menggabungkan berbagai paradigma pre-training. Kami juga memperkenalkan konsep mode switching, di mana fine-tuning downstream dikaitkan dengan skema pre-training tertentu. Kami melakukan eksperimen ablasi yang luas untuk membandingkan beberapa tujuan pre-training dan menemukan bahwa metode kami mendorong Pareto-frontier dengan melampaui model T5 dan/atau model serupa GPT di berbagai setup yang beragam. Terakhir, dengan menskalakan model kami hingga 20B parameter, kami mencapai kinerja SOTA pada 50 tugas NLP supervised yang mapan, mulai dari generasi bahasa (dengan evaluasi otomatis dan manusia), pemahaman bahasa, klasifikasi teks, question answering, penalaran commonsense, penalaran teks panjang, grounding pengetahuan terstruktur, dan pencarian informasi. Model kami juga mencapai hasil yang kuat pada in-context learning, melampaui GPT-3 175B pada zero-shot SuperGLUE dan melipatgandakan kinerja T5-XXL tiga kali lipat pada one-shot summarization.*

Model ini disumbangkan oleh [DanielHesslow](https://huggingface.co/Seledorn). Kode aslinya dapat ditemukan [di sini](https://github.com/google-research/google-research/tree/master/ul2).

## Tips penggunaan

- UL2 adalah model encoder-decoder yang dilatih sebelumnya pada campuran fungsi denoising serta disempurnakan pada serangkaian tugas downstream.
- UL2 memiliki arsitektur yang sama dengan [T5v1.1](t5v1.1) tetapi menggunakan fungsi aktivasi Gated-SiLU alih-alih Gated-GELU.
- Para penulis merilis checkpoint dari satu arsitektur yang dapat dilihat [di sini](https://huggingface.co/google/ul2)

Karena UL2 memiliki arsitektur yang sama dengan T5v1.1, silakan merujuk ke [halaman dokumentasi T5](t5) untuk referensi API, tips, contoh kode, dan notebook.