GPT-1
| Частина з циклу |
| Машинне навчання та добування даних |
|---|
 |
Генеративний попередньо навчений трансформер 1 (GPT-1) — перша з великих мовних моделей OpenAI після винаходу архітектури трансформера Google у 2017 році.[1] У червні 2018 року OpenAI опублікував статтю під назвою «Покращення розуміння мови шляхом генеративного попереднього навчання»[2], в якій вони представили цю початкову модель разом із загальною концепцією генеративного попередньо навченого трансформера.[3]
До цього моменту найефективніші нейронні моделі NLP переважно використовували навчання з учителем на основі великих обсягів даних, позначених вручну. Ця залежність від навчання з учителем обмежувала використання наборів даних, які не були добре анотовані, крім того, робила навчання надзвичайно дорогим та трудомістким;[2][4] багато мов (таких як суахілі або гаїтянська креольська) важко перекладати та інтерпретувати за допомогою таких моделей через брак доступного тексту для побудови корпусу.[4] На противагу цьому, «напівнавчений» підхід GPT включав два етапи: ненавчений генеративний етап «попереднього навчання», на якому для встановлення початкових параметрів використовувалася мета моделювання мови, та етап контрольованого дискримінативного «тонкого налаштування», на якому ці параметри адаптувалися до цільового завдання.[2]
Використання архітектури трансформера, на відміну від попередніх методів, що включали RNN з доповненою увагою, забезпечило GPT-моделям більш структуровану пам'ять, ніж можна було досягти за допомогою рекурентних механізмів; це призвело до «надійної продуктивності передачі між різноманітними завданнями».[2]
- ↑ Vaswani, Ashish; Shazeer, Noam; Parmar, Niki; Uszkoreit, Jakob; Jones, Llion; Gomez, Aidan N; Kaiser, Łukasz; Polosukhin, Illia (2017). Attention is All you Need (PDF). Advances in Neural Information Processing Systems. Curran Associates, Inc. 30.
- 1 2 3 4 Radford, Alec; Narasimhan, Karthik; Salimans, Tim; Sutskever, Ilya (11 червня 2018). Improving Language Understanding by Generative Pre-Training (PDF). OpenAI. с. 12. Архів (PDF) оригіналу за 26 січня 2021. Процитовано 23 січня 2021.
- ↑ GPT-1 to GPT-4: Each of OpenAI's GPT Models Explained and Compared. 11 квітня 2023. Архів оригіналу за 15 квітня 2023. Процитовано 29 квітня 2023.
- 1 2 Tsvetkov, Yulia (22 червня 2017). Opportunities and Challenges in Working with Low-Resource Languages (PDF). Carnegie Mellon University. Архів (PDF) оригіналу за 31 березня 2020. Процитовано 23 січня 2021.
