GPT-J
| Тип | велика мовна модель відкрите програмне забезпечення generative pre-trained transformer авторегресійна модель і Модель-основаd  |
|---|---|
| Ліцензія | Apache Software License 2.0d |
| Вебсайт | 6b.eleuther.ai |
GPT-J — мовна модель штучного інтелекту з відкритим вихідним кодом, розроблена EleutherAI[1].
GPT-J працює дуже схоже на GPT-3 від OpenAI у різних zero-shot завданнях і може навіть перевершити його у завданнях генерації коду[2].
Нова версія GPT-J-6B є мовною моделлю, заснованою на наборі даних під назвою The Pile[3]. Pile — це 825-гігабайтний набір даних мовного моделювання з відкритим вихідним кодом, який розділений на 22 менших набору даних[4].
GPT-J схожий на ChatGPT за можливостями, хоча він не працює як чат-бот, а лише як «провісник тексту»[5].
У березні 2023 року Databricks випустила Dolly, ліцензовану Apache модель дотримання інструкцій, засновану на GPT-J з тонким налаштуванням з набору даних Stanford Alpaca[6].
- ↑ Demo, GPT-3. GPT-J | Discover AI use cases. gpt3demo.com (англ.). Архів оригіналу за 28 лютого 2023. Процитовано 28 лютого 2023.
- ↑ GPT-J-6B: An Introduction to the Largest Open Source GPT Model | Forefront. www.forefront.ai (англ.). Архів оригіналу за 9 березня 2023. Процитовано 28 лютого 2023.
- ↑ Wang, Ben, Table of contents, архів оригіналу за 28 лютого 2023, процитовано 28 лютого 2023
- ↑ The Pile. pile.eleuther.ai. Архів оригіналу за 28 лютого 2023. Процитовано 28 лютого 2023.
- ↑ Mueller, Vincent (25 січня 2022). How you can use GPT-J. Medium (англ.). Архів оригіналу за 28 лютого 2023. Процитовано 28 лютого 2023.
- ↑ Conover, Mike; Hayes, Matt; Mathur, Ankit; Meng, Xiangrui; Xie, Jianwei (24 березня 2023). Hello Dolly: Democratizing the magic of ChatGPT with open models. Архів оригіналу за 5 квітня 2023. Процитовано 5 квітня 2023.
