Специалисты, представляющие компанию OpenAI, разработали алгоритм, способный самостоятельно составлять правдоподобные тексты, отвечать на вопросы и выполнять другие задачи такого рода. Единственный навык, которым обладает программа — способность предсказывать следующее слово в тексте, однако для того, чтобы это умение «отточить», алгоритм обучался на огромном количестве текста.
Как говорится в пресс-релизе разработчиков, машина способна на базовом уровне «понимать» изученные тексты и даже кратко их пересказывать, давать довольно осмысленные ответы на вопросы, а также осуществлять машинный перевод и составлять истории на заданные темы. Специалисты утверждают, что GPT-2, создавая текст в том или ином жанре, способен даже придерживаться наиболее подходящего стиля.
Для обучения алгоритма были использованы восемь миллионов текстовых страниц в интернете общим «весом» около 40 гигабайт. При этом, как утверждается, база данных содержаладовольно разнообразные по стилю и тематике тексты. После того, как алгоритм прошёл обучение, он смог составлять наиболее «осмысленные» тексты с наименьшего количества попыток, если нечто похожее присутствовало в изученной им базе данных. Среди недостатков разработки учёные отмечают её стремление слишком резко сменять тему.
Специалисты не стали представлять полностью обученную модель во всеобщий доступ — по их мнению, это могло бы привести к использованию технологии «во зло». Вместо этого создатели алгоритма разместили в интернете значительно более упрощённую версию, пригодную для экспериментов, а также техническую документацию.
Стоит отметить, что самообучающиеся алгоритмы и раньше порой демонстрировали высокий класс. Например, в 2016 году робот стал финалистом японской литературной премии имени писателя-фантаста Хоси Синъити. На конкурс было отправлено около полутора тысяч работ, лишь одиннадцать из которых были написаны с привлечением искусственного интеллекта.