Поделиться
Компания Яндекс представила новый сервис — Зелибоба. Опробовать его может любой желающий, а главной его задачей является демонстрация возможностей языковой модели на основе Transformer, разработанной внутри компании.
Пример созданной сервисом истории
На странице проекта говорится, что главной задачей модели является генерирование «каждого последующего слова в предложении».
Для того, чтобы получившийся текст не представлял из себя набор несвязанных слов, она самостоятельно, в процессе обучения, оценивает возможность использования тех или иных конструкций.
Представители Яндекса заявили, что запоминать правила языка, а затем подбирать подходящие слова Зелибобе помогают параметры, заложенные внутри языковой модели YaLM. Они по своей сути похожи на рычажки, которые помогают правильно составляют итоговый текст.
Интенсив «3 дня машинного обучения: Python, нейросети и биткоин»
10–12 июня, Онлайн, Беcплатно
tproger.ru
События и курсы на tproger.ru
Сообщается, что в самой YaLM таких «рычажков» от 1 до 13 млрд. В Зелибобе используется вариант с 3 млрд.
Для обучения языковой модели российской IT-корпорации использовались терабайты различных данных: от страниц на Википеди и новостных статей до открытых записей пользователей социальных сетей и форумов.
UPD: Спустя около часа после выхода материала, Зелибоба перестал быть доступен. Возможно, Яндекс допустил преждевременный анонс своего сервиса.
Источник: