Нейросеть которая продолжает текст
Модель ruGPT-3 XL содержит 1,3 млрд параметров и умеет продолжать тексты на русском и немного на английском языках, программный код. Для этого пользователю необходимо сформулировать «затравку» — фразу, которую модель допишет.
Попробуйте использовать «затравки» разных форматов, которые мы сформулировали для вас в качестве примеров:
- Сингапур стал первой страной, разрешившей
- Имеется три вида друзей: друзья, которые вас любят, друзья, которые к вам безразличны, и друзья,
- Физик Максим, 28 лет, больше всего любит фильмы:
- Новость: В россии выведен на полную мощность самый быстрый в мире суперкомпьютер «Кристофари». Категория:
- system: Добрый день! Чем могу помочь? user: Добрый день! С утра не работает интернет. Тариф 500мбит system:
Кодовая база проекта
- Посты на Habr: Как мы обучали ruGPT-3Тестируем ruGPT-3 на новых задачах
- Как использовать модель самому? Github и вся документация
Модель ruGPT-3 обучена и развёрнута с помощью суперкомпьютера «Кристофари» и платформы ML Space от SberCloud.
Дисклеймер
При использовании ruGPT-3 ответы Модели формируются на автоматической основе. ООО «Облачные технологии» не несет ответственности за точность, релевантность, корректность информации, полученной пользователем посредством данной функции.
Архитектура ruGPT-3 основывается на решении Generative Pretrained Transformer 3 от OpenAI.
Нейросеть «Порфирьевич» дописывает любые тексты и стихи на русском языке. Это аналог алгоритма компании Илона Маска
Адаптацию создал разработчик из Москвы, чтобы убедить своего друга заниматься нейросетями.
Разработчик из Москвы Михаил Гранкин создал русский аналог нейросети GPT-2 компании OpenAI Илона Маска, которая умеет генерировать тексты на основе пары предложений. TJ пообщался с автором адаптации алгоритма.
OpenAI использовали GPT-2 для генерации фейковых новостей, но опубликовали только часть алгоритма — полная версия не попала в открытый доступ из-за потенциальной опасности ИИ, способного распространять правдоподобные фейки. «Порфирьевич» работает по такому же принципу: нужно ввести связный текст на русском языке и нажать «Дополнить». Если нажать на кнопку ещё раз, нейросеть предложит новый вариант.
TJ проверил работу алгоритма на популярных за последний месяц новостях — текст курсивом дописала нейросеть.
Новость о том, что WADA на четыре года лишило Россию права участвовать в международных турнирах
Новость о недвижимости Аскер-заде
Новость о том, что «Россия 1» вырезала слово «протесты» из песни «Би-2»
Проверка показала, что с художественными текстами алгоритм справляется лучше.
Лев Толстой, «Война и мир»
Виктор Пелевин, «iPhuck X»
Сергей Довлатов, «Чемодан»
Михаил рассказал, что решил адаптировать GPT-2 на русский язык, чтобы убедить своего друга заняться нейросетями. Разработчик уверен, что нейронные сети — это просто и «круто», а каждый может научиться их использовать.
Крупные IT-компании вкладывают огромные деньги в AI. Результаты исследований публикуются открыто, почти всегда вместе с кодом. То есть результат многомиллиардных инвестиций раздают бесплатно на GitHub каждый день. И компании ещё соревнуются в том, кто больше раздаст этого добра. Количество публикаций и качество результатов растут невероятными темпами. В результате образуется разрыв — индустрия не успевает применить на практике всё, что публикуют исследователи.
Делать исследования, создавать новую архитектуру нейронных сетей —сложно, а пользоваться готовыми нейросетями – очень просто. Отсюда получается рецепт успеха: взять с полочки результат многомиллиардных инвестиций и применить его к своей задаче.
Изначально Михаил хотел создать нейросеть, которая бы генерировала стихи. Для этого ему сначала нужно было обучить сеть класса NLG (natural language generation) русскому языку. Он выбрал GPT-2, поскольку это «лучшая нейросеть в своём классе». Разработчик самостоятельно обучил её на работах Достоевского, Толстого, Пушкина, Булгакова, Гоголя и Пелевина.
Михаил назвал нейросеть «Порфирьевич» в честь «полицейско-литературного» робота по имени Порфирий Петрович из романа «iPhuck X» Виктора Пелевина. Интерфейс разработал фрилансер из Иркутска Артемий Дорошков.
«Порфирьевич» доступен не только через браузер. Сгенерировать новый текст можно и с помощью подключенного к нейросети Telegram-бота, который создал разработчик из Украины Юрий Лу. Бота подключили не до конца корректно: он может перестать работать в любой момент. При этом Михаил выступил за открытое использование своего алгоритма.
Михаил модернизировал «Порфирьевича» для своей оригинальной идеи — обучил его на всех стихах, «которые смог найти». В результате разработчик создал Telegram-бот «Нейропоэт», который умеет дописывать стихи.
Мой дядя самых честных правил,
Когда не в шутку занемог,
Он уважать себя заставил
И лучше выдумать не мог.
И смеяться от всей души
На беду, только можете вы!
Мне же всё он этот случай вспоминает,
Певущий, как песня удалая,
Всех, кому он прощенья просит,
И долго голову ломает.
Ты меня не любишь, не жалеешь,
Разве я немного не красив?
Не смотря в лицо, от страсти млеешь,
Мне на плечи руки опустив.
А может быть и еще хуже,
А может быть, и я не так хорош,
Да я тебе не скажу!
Я — как страшная тень, от дождя,
Я — как серый ветер ночи
От твоих полуоткрытых губ,
От твоих слезинок на щеках.
Я — как гром, я — как гром, я — как гром.
Я здесь, в коридоре, на полу,
Затрубил звонко и грозно.
Я убью тебя, о, как это можно!
Я убью тебя, о, как это можно!
Я убил, о, как это можно!
Выстрелил в сердце твое, в груди,
Да не бойся, что я убил тебя!
Зачем же мне скрывать что-то?
Ведь я люблю тебя.
Нейросеть «Порфирьевич» дописывает тексты и стихи на русском языке
Российский программист Михаил Гранкин создал и запустил на открытом для всех пользователей сети Интернет ресурсе (судя по IP-адресу в облаке Amazon) русский аналог нейросети GPT-2 компании OpenAI. Проект получил название «Порфирьевич», данная нейросеть умеет генерировать тексты с осмысленным содержанием на основе нескольких слов или пары предложений на русском языке.
Данный проект размещен разработчиком на веб-сервисе GitHub.
Принцип работы нейросети «Порфирьевич»: пользователю необходимо ввести связный текст на русском языке и нажать «Варианты». Если результат нелогичен или чем-то не устраивает, то можно нажать на кнопку «Варианты» еще раз и посмотреть новый вариант. Также в расширенных настройках нейросети «Порфирьевич» (нажать на колесико слева от кнопки «Варианты») можно изменять количество автодополняемых слов (от одного слова до шестидесяти слов), включать автодополнение и изменять его задержку.
Вот, например, как нейросеть «Порфирьевич» может продолжить историю, когда пользователь задает в качестве начальных условий всего два слова:
Если задано всего одно слово, даже буква («Я»), то возможен такой результат:
«Крупные IT-компании вкладывают огромные деньги в AI. Результаты исследований публикуются открыто, почти всегда вместе с кодом. То есть результат многомиллиардных инвестиций раздают бесплатно на GitHub каждый день. И компании еще соревнуются в том, кто больше раздаст этого добра. Количество публикаций и качество результатов растут невероятными темпами. В результате образуется разрыв — индустрия не успевает применить на практике всё, что публикуют исследователи. Делать исследования, создавать новую архитектуру нейронных сетей сложно, а пользоваться готовыми нейросетями – очень просто. Отсюда получается рецепт успеха: взять с полочки результат многомиллиардных инвестиций и применить его к своей задаче,» — рассказал Михаил Гранкин, разработчик нейросети «Порфирьевич», изданию «TJournal».
Оказывается, что изначально Михаил Гранкин хотел создать нейросеть, которая бы генерировала стихи. Но для этого ему сначала нужно было обучить сеть класса NLG (natural language generation) русскому языку. Однако, разработчик выбрал нейросеть GPT-2, поскольку это «лучшая нейросеть в своем классе». Михаил Гранкин самостоятельно обучал свою нейросеть на работах Достоевского, Толстого, Пушкина, Булгакова, Гоголя и Пелевина. Также само название нейросети «Порфирьевич» было выбрано в честь полицейского-литературного робота (ИИ) по имени Порфирий Петрович из романа «iPhuck X» Виктора Пелевина.
А вот что написано в разделе «О проекте» на веб-сайте нейросети «Порфирьевич»:
Проект разработан вполне сознательно. Разработчикам хотелось выглядеть успешными. Но что сделано, то сделано.Теперь вы можете пользоваться трудами авторов совершенно свободно, без потерь. И не надо с сожалением перечитывать то, что написано под прикрытием редактирования.
Мы не несем ни какой ответственности, но у нас нет средств получить ее! И на это есть причина!
Обязательно найдите нас. Это ваш единственный шанс. Иначе все пропало. Здесь нет нужных людей, нет документов.
Проверим работу нейросети «Порфирьевич». Ниже приведены несколько примеров, как этот сервис смог продолжить знаменитые цитаты о программировании.
«Ходить по воде и разрабатывать программы, следуя спецификации, очень просто… если они заморожены,» — Эдвард В. Берард
«Обучение программированию не может научить быть экспертом, также как и изучение кистей и красок не может превратить кого-либо в художника,» — Эрик С. Реймонд.
«Учитывая текущее плачевное состояние наших программ, можно сказать, что программирование определенно все ещё черная магия и, пока, мы не можем называть его технической дисциплиной,» — Билл Клинтон.
«Вы не можете создавать хорошие программы без хорошей команды, но большинство софтверных команд ведут себя как проблемная семья,» — Джим Маккарти
«Программирование — это как бить себя по лицу, рано или поздно ваш нос будет кровоточить,» — Кайл Вудбери.
«Сначала учите науку программирования и всю теорию. Далее выработаете свой программистский стиль. Затем забудьте все и просто программируйте,» — Джордж Карретт.
«Многие из вас знакомы с достоинствами программиста. Их всего три, и разумеется это: лень, нетерпеливость и гордыня,» — Ларри Уолл.
«Измерять продуктивность программирования подсчетом строк кода — это так же, как оценивать постройку самолета по его весу,» — Билл Гейтс.
Также нейросеть «Порфирьевич» поздравила пользователей Хабра с новым годом:
Улучшенная версия нейросети «Порфирьевич»
Не так давно российский программист Михаил Гранкин создал и запустил на открытом для всех пользователей сети интернет ресурсе русский аналог нейросети GPT-2 компании OpenAI.
Принцип работы нейросети «Порфирьевич»: пользователю необходимо ввести связный текст на русском языке и нажать «Продолжить рассказ». Если результат нелогичен или чем-то не устраивает, то можно нажать на кнопку «Сменить текст» и посмотреть новый вариант. Также в расширенной версии нейросети «Порфирьевич» была добавлена озвучка, которая точно должна вам понравиться.