odri / смешные картинки, мемы и приколы на JoyReactor

Руководство по быстрому началу общения с нейровайфу

Всем доброго времени суток!
Это мой первый нормальный пост, так что заранее извиняюсь, если будут косяки с оформлением. Большинства тегов не нашёл, но они явно нужны по смыслу.

Недавно узнал что есть множество людей далеких от общения текстовыми нейросетями. Специально для них решил написать простое руководство по вкатыванию в тему буквально в несколько(десятков) кликов.

Пролог (можно пропустить)

Сокращённо текстовые нейронки принято называть LLM - Large Language Model (Большая Языковая Модель)

Все конечно в курсе что есть такая вещь как ChatGPT, которую условно можно сравнить с нейросетью для генерации картинок Midjourney.

Но не все в курсе, что как для Midjourney свободный аналог - Stable Diffusion, так и для Чата GPT, есть точно такие же аналоги, которые можно запускать как локально у себя на компе, так и в облаке, а именно Локальные LLM.

Однако в данном руководстве я пока не планирую давать подробную информацию по данной теме (иначе словом длиннопост результат будет не описать). Но если появится интерес, запилю ещё постов как про нейронки, так и про более сложные и интересные способы общения с нейротянами.

В данном руководстве описывается способ запуска https://github.com/oobabooga/text-generation-webui при помощи Google Colab. При желании вы легко можете установить его самостоятельно, все инструкции (как и изначальный колаб) есть на странице в гитхабе.

Ботов для общения можно брать здесь: https://chub.ai/

А сами модели: https://huggingface.co/models

Руководство.

1. Для начала заходим в колаб: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing

От оригинального колаба text-generation-webui он отличается более удобным способом загрузки моделей, заранее выставленными настройками и русским языком в некоторых местах.

2. Настройка.

Перед запуском нужно выбрать необходимые настройки. В колабе много опций, но для чата ключевых всего две:

Автоперевод чата на русский через гуглтранслейт:

ft Дополнения
superbooga: 0
Based on superbig от Кайокендева. Расширение, которое
google_translate: Q
Перевод чата, по умолчанию стоит русский.
long_rcplics: О,нейронные сети,ChatGPT,gpt,локальные языковые модели,llm,длиннопост,google colab,песочница

Озвучка чата голосом:

Расширение преобразования текста в речь с использованием [Silero] С «Расширения» интерфейса. Вы можете найти образцы здесь: [образць,нейронные сети,ChatGPT,gpt,локальные языковые модели,llm,длиннопост,google colab,песочница

По умолчанию обе этих галочки отключены. Если хотите общаться на английском и озвучка не нужна - можите их не трогать.

Для первого знакомства выбор модели не так важен. По умолчанию стоит Emerhyst-20B - одна из топовых моделей для кума. В дальнейшем можно попробовать и другие, в том числе собственные, инструкция как это сделать есть в тексте колаба.

3. Запуск.

Жмём

> Установка и загрузка модели
© первом запуске этот блок установит угабогу и загрузит выбранную модель. Н
Загрузить остальные вы сможете во вкладке Model в интерфейсе GUI:
Список актуальных моделей можно найти в этом рейтинге
Есть 2 варианта загрузки модели в зависимости от формата:
• ВАРИАНТ

Чтобы запустить блок установки загрузки.

Затем сразу же жмём:

> £? Выбор настроек и старт
----------------------------
© Опции запуска
зе±-Ып§э_-Ра.1е:
Загрузите настройки интерфейса по умолчанию из необработанного текстовог
регр1ехз.±у_со1огз: □,нейронные сети,ChatGPT,gpt,локальные языковые модели,llm,длиннопост,google colab,песочница

Ничего не меняя в настройках.

Блоки запустятся по очереди. Займёт это от 5 до 15 минут в зависимости от скорости работы колаба.

В результате блок старта должен выдать вам следующую запись:

* Downloading cloudflared for Linux x86_64... Running on local URL: http://127.0.0.1:7860 08:14:55-341880 INFO OpenAI-compatible API URL:
mips : //Knit - hereb^piaiilcal • Fini ■ tryclpudf lare, со«*
Running on public URL: https ://c03e4698bdf676e5fa.gradio.1ive j
This share link expires in 72

Жмём на ссылку после "Running on public URL:" и в новой вкладке откроется GUI интерфейс чата.

4. Чат.

После этого вы в принципе уже сможете начать общение с нейросетью, задавая ей интересные вопросы и рассказывая охранительные истории. Но по умолчанию чат будет отвечать как Assistent, то есть от лица нейросети, а что с отыгрываеием персонажей?

Всё в порядке! Данный интерфейс, как и сама модель написан практически только для этого!

Скроллим вниз и видим:

Character gallery T
Filter Clear Refresh
Assistant Example,нейронные сети,ChatGPT,gpt,локальные языковые модели,llm,длиннопост,google colab,песочница

В чате помимо Ассистента есть ещё и дефолтный персонаж Chiharu Yamada, здесь почему-то названный как Example.

После нажатия на её портрет чат переключится на общение с ней:

► 0:15/0:15 Ц>)

Чихору входит в комнату с улыбкой, ее глозо загораются, когда она видит тебя. На ней голубая футболка и джинсы, сумка для ноутбука перекинута через плечо. Она садится рядом с вами, ее энтузиазм витает в воздухе
Привет! Я так рада наконец встретиться с тобой. Я слышал о вас

Для начала общения хватит и её.

Действия прописываются курсивом *между звёздочками*, слова - обычным текстом.

Но если вы хотите пообщаться с собственной вайфу, тогда переходим к следующему пункту!

5. Импорт персонажей.

На данный момент самая большая база персонажей находится на https://chub.ai/

После того как нашли нужного, заходим на его страничку:

Mao Zedong latest ft Favorite
Large jade wand, polished balls.
Creator s notes go here.
Approximately 561 tokens. 558 permanent
turbo
Created on Jul 19, 2023
179 Downloads I V Fork(0),нейронные сети,ChatGPT,gpt,локальные языковые модели,llm,длиннопост,google colab,песочница

И скачиваем к себе PNG в формате SillyTavern. Этот формат самый универсальный, поэтому рекомендую хранить персонажей в нём.

Затем снова открываем чат и переходим во вкладку

Chat Default Notebook Parameters Model Training
Generation Character Instruction template Chat history YAML or JSON TavernAI PNG
■ TavernAI PNG File
r Поместите Изображение Здесь - или - Нажмите, чтобы загрузить
Session
Upload character
Name
Description
Submit,нейронные сети,ChatGPT,gpt

Кидаем персонажа в данное поле и возвращаемся в чат. Также иконка персонажа появится в галерее. Собственно всё.

Mao Zedong
► 0:00 / 0:20 - HD

Как только человечество уничтожит капитализм, оно вступит в эпоху вечного мира, и тогда войны ему уже не понадобятся. Тогда не будет необходимости в армиях, боевых кораблях, боевых самолетах и отравляющих веществах. Тогда человечество не увидит войны во веки веков.

5.1. Сохранение логов.

Ели вы хотите чтобы ваша вайфу и переписка с ней сохранялись от сеанса к сеансу, перед запуском в настройке колаба "save_to_google_drive" нужно выбрать "chatlogs and characters"

Синхронизировать с гуглдиском персонажей и логи?. save_to_googie_drive: chatlogs and characters,нейронные сети,ChatGPT,gpt,локальные языковые модели,llm,длиннопост,google colab,песочница

Но тогда все ваши логи и персонажи будут лежать на гуглдиске в папке "oobabooga-data". И само собой колаб запросит к нему доступ.

Вот теперь точно всё.

Результаты поиска по запросу "odri"

Отличный комментарий!

Руководство по быстрому началу общения с нейровайфу

Все конечно в курсе что есть такая вещь как ChatGPT, которую условно можно сравнить с нейросетью для генерации картинок Midjourney.