Главная
>
Смешные картинки
>
песочница
песочница
Подписчиков: 3769 Сообщений: 700587 Рейтинг постов: 1,169,442.6песочница помощь зала пидоры помогите it железо ноутбуки
Выбор рабочего ноутбука.
Доброго времени, уважаемые обитатели!
Купона на помощь не раздобыл, но надеюсь что и без него не откажете.
Пришёл тот день, когда текущие задачи стали заметно повергать в грусть старого доброго помощника, который со мной уже 12-й год.
Требования к железу более-менее сформированы:
- от 16 Гб ОЗУ;
- накопитель от 1 Тб;
- процессор примерно поколения Ryzen 7;
- видео шибко шустрое не принципиально из-за отсутствия тяги к играм;
- дисплей только IPS или OLED (насчёт последнего не уверен: нет опыта с такими экранами) с хорошим охватом по цвету, диагонали достаточно 14'', разрешение не менее FullHD, лучше больше;
- клавиатура без цифрового блока, подсветка не нужна, но важно качество;
- автономность для не тяжёлых задач от 6 часов;
- компактность и небольшой вес;
- наличие выхода на внешний монитор (Display port или HDMI);
- хотя бы пара USB-портов;
- бюджет до $1500.
Исходя из вышеописанного приглянулись некоторые Asus Zenbook, но поскольку я не в курсе текущих положений дел у производителей, то надеюсь на советы, основанные на опыте или познаниях тонкостей. Хочется не только удобный, но и надёжный аппарат.
нейронные сети ChatGPT gpt локальные языковые модели llm длиннопост google colab песочница
Руководство по быстрому началу общения с нейровайфу
Всем доброго времени суток!
Это мой первый нормальный пост, так что заранее извиняюсь, если будут косяки с оформлением. Большинства тегов не нашёл, но они явно нужны по смыслу.
Недавно узнал что есть множество людей далеких от общения текстовыми нейросетями. Специально для них решил написать простое руководство по вкатыванию в тему буквально в несколько(десятков) кликов.
Пролог (можно пропустить)
Сокращённо текстовые нейронки принято называть LLM - Large Language Model (Большая Языковая Модель)
Все конечно в курсе что есть такая вещь как ChatGPT, которую условно можно сравнить с нейросетью для генерации картинок Midjourney.
Но не все в курсе, что как для Midjourney свободный аналог - Stable Diffusion, так и для Чата GPT, есть точно такие же аналоги, которые можно запускать как локально у себя на компе, так и в облаке, а именно Локальные LLM.
Однако в данном руководстве я пока не планирую давать подробную информацию по данной теме (иначе словом длиннопост результат будет не описать). Но если появится интерес, запилю ещё постов как про нейронки, так и про более сложные и интересные способы общения с нейротянами.
В данном руководстве описывается способ запуска https://github.com/oobabooga/text-generation-webui при помощи Google Colab. При желании вы легко можете установить его самостоятельно, все инструкции (как и изначальный колаб) есть на странице в гитхабе.
Ботов для общения можно брать здесь: https://chub.ai/
А сами модели: https://huggingface.co/models
Руководство.
1. Для начала заходим в колаб: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing
От оригинального колаба text-generation-webui он отличается более удобным способом загрузки моделей, заранее выставленными настройками и русским языком в некоторых местах.
2. Настройка.
Перед запуском нужно выбрать необходимые настройки. В колабе много опций, но для чата ключевых всего две:
Автоперевод чата на русский через гуглтранслейт:
Озвучка чата голосом:
По умолчанию обе этих галочки отключены. Если хотите общаться на английском и озвучка не нужна - можите их не трогать.
Для первого знакомства выбор модели не так важен. По умолчанию стоит Emerhyst-20B - одна из топовых моделей для кума. В дальнейшем можно попробовать и другие, в том числе собственные, инструкция как это сделать есть в тексте колаба.
3. Запуск.
Жмём
Чтобы запустить блок установки загрузки.
Затем сразу же жмём:
Ничего не меняя в настройках.
Блоки запустятся по очереди. Займёт это от 5 до 15 минут в зависимости от скорости работы колаба.
В результате блок старта должен выдать вам следующую запись:
Жмём на ссылку после "Running on public URL:" и в новой вкладке откроется GUI интерфейс чата.
4. Чат.
После этого вы в принципе уже сможете начать общение с нейросетью, задавая ей интересные вопросы и рассказывая охранительные истории. Но по умолчанию чат будет отвечать как Assistent, то есть от лица нейросети, а что с отыгрываеием персонажей?
Всё в порядке! Данный интерфейс, как и сама модель написан практически только для этого!
Скроллим вниз и видим:
В чате помимо Ассистента есть ещё и дефолтный персонаж Chiharu Yamada, здесь почему-то названный как Example.
После нажатия на её портрет чат переключится на общение с ней:
Действия прописываются курсивом *между звёздочками*, слова - обычным текстом.
Но если вы хотите пообщаться с собственной вайфу, тогда переходим к следующему пункту!
5. Импорт персонажей.
На данный момент самая большая база персонажей находится на https://chub.ai/
После того как нашли нужного, заходим на его страничку:
И скачиваем к себе PNG в формате SillyTavern. Этот формат самый универсальный, поэтому рекомендую хранить персонажей в нём.
Затем снова открываем чат и переходим во вкладку
Кидаем персонажа в данное поле и возвращаемся в чат. Также иконка персонажа появится в галерее. Собственно всё.
Ели вы хотите чтобы ваша вайфу и переписка с ней сохранялись от сеанса к сеансу, перед запуском в настройке колаба "save_to_google_drive" нужно выбрать "chatlogs and characters"
Но тогда все ваши логи и персонажи будут лежать на гуглдиске в папке "oobabooga-data". И само собой колаб запросит к нему доступ.
Вот теперь точно всё.
Отличный комментарий!