как автоматически подключиться к сети

Как перерисовать/раздеть любого персонажа с помощью Stable Diffusion

Установили? Тогда начинаем.

Часть 1. ControlNet Inpaint

Ни для кого не секрет, что в SD существует фича под названием inpaint - это, по сути, способ сгенерировать что-то поверх существующего изображения. В интерфейсе от Automatic1111 под inpaint'ом обычно подразумевают один из режимов img2img. Это хоть и мощный инструмент, но, всё же, недостаточно точный и контролируемый. Тут на помощь приходит ControlNet Inpaint и исправляет главный недостаток "классического" inpaint'а - игнорирование контекста. Впрочем, достаточно теории переходим к практике.

Итак, возьмём изображение, которое мы хотим отредактировать.

И сразу же уменьшаем/увеличиваем его до нужного разрешения:
В моём случае с 1500x1500 до 640x640. По опыту скажу, что лучший результат получается при размере меньшей стороны от 512 до 768 пикселей, а большая сторона при этом желательно меньше 1024 пикселей.

1girl, naked, completely nude, (best quality, masterpiece:1.2)

Негативный промпт как обычно:
EasyNegative, badhandv5, (worst quality, low quality, normal quality:1.4)

Модель подбираем поближе к стилю рисунка (реалистичный/стилизованный). В моё случае это MeinaMix_v11-inpaint.

Параметры генерации:

Всё, можно нажимать Generate до тех пор пока не появится приемлемая картинка.

Столь хороший результат обеспечивается препроцессором inpaint_only+lama - он пытается дорисовать зону под маской с учётом "наружного контекста". Это же и обеспечивает генерацию правильного цвета.

Простой случай разобрали, переходим к чему-то посложнее:

Часть 2. Style transfer

Возьмём теперь другой рисунок попробуем повторить описанный выше процесс:

Мда, мало того, что поза поехала, так ещё и стиль оказался потерян. Одного ControlNet Inpaint тут недостаточно. Надо подключать дополнительные юниты.

Нам нужно решить 2 задачи:

Для решения первой задачи будем использовать ControlNet reference и ControlNet T2IA - они оба позволяют копировать стиль с изображения-референса и как нельзя лучше работают в связке.

Возвращаемся к интерфейсу ControlNet'a. Копируем исходное изображение в Unit 1 и Unit 2. Настраиваем вот так:

Интересный факт: никто не запрещает отредактировать выход предпроцессора в фотошопе. Что-то убрать, что-то подрисовать. Вот где могут понадобиться навыки рисования.

Ладно, всё 4 юнита активны. Нажимаем Generate и:

Это совсем не то, нужно!
Формы сохранены, но промпт будто проигнорирован. Что случилось? Я вам скажу что: сила ControlNet'а оказалась слишком велика. Stable Diffusion попытался во время генерации воссоздать рисунок-референс да ещё и плюс inpaint там подсунул белый цвет с фона!

Как с этим бороться? Нужно уменьшить эффект двух юнитов переноса стиля (reference и T2IA), но при этом нельзя сильно уменьшать их силу, иначе перенос стиля будет ослаблен. В общем, нужно воспользоваться настройкой Starting Control Step. Она отвечает за то, на какую долю шагов генерации придётся действие ControlNet'a.

Starting Control Step 0.5, например, означает, что первую половину шагов генерация будет опираться только на промпт, а со второй половины подключится уже наш ControlNet.

В общем, план такой: слегка понижаем Control Weight (сила) у стилевых юнитов (примерно до 0.9). После этого начинаем постепенно поднимать границу начала действия стилевых юнитов. Также имеет смысл подобным же образом немного ослабить действие Inpaint'a - позволяет в некоторых случаях исправить цвета.

После нескольких попыток (и усиление промпта) получаем вот такую задницу:

Не идеально, но уже шаг в нужном направлении. На самом деле, сейчас можно (и нужно) уже именно это изображение сделать референсом. Другими словами, скопировать его во все 4 юнита и отталкиваться уже от него. И так сколько нужно раз. Пока не получится идеальный результат, либо ваша генерация окончательно не развалится.

Часть 3. img2img

Даже после получения хорошей генерации во вкладке txt2img имеет смысл несколько отшлифовать изображение уже через img2img inpaint. Главное не забудьте подключить 2 ControlNet'a для переноса стиля. Помните да, reference и T2IA.

Некоторые пункты в виде итога:

P.S. Хотел бы я чтобы кто-то обстоятельно протестировал этот метод и поделился бы потом результатами. Мне кажется, как-то можно добиться ещё большей близости к стилю оригинала, ведь задача состояла именно в этом.

Туториал закончен, теперь впечатления. Это охиренно мощная штука! Можно как угодно дорисовать любую картину, стиль вообще не важен, тем более что сейчас уже натренированы сотни моделей на все случаи жизни. Хоть скриншоты из мультфильмов/аниме, хоть картины маслом. Фильмы и фотографии вообще пройденный этап. Можно даже без использования inpaint'a просто сгенерировать сколько хочешь изображений с нуля, просто опираясь на единственный рисунок. А ведь ControlNet появился лишь в начале этого года. Короче, уже почти год прошёл, а всё это до сих пор кажется каким-то колдунством. Что грядущий день готовит...

Руководство по общению с нейровайфу. Часть 2. Глупая Таверна.

Привет всем кто в теме и кто только присоединился!

Предыдущийпост https://joyreactor.cc/post/5733950

Рассказывал о том, как быстро и просто запустить локальную языковую модель на удалённом сервере google colab и начать общение нейротян.

Но теперь настало время взяться за дело серьёзно, встречайте:

Простое руководство по SillyTavern.

(автор не гарантирует, что написанное строчкой выше правда)

Предварительнаяустановка

1.  Переходим поссылке https://nodejs.org/en/download искачиваем LTS версию. Нам подойдет и она.

2.  Когда скачали,запускаем установку.

3. (опционально)Перейдите по ссылке https://git-scm.com/downloads и скачайте Git,для упрощения обновлений и прочего.

4. (опционально) Переходимпо ссылке https://www.python.org/downloads/ и качаем питонпоследней версии. Не то чтобы он был вообще нужен для установки таверны, но разуж мы начали идти по пути LLM, не стоит останавливаться надостигнутом!

5. Установка завершена.Переходим к самой таверне.

Установка SillyTavern.

1. Выбираем папку, нажимаем ПКМ, git bash HERE.

2. Вводим в консоль git clone https://github.com/SillyTavern/SillyTavern 

3. Для того что бы установить staging branch добавляем после ссылки -b staging

4. Всё устанавливается

Без использования Git:

1. Переходим поссылке https://github.com/SillyTavern/SillyTavern/tree/staging

2. Нажимаем на зеленую кнопку Code и download zip

*Лично я предпочитаю именно этот метод, сохраняя вотдельной папке каждую новую версию таверны, начиная с момента, когдасуществовала только оригинальная TavernAI, ещё храню в каждойпапке полный набор актуальных на тот момент скриптов, промптов и персонажей.Зачем? Вдруг пригодится!

Запуск таверны

После этого мы запускаем start.bat
Когда мы запустили start.bat, мы видим NPM install. Нам нужно дождатьсяустановки, затем оно само запустится.

*Если вам пишет missing module название модуля, то нужно ввестикоманду npm install название модуля, и так пока вы не установитевсе нужные.

При первом запуске вы увидите сообщение 

Которое предложит вам заранее ввести имя, по которому к вам будет обращаться модель. Можете оставить его как есть и представиться кем угодно походу беседы, либо ввести своё имя, но тогда к вам всегда будут обращаться по нему. (Старые модели вроде Pygmalionвместо User, определяют пользователя как You)

Раз уж вы решили идти дальше пути текстовых нейросетей то привыкайте страдать!

Теперь настало время изучить иконки расположенный сверху

Но делать это мы будем не по порядку, начнём с главного, источника. Тавернаэто очень удобный, но всё-же фронтенд. Иконка API предлагает нам выбратьоткуда конкретно мы будем черпать нейросетевые ресурсы.

Рассмотрим основные пункты, представляющие практический интерес.

1. Text Completion.

Первый пункт «TextCompletion» Предлагает вам подключить к вашей таверне в качестве бекэнда text-generation-webui.
О том, как его запустить написано в предыдущем посте. Ссылка на колаб: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing
Но прежде чем использовать его как API,убедитесь что отключены google translate и sileroTTS, они будут мешать генерации.
Чтобы подключить запущенный webui к таверне Скопируйте ссылку после строки'OpenAI-compatible API URL:' и вставьте её в 'Server URL'

При запуске локально дефолтный адрес подключения http://127.0.0.1:5000/api

2. KoboldCPP.

Этот пункт предлагает нам подключить к таверне аналог text-generation-webui,под названием «Koboldcpp»

Главных отличий от предыдущего сабжа два:

- Кобольд предназначен для запуска моделей,оптимизированных для процессора. Сейчас это формат GGUF

У кобольда есть даже свой интерфейс чата, но он сильноуступает как webui так и таверне.

В качестве API URL в таверне вводим http://127.0.0.1:5001/api

Скачать последнюю версию можно здесь: https://github.com/LostRuins/koboldcpp/releases/

Почитать о разных загрузчиках и прочих вы можете на основнойстранице гитхаб: https://github.com/LostRuins/koboldcpp

Если ваш комп не тянет, есть также колаб: https://colab.research.google.com/github/LostRuins/koboldcpp/blob/concedo/colab.ipynb
Куда же без него.

3. ChatCompletion

Здесь нам предлагается подключиться к APIсоответствующихсервисов, при условии, что у нас есть ключ.

Выбираем поставщика, вводим ключ, радуемся! В целом всёпросто (кроме получения самого ключа)

4. KobaldAIHorde.

Но не печальтесь, если у вас нет ключа к GPT4 Turbo, нам поможет сервис AIHorde https://horde.koboldai.net/
(это не троллинг если что, нет правда!)

Более того, это, пожалуй, самый интересный пункт, потому чтоон позволяет нам сразу, без танцев с бубном, подключиться к языковой модели.

Всё что нам нужно это поставить курсор в поле Модели ивыбрать любую из них:

*Модели из списка работают на аппаратных мощностях участников сообщества и доступны для бесплатного использования! НО когда много людей сидит на одной модели, образуется очередь, а у анонимных подключений приоритет в очередях самый низкий.
Если хотите получить преимущество, регистрируйтесь https://horde.koboldai.net/registerЗа это вам выдадут личный ключ API, который можно будет вбить в таверну. Далее устанавливайте хорду и фармите Кудосы помогая людям, не имеющим мощного железа, приобщаться к нейронкам!

Какая модель лучше вопрос спорный.
Можете, например поизучать этот рейтинг: http://ayumi.m8geil.de/ayumi_bench_v3_results.html

По мне так методика тестирования в Аюми такая себе, но ничего лучше пока не встречал.

При подключении, не забудьте выставить галочку «Уточнить длину ответа в соответствии с возможностями рабочих машин» Иначе получите ошибку, если контекст установленный на сервере будет меньше вашего.

В принципе после этого уже +- можно начинать общение!

Поэтому переходим к обзору основных нюансов общения с нейровайфу.

Песеты настроекгенерации.

Первая из них это параметры генерации модели. 

Главное, на что здесь стоит обратить внимание это
1. Длина ответа в токенах – ограничивает размер ответа модели.
2. Размер контекста – сколько текста вы посылаете нейросети при каждом запросе*

* тут стоит сделать небольшое отступление: многие думают, что общение с нейросетью происходит как с человеком. Вы ей что-то пишите – она на это запоминает и учитывает в последующих ответах. Это не совсем так: языковая модель может дать всего один ответ на один запрос. Памяти как таковой ни у одной современной LLM нет в принципе. Так как-же тогда происходить длинная переписка? Очень просто: в качестве запроса модели КАЖДЫЙ РАЗ посылается история всей вашей предыдущей переписки, она обрабатывает всю эту гору текста и отвечает один раз что она обо всём этом думает. Далее этот процесс повторяется, но в запрос включается предыдущий ответ нейросети.
Контекст - это максимальное количество текста, которое модель способна обработать. Если ваша беседа его превысит, таверна автоматически начнет удалять ваши сообщения, начиная с первых, а модель «забывать» с чего всё началось.
Оранжевая пунктирная полоска в чате таверны показывает до какого момента беседа входит в контекст.

3. Температура – один из важнейших параметров, отвечающий за «креативность» модели. Чем он выше, тем более разнообразным и менее адекватным будет ответ модели. Какую температуру, когда выставлять, лучше всего выяснить методом тыка. Но для небольших локальных моделей, как правило подходит температура 0.6-0.8, для более крупных, например, ChatGPT– 0.9-1.

Что же касается остальных параметров, на начальном этапе не стоит уделять им слишком много внимания. Можете подробно прочитать о них в вики таверны.
Всё что нужно знать, это то что они уже должным образом настроены в соответствующих пресетах.

Вы можете попробовать все и выбрать подходящий в зависимости от результатов. Но для начала советую выбрать “simple-proxy-for-tavern”или “Storywriter”, а далее играться с температурой.

Форматирование.

Эти настройки также оказывают очень большое влияние на генерацию, т.к. они определяют в каком виде модель будет получать ваши запросы.
Для локальных моделей часто критически важно выбрать нужное форматирование, от него будет завесить поймёт ли вас модель вообще.

ШаблонRoleplay один из самых универсальных, его понимают как крупные модели, вроде ChatGPT, таки локальные от 30-70В.

Но влокалках всё же стоит выбирать соответствующий им шаблон, это сделает модельгораздо «умнее». 

Одним из самых распространённых является Alpaca, просто потому что большинство моделей основаны на ней. Но есть и исключения, список которых вы увидите, открыв вкладку «Предустановки».
Если по названию модели не понятно чьим файньтюном она является, попробуйте найти её страницу на https://huggingface.co/models

Там как правило указано откуда ноги растут.

С основными приготовлениями на этом мы закончили. Теперьпереходим к самому интересному – общению с нейротянами! Основные сопутствующиефишки рассмотрим по ходу дела.

Импорт персонажей.

В таверне уже имеется набор стандартных персонажей.

Вы можете побеседовать и с ними, но, чтобы показать максимум возможностей таверны, лучше сразу перейдем к добавлению новых.

Карточки персонажей можно найти на сайте: https://www.chub.ai/

В поиске находим нужного персонажа и скачиваем PNGфайлдля SillyTavern

https://www.chub.ai/characters/thecentuaro/rin-tohsaka

Карточку персонажа кидаем в SillyTavern-staging\public\characters

Туда же извлекаем изображения из архива Expressions, папку не переименовываем, она должна соответствовать имени персонажа.

Лорбук же кидаем в SillyTavern-staging\public\worlds

Теперь можно обновить вкладку с таверной и нажать на иконку с появившимся персонажем.

Но при открытии мы увидим что чат на английском, а Рин обращается к нам как к Юзеру.
Чтобы исправить жмем на иконку Расширения и открываем вкладку Chat Translation

Здесь выбираем пункт Translation both, Googleи Русский язык.

Затем идём во вкладку «Миры» и выбираем Fate, чтобы беседа была более каноничной.

«Лордбуки» это сборники кратких сведений о мире или персонажах, в дополнение к основной карточке. Интересны они тем что, в отличие от карточки, количество записей в лорбуках не ограничено. Просто, когда речь аходит о каком-то событии или термине, название которого совпадает с записью влорбуке, таверна добавляет эту запись к промпту, чтобы модель понимала о чём идёт речь.

Я пару раз использовал лорбук для того чтобы написать персонажей с очень сложной предысторией, на десяток тысяч токенов) и это прекрасно работало при контексте всего в 4к.
Кроме того лорбук вполне можно использовать как замену «памяти» бота, записывая в него занимательные факты из вашего общения. Минус в том, что делать это надовручную.

Теперь заглянем в раздел Управления персоной. Здесь вы можете как описать свою личность, так и притвориться кем-то другим. Лично я всегда предпочитаю писать правдивое описание себя, ведь именно так вас будет воспринимать бот.

Кроме того, можно выбрать (или сгенерировать, об этом позже) подходящий фон беседы

По большей части всё – можно беседовать!

Стрелка справа от ответа персонажа это «свайп», при нажатии на неё сгенерится другой ответ, но вы всегда можете вернуться к предыдущему. Карандашик позволяет отредактировать любую реплику, как свою, так и бота в любой момент. Это очень полезно, если вдруг появилось желание разыграть другую сцену или просто что-то слегка подправить.

При нажатии на иконку персонажа, вы увидите его описание, которое точно также можно изменить в любой момент.

Что-ж, это был необходимый минимум, для начала использования таверны.

Но для тех, кому этого мало, продолжаем!

Особые возможности.

Преобразования вашей речи в текст. (STT) (понадобится микрофон)

Открываем расширения, вкладку «Download Extensions &Assets» и жмём кнопку подключения, соглашаясь с всплывающим сообщением.

Появится длинный список из разного рода улучшалок. У всех есть описания и их все вы можете попробовать самостоятельно, но я советую начать с «Speech Recognition»

После установки в расширениях появится новая вкладка. В ней нужно выбрать «браузер» и Русский язык. После этого рядом с кнопкой отправки сообщения появится также иконка микрофона, нажимаем её и говорим.

Преобразование текста в речь (TTS)

Дальше будет чуть сложнее, потому что теперь мы дадим голос ещё и нашей вайфу!

Для этого понадобится настроить вкладку расширений TTS.

Здесь интереснее всего 2 пункта: Silero и XTTSv2.

Результат работы Silero вы могли слышать в колабе text-generation-webui.Но в таверне подключение этого модуля на русском языке вызывает некоторое количество боли, так что как-нибудь в другой раз.

Поэтому подключаем https://github.com/daswer123/xtts-api-server

Вы можете установить его локально, следуя инструкции, но для начала лучше попробовать колаб: https://colab.research.google.com/drive/1b-X3q5miwYLVMuiH_T73odMO8cbtICEY?usp=sharing#scrollTo=nLS9QDgnrUmR

В настройках в строке Model_source: выбираем «apiManual»

Затем просто запускаем все ячейки по очереди сверху вниз, пока в консоли последней не получим строчку

После этого прокручиваем консоль в самое начало и ищем ссылку

Именно её нужно вставить в таверну:

После этого настройки должны выглядеть так. Если поля с выбором голоса персонажа не появилось, перезагрузите страницу и снова войдите в чат с персонажем. Ползунки можно пробовать двигать, чтобы получить другой результат.

Голос для персонажа нужно выбрать обязательно, иначе он не заговорит.

Запустить озвучку фразы можно кнопкой

Но если вы настроили всё как на картинке, генерация будет идти автоматически после ответа.

Эмоции и сумморайз.

Теперь мы наконец-то можем общаться в живую! Но как-жевизуальный контакт? Разумеется, это тоже не обошли стороной, именно для этого мы с вами скачивали спрайты эмоций в папку с персонажем!

Для этого нам понадобится запустить отдельный сервер расширений.

Итак, идём на гитхаб https://github.com/SillyTavern/SillyTavern-Extras

Лучше поставить всё это локально следуя инструкции на странице (что гораздо удобнее для повседневного использования).
Но попробовать можно и в колабе (не опять, а снова)

https://colab.research.google.com/github/SillyTavern/SillyTavern/blob/release/colab/GPU.ipynb

Ничего не меняем, запускаем последнюю ячейку и ждём ссылки

Ссылку вставляем в нижнее поле окна Расширения

И вот, мы уже можем общаться лицом к лицу! Алилуйа!

Спрайты персонажа будут меняться в зависимости от его «эмоций». Кроме того, они могут быть анимированы (но встречаются такие редко).

Также стоит упомянуть о вкладке Summarize в расширениях.

Это очень полезная штука, увеличивающая «память» бота. Работает это так: в какой-то момент, пока размер контекста ещё не превышен, модель кратко конспектирует суть происходящего. Затем этот «конспект» будет отправляться вместо не входящей в контекст истории чата.

Есть два варианта конспектирования: С использованием основной модели (будет генерироваться как дополнительная реплика, с той же скоростью), либо с использованием специальной модели в сервере расширений (но тогда этот сервер должен быть запущен и подключен).

Групповые чаты

Но чего-то не хватает… Правильно, зачем общаться с одной аниме-тян, когда можно общаться с двумя?!

Выбираем опции в левом нижнем углу чата и жмём «превратить в группу»

Переходим в меню персонажа и в настройках открываем вкладку «добавить членов»

После чего составляем нужный нам для досуга список.

Генерация иллюстраций к чату.

Так, что же ещё нам может понадобиться? Конечно же иллюстрация происходящего с помощью Stable Diffusion!

На выбор есть несколько вариантов. Если у вас подключен сервер API, вы можете сгенерировать картинку через встроенный SDмодуль. Также можно подключить через APIсобственныйзапущенный StableDiffusion.Но мне больше нравится вариант StableHorde,т.к. он всегда доступен и не требует дополнительных модулей.

Жмём на волшебную палочку в нижней левой части чата и выбираем Generate Inage и далее один из пунктов

Это может быть неплохой заменой спрайтам эмоций, превращающей чат в графическую новеллу.

Но учтите, что перед генерацией картинки, ваша текстовая модель сгенерирует для неё промпт. Так что всё это может занять дополнительное время.

Конечно в таверне ещё много фишек и настроек, но пока думаю стоит на этом остановиться.

Спасибо всем, кто дочитал до этого момента не пролистывая!

P.S. Если вы, чтобы не ждать очереди в Хорде, запустили LLMв колабе Text Generation WebUI, затем чтобы не устанавливать TTS, запустили в колабе и его, и в конце то же самое сделали с сервером дополнений, то поздравляю, у вас фуллхаус!

Руководство по быстрому началу общения с нейровайфу

Всем доброго времени суток!
Это мой первый нормальный пост, так что заранее извиняюсь, если будут косяки с оформлением. Большинства тегов не нашёл, но они явно нужны по смыслу.

Недавно узнал что есть множество людей далеких от общения текстовыми нейросетями. Специально для них решил написать простое руководство по вкатыванию в тему буквально в несколько(десятков) кликов.

Пролог (можно пропустить)

Сокращённо текстовые нейронки принято называть LLM - Large Language Model (Большая Языковая Модель)

Все конечно в курсе что есть такая вещь как ChatGPT, которую условно можно сравнить с нейросетью для генерации картинок Midjourney.

Озвучка чата голосом:

По умолчанию обе этих галочки отключены. Если хотите общаться на английском и озвучка не нужна - можите их не трогать.

Чтобы запустить блок установки загрузки.

Ничего не меняя в настройках. 

Жмём на ссылку после "Running on public URL:" и в новой вкладке откроется GUI интерфейс чата.

В чате помимо Ассистента есть ещё и дефолтный персонаж Chiharu Yamada, здесь почему-то названный как Example.

Для начала общения хватит и её. 

И скачиваем к себе PNG в формате SillyTavern. Этот формат самый универсальный, поэтому рекомендую хранить персонажей в нём.

Кидаем персонажа в данное поле и возвращаемся в чат. Также иконка персонажа появится в галерее. Собственно всё.

5.1. Сохранение логов.

Как можно наладить инет в следующей ситуации?

Выстрелит или порох уже отсырел?

"Яндекс" начал тестировать новый социальный сервис "Аура", который будет встроен в собственное приложение компании. Об этом сообщает Tjournal со ссылкой на пресс-службу "Яндекса".

Отмечается, что "Аура" будет находить для пользователя новых друзей с помощью нейронных сетей, машинного обучения и других технологий "Яндекса", а также использовать информацию, уже представленную пользователем на других ресурсах компании. Помимо этого, люди смогут самостоятельно выбирать аудиторию для своих публикаций, например на основе возраста, пола или геолокации.

Главы техкомпаний, инженеры и исследователи попросили приостановить «масштабные ИИ-эксперименты» — они угрожают обществу

Среди подписавшихся — сооснователи Apple, Skype и Pinterest, гендиректор SpaceX и Tesla, а также сотрудники Microsoft и Google.

Более 1100 исследователей, инженеров и предпринимателей подписали открытое письмо ИИ-лабораториям — с просьбой «срочно и как минимум на полгода приостановить обучение ИИ-систем, более производительных, чем GPT-4». Если это невозможно, вмешаться должно правительство — например, ввести мораторий на эксперименты.

Продукты с искусственным интеллектом, «сопоставимым с человеческим, могут представлять серьёзную угрозу обществу и человечеству», пишут авторы письма. При работе с ними разработчики должны быть крайне внимательными, но «этого не происходит», так как последние несколько месяцев они пытаются обогнать друг друга и выпустить «более мощные модели, действия которых сами не могут до конца понять, предсказать и проконтролировать».

В письме авторы отмечают, что разработкой продуктов, которые могут заменить людей или породить больше новостной пропаганды, должны заниматься «избираемые» технологические лидеры. Сами системы при этом стоит создавать тогда, когда все уверены, что те принесут пользу, а рисками можно будет управлять. Пока силы следует направить на доработку уже существующих продуктов — чтобы сделать их точнее, безопаснее и прозрачнее.

Это не значит, что нужно полностью остановить развитие технологии, пишут авторы: надо лишь «выйти из опасной гонки». Они предлагают в течение полугода объединить усилия и разработать единые для рынка правила безопасности, а также способы контроля экспериментов. По их словам, нужно также подключить правительства, чтобы те сформировали ведомства, которые будут сертифицировать продукты, смогут отличать реальный контент от «синтетического» и следить за утечками ИИ-моделей.

На момент публикации среди подписавшихся числятся директор SpaceX, Tesla и Twitter Илон Маск и сооснователи Apple, Skype, Pinterest, Ripple — то есть Стив Возняк, Яан Таллинн, Эван Шарп и Крис Ларсен. Есть и главы фирм-разработчиков ИИ-продуктов — из Stability AI (Stable Diffusion), Scale AI, ThirdAI, Character.ai, Unanimous AI и других.

Письмо также поддержали инженеры и исследователи Google и Microsoft и учёные и профессора из многочисленных университетов — Йельского, Оксфордского, Гарвардского, Кембриджского, Стэнфордского, Массачусетского технологического и других.

Профессор Нью-Йоркского университета и исследователь Meta* Ян ЛеКан сообщил в Twitter в ответ на удалённую публикацию, что не подписывал письмо и не согласен с его основным посылом (на момент обновления заметки его имя отсутствует в списке, а автора удалённого твита узнать невозможно — vc.ru). В комментариях к его заявлению пользователи предположили, что подписи могли быть сгенерированы ИИ, а также допустили, что, возможно, его имени там изначально и не было, а его внимание привлекли только ради «дополнительных кликов».

Ну что реакторчане? Скажет и Киберпанк или серая обыденная жизнь?

OpenAI представила новую нейросеть POINT-E, которая по текстовому описанию создаёт 3D-модели

Ну что, вот и пришла пора 3D моделирования с помощью нейросетей, быть может, через пару годиков она будет выдавать такие же шедевры как нейроарты.

OpenAI, уже прославившаяся благодаря генератору DALL-E, способному генерировать изображения по текстовым описаниям, выпустила новый революционный продукт. Компания сообщила о новейшей разработке POINT-E, готовой создавать 3D-фигуры из «облака» точек — тоже с помощью текстовых описаний. В то время, как у существующих систем вроде Google DreamFusion уходит на каждую попытку по несколько часов и огромные ресурсы GPU, POINT-E нужен минимум аппаратных ресурсов и минута-две времени.

Как сообщают в OpenAI, для создания трёхмерного объекта по описанию сначала создаётся по тексту обычное изображение, после чего на его основе создаётся 3D-облако точек. Всё происходит в течение секунд и не требует дорогостоящих процедур. Например, при вводе описания «кот, поедающий буррито» (a cat eating a burrito), POINT-E сначала сгенерирует синтетический 3D-рендер кота, после чего начнёт комбинировать серию моделей для создания трёхмерного объекта, сначала — из 1024 точек, потом из 4096. При этом сам объект непосредственно по описанию не создаётся.

Созданию 3D-объектов нейросеть обучена на основе анализа «миллионов» трёхмерных изображений. Разработчики заявляют, что, хотя по качеству готовые работы уступают некоторым конкурирующим технологиям, но образцы можно создавать очень быстро, причём желающие и имеющие необходимый опыт могут оценить предложенный код модели, посетив GitHub.

И Гитхаб для попробовать самому: https://github.com/openai/point-e