a p l e ru

OpenAI представила новую нейросеть POINT-E, которая по текстовому описанию создаёт 3D-модели

Ну что, вот и пришла пора 3D моделирования с помощью нейросетей, быть может, через пару годиков она будет выдавать такие же шедевры как нейроарты.

OpenAI, уже прославившаяся благодаря генератору DALL-E, способному генерировать изображения по текстовым описаниям, выпустила новый революционный продукт. Компания сообщила о новейшей разработке POINT-E, готовой создавать 3D-фигуры из «облака» точек — тоже с помощью текстовых описаний. В то время, как у существующих систем вроде Google DreamFusion уходит на каждую попытку по несколько часов и огромные ресурсы GPU, POINT-E нужен минимум аппаратных ресурсов и минута-две времени.

Как сообщают в OpenAI, для создания трёхмерного объекта по описанию сначала создаётся по тексту обычное изображение, после чего на его основе создаётся 3D-облако точек. Всё происходит в течение секунд и не требует дорогостоящих процедур. Например, при вводе описания «кот, поедающий буррито» (a cat eating a burrito), POINT-E сначала сгенерирует синтетический 3D-рендер кота, после чего начнёт комбинировать серию моделей для создания трёхмерного объекта, сначала — из 1024 точек, потом из 4096. При этом сам объект непосредственно по описанию не создаётся.

Созданию 3D-объектов нейросеть обучена на основе анализа «миллионов» трёхмерных изображений. Разработчики заявляют, что, хотя по качеству готовые работы уступают некоторым конкурирующим технологиям, но образцы можно создавать очень быстро, причём желающие и имеющие необходимый опыт могут оценить предложенный код модели, посетив GitHub.

И Гитхаб для попробовать самому: https://github.com/openai/point-e

Нейронная сеть DALL-E 2 и что она умеет

DALL-E - нейронная сеть от Open AI, рисующая картины по текстовому описанию. Запрос производится на натуральном английском, опционально с указанием стиля. Сеть предлагает 10 вариантов. Можно выбрать вариант чтобы получить больше вариантов. Можно замазать часть результата и переформулировать запрос чтобы сеть скорректировала этот участок картинки. Еще год назад ее творчество напоминало всратые каракули. Вторая итерация ИМХО совершила просто невероятный прорыв.  В настоящее время находится на стадии закрытой беты. Небольшую демку можно пощупать тут. Канал на реддите, где счастливчики выкладывают свое/ее творчество: https://www.reddit.com/r/dalle2/. Более сырой фид:  https://github.com/coffeenut/DalleLinks

a cybertronic bison, leds, high detail, sharp, studio, digital art

a monkey head that is only made out of fruit, 3D

A cat licking a cactus, 35mm macro

Star Wars hovering Landspeeder Uber, app icon

an x-ray of an unicorn

A beautiful painting of a building made of watermelon slice in a serene landscape by Lisa Frank, trending or artstation

Elephant AT-AT walking through Hoth, digital art

Leonardo da Vinci early sketches of the F-35

Realistic Ruby and Sapphire Stone Shards, Tattoo Design

An illustration of the Easter bunny and Jesus being abducted by aliens

Yoda angry about losing money in the stock market

A pre raphaelite painting of a person waiting for their iPhone to power on after plugging it back in

Medical illustration of a gryphon's skeleton, with labels. High quality, detailed, professional medical illustration

Male and female scientists in love with each other instead of researching, by Norman Rockwell

Batman by Picasso

cyberpunk, nethacker, woman, detailed, anime, digital art