Нейросеть рассказала о прогулке по Амстердаму
Американский программист Кайл МакДональд (Kyle McDonald) описал кадры прогулки по Амстердаму при помощи нейросети, разработанной исследователями из Стэнфордского университета. Кратко об эксперименте рассказывает The Verge.Взяв в качестве аппаратной платформы MacBook Pro 2013 года, разработчик запустил на нем программу обработки видеопотока с веб-камеры и вышел на прогулку по Амстердаму, держа перед собой раскрытый ноутбук. Получившиеся в результате видео с комментариями нейросети автор опубликовал на Vimeo.
Для обработки кадров программист использовал программу NeuralTalk, которая способна описывать происходящее на статичных фотографиях связными предложениями. Алгоритм сначала распознает объекты на статичном изображении, а затем описывает естественным языком их взаимоотношение на картинке. Для изначальной тренировки нейросети использовался набор из 150 тысяч снимков, описанных вручную живыми людьми.
Источник: N+1
Подробнее
NeuralTalk and Walk,realtime, deeplearning,Andrej Karpathy's "NeuralTalk" code https://github.com/karpathy/neuraltalk2 slightly modified to run from a webcam feed. I recorded this live while walking near the bridge at Damstraat and Oudezijds Voorburgwal in Amsterdam. All processing is done on my 2013 MacBook Pro with the NVIDIA 750M and only 2GB of GPU memory. I'm walking around with my laptop open pointing it at things, hence the shaky footage and people staring at themselves. The openFrameworks code for streaming the webcam and reading from disk is available at https://gist.github.com/kylemcdonald/b02edbc33942a85856c8 Edit: I added a caption file that mirrors the burned in captions. While the captions run at about four captions per second on my laptop, I generated the caption file with one caption per second to make it more reasonable.
нейросеть,future is now,программист,видео,video,NeuralTalk,слава роботам,n+1
Еще на тему
Отличный комментарий!
Сегодня это парнишка с ноутбуком, завтра это андроид, неотличимый от человека. Новая эра, и мы на её пороге. Мы сейчас как испанцы 16 века, наблюдающие открытие и колонизацию Нового Света. Мы сейчас, как мещане 18 века, с опаской и ропотом смотрящие на электричество, похожее на магию. Мы сейчас, как люди середины 20 века, с жадностью поглощающие трансляции первых запусков космических программ.
А ты, блядь, "и чё?". Хуй в очко.