Результаты поиска по запросу "баянометро"

баянометр

#Баянометр

баянометр молчал

баянометр кричал

ExtraDJ

баянометрреактор благотворительный

Доброго, господа баянисты

Хочу поблагодарить всех кто донатил на патероне. Спасибо, за то что сняли с меня ответственность по оплате хостинга и домена. На сейчас 3 из 4 патронов ушли, а ответственность вернулась ко мне. Я на сейчас не сильно уверен в стабильной своего дохода, потому, буду рад и впредь не волноваться на эту тему

Ссылки на patreon/buymeacoffee есть на сайте баянометра

Спасибо

ExtraDJ

баянометрреактор

Баянометр возвращен в работу, после изменения API от koka. Пробел в постах уже закрыт

https://joyreactor.cc/post/5335600

Раввин

Советы раввинанамемил самбаянометрприколы для реакторчан

sepofowa

баянометрразработкадлиннопост

Данный пост создан исключительно с целью продемонстрировать, что реактор может иметь встроенный баянометр приемлемой функциональности без существенных затрат на его реализацию и сервера. Он ни в коем случае не пытается бросить тень на существующий баянометр от ExtraDj - вполне возможно его баянометр в сто раз круче (я не знаю).

Я совсем недавно начал создавать посты на реакторе, но уже успел ощутить всю проблематику поиска повторяющегося контента на этом ресурсе. И задумался о том, как много времени реактор мог бы сэкономить постерам, имей он встроенный баянометр. Сколько человек не смогли преодолеть сложности размещения контента на реакторе и сколько перестали это делать из-за большого количества времени, которое на это требуется (сужу исключительно по себе).

А недавно ещё и получил разрешение от Вождя. Что ж, доступа к коду сайта и базе у меня нет. Выкачивать весь его контент, чтобы собрать отдельный баянометр я особо желанием не горю. Но могу, по крайней мере, разобраться в ситуации и продемонстрировать Proof of concept.

Я дотнетчик по большей части, поэтому технологии используются соответствующие. Вряд ли технологии, которые используются реактором, имеют какие-то существенные ограничения чтобы справиться с этой задачей.

Итак. Перцептивный хэш - похоже, то, что нам нужно. Проблема распространенная, поэтому сразу же нашлась библиотека, которая этот хэш считает - по крайней мере эту рутину писать не придётся. Как будто мы ещё ничего не сделали, а решение уже готово. Протестируем.

Первый кадр из видео. Разрешение 720х1280 против 320х568.

$■ Demo application ImageHash □ X : [[«*>■ Dl ^ [□] . {o}6 I (2) < AverageHash DifferenceHash Perceptual Hash Browse Load Clear 73051550389305359 1112177781819418778 14419936282921065570 AverageHash DifferenceHash PerceptualHash Browse Load Clear 73051550389305359 1112177781817321882$

AverageHash и PerceptualHash - абсолютно одинаковые цифры. А это значит, что если вы сохраните этот хэш в БД рядом с картинкой, вы легко сможете достать по нему запись о картинке. Похоже баянометр в простейшем виде уже готов.

Извлечение данных. Т.к. некоторые реакторчане ссылались на проблему поиска в большом количестве данных, нужно протестировать и это. Приблизительно 7000000 картинок есть на реакторе. Возьмём MS Sql server. Создадим таблицу с 7000000 записей со случайными цифрами в качестве хэша. Чтобы всё было по-честному:

□ SELECT a,b
FROM ( SELECT TOP 200 a,b FROM test ORDER BY a DESC) SQ ORDER BY a ASC
.00 % -
И Результаты ijl Сообщения
a b
1 ! 6999800 ! 6964075964389932
2 6999801 16589863736228552
3 6999802 5026461835299065
4 6999803 43764015194280080
5 6999804 62220703321801248
6 6999805

Изменим одно из значение на реальный хэш с картинки выше. И посмотрим сколько надо времени чтобы её найти.

SET STATISTICS TIME ON
select * from test where b=73051550389305359 JO % -
IS Pe3yjibTaTbi ill Coo6mehMH
A B
1 2000000 73051550389305359,баянометр,разработка,длиннопост

SET STATISTICS TIME ON
select from test where b-73051550389305359
.00 % -
Щ Результаты Ф Сообщения
Время синтаксического анализа и компиляции SQL Server зремя ЦП = 0 мс, истекшее зремя = 0 мс.
Зремя работы SQL Server:
Зремя ЦП = 0 мс, затраченное зремя = 0 мс.
Зремя синтаксического анализа и

По-моему проблем тут нет.

Дальше. Что если картинка немного отличается от оригинала. Например нам надо сравнить первый кадр видео с гифкой. Гифка, будет иметь кучу артефактов и, возможно, другой начальный кадр. Как тут:

■ Demo application ImageHash
AverageHash
DifferenceHash
PerceptualHash
Load
Clear
9205852151309271098
16177214717387634018
18072312633476747566
Browse
AverageHash
DifferenceHash
PerceptualHash
Browse Load Clear
9205852151334436986
17913352390918829410
18072312616296878383,баянометр

Либо яркость на картинке выкручена на максимум, как тут:

' uemo application imagenasn
i
AverageHash 73051550389305359
DifferenceHash 1112177781819418778
Perceptual Hash 14419936282921065570 89% 97%
Browse Load Clear Calculate

AverageHash
■ DifferenceHash
Perceptual Hash
Browse Load Clear
218292640519487501

Хэши не совпадают. Всё пропало? Не совсем. Обратите внимание на подсчёт "похожести" хэшей внизу картинок. Всё что нам нужно сделать, чтобы начать находить не только идентичные картинки, но ещё и похожие - это перенести логику подсчёта похожести в запрос к БД. Получим.

|SET STATISTICS TIME ON
DECLARE @b Bigint = 73051550389305359
select from test where 64 Bit_Count(b @b)) 100 64)>92
100 % -
® Pe3>^bTaTbi ill Coo6mehMH
A B
1 ! 100 218292640519487501
2 2000000 73051550389305359,баянометр,разработка,длиннопост

SET STATISTICS TIME ON
DECLARE @b Bigint = 73051550389305359
select from test where ((64 - Bit_Count(b A @b)) 100 / 64)>92
.00 % -
Щ Результаты Ф Сообщения
Зремя скятахскчесхого анализа и компиляции SQL Server: время ЦП = 0 мс, истекшее время = 0 мс.
Зремя работы SQL Server:
Зремя ЦП = 0 мс,

Теперь по затратам времени и ресурсов. На этот Proof of concept ушло несколько часов - большая часть на подготовку и написание поста. Добавить его на любой свой сайт я могу за несколько часов. Нагрузку на сервер вы можете видеть в статистике запроса к БД. По-моему скромному мнению - она никакая. А если учесть, что эти запросы будут редкими - только при создании новых постов, то ими вообще можно пренебречь. Железу, на котором запущен sql сервер более пяти лет. Более того, пять лет назад это был бюджетный домашний комп.

WAR666

devреакторбаянометр

День добрый, не работают оба баянометра при проверки картинок с https://rule34.xxx/ вулезает ошибка, и это не у меня одного так, прошу исправить

joy.komato3.net
или
Проверить 1Ж1_
Подтвердите действие на странице joy.komato3.net
Некорректный тип изображения: 0 (не изображение)
ОК,dev,реактор,баянометр

Lolwhatma Gandhi

баянометр

Баянометр находит 404

Забиваю в баянометр вот такую ссылку: http://img2.reactor.cc/pics/post/%D0%9A%D0%BE%D0%BC%D0%B8%D0%BA%D1%81%D1%8B-loading-artist-%D1%81%D0%B5%D0%BB%D0%B5%D0%B7%D0%B5%D0%BD%D1%8C-%D0%B1%D0%B0%D0%B1%D1%83%D1%88%D0%BA%D0%B0-182368.jpeg

Результат:

Загрузить файл
Вставьте иП1_ картинки
Сброс
Без
секретных
разделов
Автоматом,баянометр

Однако из шести вариантов четыре ведут не на пост, а на страницу 404:

Не защищён rn.mGgafonpro.ru/http-errors/404/megafon-tv
Р
От Искать
404
Мы не нашли страницу, но смогли найти для вас особенное предложение.
Фильмы и сериалы на МегаФон ТВ
Попробуйте 7 дней бесплатно
Смотреть
Г
Подробнее,баянометр

(Да, она выглядит как спам от мегафна, но это уже свистоперделки провайдера)

Собственно, вопрос: это только у меня так? Почему баянометр находит то, чего нет?

ExtraDJ

баянометрреактор

Обновление баянометра и расширений

Список изменений:

1. Смена домена с bayanometr.xyz на bayanometr.cc . Главная причина - во многих базах для блокираторов рекламы забанена полностью зона xyz, в связи с чем у части пользователей не работало расширение или весь баянометр целиком. Причина вторичная - cc красивее

2. Полностью переделан алгоритм поиска. Теперь результаты выдаются вместе с искомой картинкой, а не после. Избавился от тупиковой ветви развития в лице websocket. Многократно увеличилась скорость поиска

3. Возвращены gif. Когда то был по кадровый поиск, но, он давал больше нагрузки чем все обычные картинки + ним практически никто не пользовался, потому был убран. И тут прошу прощения, я думал я вернул поиск по первому кадру после выпила, но, забыл. Проще говоря, работает поиск gif по первому кадру gif

4. Полностью удалены с выдачи забаненные/удаленные посты и пост с .com

5. На сайте теперь стал удобнее drag & drop. Можно теперь перетаскивать файл в произвольную область

6. Теперь работает буфер обмена. Вместо сохранения картинки файлом, ее можно скопировать в буфер обмена и просто нажать Ctrl+V на сайте баянтомера, и, начнется поиск

7. Ограничено количество результатов до 20. Иногда вылазит по 500 результатов, что захламляет весь экран полностью. Сортировка по схожести. Другими словами, будут обрезаны самые непохожие результаты

8. Полностью переделано расширение баянометра

8.1. Добавлена в настройках опция поиска по секретным разделам

8.2. Добавлена в настройках опция включить/выключить автоматическую проверку поста перед тем как запостить

8.3. Сама функция автоматической проверки была сильно улучшена

8.4 Возврат расширения для firefox. https://addons.mozilla.org/ru/firefox/addon/joyreactor_bayanometr/

8.5. И последнее, но наверное самое важное. Баянометр теперь работает не с ссылками, а с вашей копией файла. Если проще говоря - теперь больше не актуальна проблема сайтов в которых запрещено скачивать картинки без аккаунта, например. В любом случаи остануться сайты где даже такого будет мало, но тут уж буфер обмена и сайт в помощь

8.6. Исходники на GitHub https://github.com/ExtraDJ/bayanometr_expansion

9. Увеличена частота обновления с 5 до 3 минут. Дублей постов с разницей в пару минут должно стать меньше

10. Исправил много других плюшек в процессе всех переделок. Их много, но они не столь важны что бы описывать их детально, а еще я много чего забыл

Если первое время будут какие то проблемки в работе - не серчайте. Баянометр переписывался поломанными руками, в прямом смысле. Так что если будете гореть матерясь что "Эту хуйню писал какой то пидор с переебанными руками" - вы как никогда будете близки к сути

Для более оперативного багфикса и обратной связи - t.me/extradj_feedback

Кто может себе позволить и хочет выразить благодарность - буду крайне рад копеечке на patreon

ExtraDJ

баянометр

Попробовал снова поиграться с более продвинутыми методами поиска, но, опять не пришел к положительным результатам. SIFT/SURF слишком громоздки. ORB ведет себя тоже неплохо, но полегче, и исполняет поставленные задачи, но, встает более серьезная проблема - поиск. Для снижения количества ложно-положительных результатов поиска нужно увеличивать количество точек для изображения. Увеличение количества точек - больше данных для поиска. Больше данных для поиска - меньше скорость и требуется больше мощностей. На реакторе больше 7 миллионов изображений. При < 100 точек - результат ультра гавно. 200-300 - более менее, но не на таком объеме. Это неплохо работало бы, если бы было 1-2 миллиона изображений. +- допустимые результаты, для такого объема, это 450+ точек на изображение. Итого, 3 миллиарда точек. Это порядка 200+ гигов данных, которые нужно хранить в оперативе, для более быстрого поиска. И даже при таких условиях поиск одной картинки длиться порядка 20-25 секунд, что уже далеко за приделами комфортного уровня. Можно ли решить это? Да, конечно, но это уже нужно распределять все на штуки 4+ сервера, а цена аренды такого удовольствия выходит слишком большая(150$+). Согласно опросу недавнему, она вроде бы подъемная, но, я прекрасно понимаю что обстоятельства у людей меняются. Кто-то переоценил свои финансовые возможности, а кого то просто заебет донатить на это, а бегать постоянно делать посты на это тему... Ну такое себе удовольствие.

Потому сорян, я правда старался, но уперся в ограничения не связанные с программными аспектами. Или может вы подскажите метод поиска hamming, который работает быстро на огромном объеме данных, и при этом не требует существенных апаратних ресурсов

p.s. это разве что собирать сразу на годик+ аренды, и тогда есть смысл дальше играться, но уже с несколькими серверами