парсер картинок

Joyloader v.1.5

JoySave v32

Привет! Новая версия скачивалки. Минимум изменений.

Изменения по сравнению с прошлой: добавил галочку в настройках "Качать WebM/MP4 если нет GIF". Так как на реакторе набирают популярность видюшки без GIF, то это добавляет контроля. Так же добавил версию для MacOS (еще более глючную и корявую).

ссылка на гифку

Проект на GitHub. Хотелки и замечания пишите, хотя вряд ли что-то сделаю - времени нету :-)

JoySave v26

Предлагаю всем заинтересованным скачивалку картинок.

Умеет качать целый список разных тегов, для каждого группирует картинки в папки по некоторому количеству страниц этого тега на реакторе, умеет само паковать в CBZ (по сути - в ZIP, только переименованный).

На вкладке Main таблица заполняется ссылками для сохранения. Копируем адрес в строке адреса браузера, вставляем в клетку URL. Например, переходим в раздел "Котэ". Получится https://joyreactor.cc/tag/котэ. Хотим больше котиков? Переключаем на "Бездну" и копируем. Получается https://joyreactor.cc/tag/котэ/all. Вобщем, понятно. Но если копируете не на последней странице, то в адресе будет номер страницы, например https://joyreactor.cc/tag/котэ/best/2698. Вот его не надо. Номер подставляться будет автоматически, так что номер и последний "/" сотрите.

В столбцах Begin и End вводим номера страниц с какого по какое сохранять. Столбец Folder - это название папки, куда будет сохраняться картинки. Т.е. если введем "SuperCat", то будет сохраняться в папке Pic/SuperCat. Если оставить пустым, то будет имя папки будет номер из столбца No.

Если пустое хоть одно из полей [URL, Begin, End], то строка пропускается. Это удобно, чтоб держать записи на будущее. Например, скачали котиков до страницы 200. Очистим поле Begin, и у нас сохранен адрес и последняя скачанная страница. Когда накопятся новые картинки, то в поле Begin поставим те же 200, а в End уже, например, 250.

Имеет смысл закрыть прогу после заполнения таблицы, чтоб сохранила всё. А то вдруг глюканет и вылетит без сохранения!

Крутилки на главной странице без надобности не трогайте, они сами меняются. 

Больше описаний в самой проге на вкладке Help. Не буду копировать сюда весь текст - его много. Только настроек немного еще опишу.

Cookies нужны чтоб качать картинки из-под своего аккаунта (например, чтоб качать избранное, или секретные разделы). Куки можно взять из расширений браузера. Например, для Хрома - Cookie Editor. Достаточно только joyreactor_sess3=значение_этого_поля.

Далее крутилка Timer. Это сколько миллисекунд минимум задержки между запросами (получением постов, скачиванием картинок и прочее). Не ставь мало - заблокируют.

Pages in folder - сколько страниц группируется в подпапку. На мой вкус 50 - оптимально. Больше за раз посмотреть напряжно.

К сожалению, под Linux почему-то не работает HTTP-прокси. SOCKS работает. Прога не многопоточная, потому часто "задумывается", особенно на тяжелых картинках и при упаковке в CBZ. И вообще, это то еще глюкалово, написанное по-быстрому на коленке. 

Пишите замечания, ругательства, пожелания.

JoySave v31

Привет! Новая версия скачивалки. Ничего нового, пару багов поправил.

Для Windows качайте JoySave_v31.zip, для Linux x64 качайте JoySave_v31.tar.gz.

Всё как обычно. Скачайте, распакуйте, запускайте. Не запускайте прямо из архива!

Изменения по сравнению с прошлой: починил нумерацию строк в главной таблице и работу строк больше 49-й. Это всё.

ссылка на гифку

Проект на GitHub, но исходники есть и в самой проге (запустите с параметром sources).

Времени сейчас совсем нет. Но всё равно пишите замечания и пожелания.

Скачивалка картинок с плашками

Короче захотелось мне в связи со всеми этими последними событиями, и тем к чему они могут привести, коечего качнуть с реактора. Чтобы было, на всякий пожарный. Задал вопрос тут http://joyreactor.cc/post/5114496#comment25031878 и получил ответы. Смог воспользоваться одним из них и таки накачал чего хотел. Но пока разбирался с этим делом немного поматерился неудобности обоих способов, и параллельно процессу поковырялся над своим вариантом "на коленках". И вот теперь думаю, что он тоже имеет право на жизнь. Плюсы: удобность и простота. Минусы: плашки на картинках и ненастраевоемость.

В общем вот, представляю вам Joyloader

Скачать: https://disk.yandex.ru/d/uoQRruzTDnPUVA

joyloader.exe - скомпилированный програмусик

joyloader.py - исходный кодик, если вам стремно запускать чужие экзешники (что оправдано), то вот компилируйте сами и пользуйтесь, заодно решается проблема с настраиваемостью, настраивайте.

Кто-то скажет, блин там писят строчек кода, нафик ты это принес? А я отвечу - а вот.

Для примера скрин с рабочей прогой.

Пишите замечания, благодарности, ругательства.

п.с Качает не только посты по тегам, но и просто фендомы, и даже комментарии пользователя, в общем походу все, где есть картинки и постраничность.

JoySave v27

Привет! Немного доработал скачивалку. 

Для Windows качайте JoySave_v27.zip, для Linux x64 качайте JoySave_v27.tar.gz.

Об изменениях по сравнению с прошлой версией:

Все настройки переехали в ini-файл. Можете заменить старую прогу новой, она сама подтянет старые настройки, удалит cookies.txt и list.csv. Для Linux - перед запуском новой проги переместите ".JoySave" из домашней папки в папку с прогой, переименуйте в "JoySave.ini". 

Настройки и таблица сами сохраняются когда запускается закачка - не нужно на всякий случай закрывать прогу перед запуском.

Если куки в настройках правильные, то в статус-баре рядом с "Кач" будет ваш [логин]. Так можно видеть что куки пора обновить. 

Если запустить из командной строки с параметром start (т.е. "JoySave.exe start") - закачка начнется автоматически. Удобно для запуска из планировщика заданий.

Если в поле "Конец" стоит 0, то актуальный номер последней страницы заполнится сам.

Много нового в настройках:

Теперь есть альтернативные имена картинок: 

<номер поста>_<для комментов 1, иначе 0>_<ID>__ИмяКакНаСервере

Еще можно в отельный файл писать ВСЕ теги поста. Может кому пригодится.

Да и вообще, исправлено куча старых багов, добавлена куча новых. Кое-что переехало в отдельный поток, так то прога стала отзывчивее, хотя еще далеко не идеально. 

Проект на GitHub, но исходники (ужасные!) есть и в самой проге (запустите с параметром sources). 

Пишите замечания, ругательства, пожелания.

reactor-crw v0.0.2

Для лучшего понимания контекста см. пост reactor-crw.

Вдохновившись отзывами, комментариями и замечаниями к первой версии краулера, я постарался исправить почти все упомянутые проблемы и выкатил новый релиз. Далее приведен список наиболее критичных исправлений:

Большое спасибо всем кто обратил внимание на баги и отписал в комментарии или даже создал issue на странице проекта, а так же всем, кто просто попробовал эту поделку. Если у вас есть идеи/пожелания/замечания - создайте issue.

p.s. ну и тег добавил, что бы его можно было заблочить.

JoySave v29

Привет! Сделал новую версию скачивалки.

Для Windows качайте JoySave_v29.zip, для Linux x64 качайте JoySave_v29.tar.gz.

Изменения по сравнению с прошлой:

Исправил ошибку при которой на многих адресах не воспринималось дополнение /all, /best и т.п.

Работает теперь через API реактора. А значит будет качать даже те картинки, которые заблокированы. И быстрее работает.

Теперь можно вместо ссылки в адрес написать тег. Так можно качать даже заблокированные теги!

В альт. имени файла номер поста теперь будет на 1 цифру длиннее, так как запасу было мало.

По иконке в трее можно прятать окно. 

Проект на GitHub, но исходники есть и в самой проге (запустите с параметром sources).

Пишите замечания, ругательства, пожелания.

Joyloader v.1.3

В общем вчера был пост про качальщик картинок http://joyreactor.cc/post/5115256

В комментариях человеки оказали помощь и получилось еще немного обработать изделие напильником и довести его до более лудшего состояния. Теперь картинки собираются нормально без плашек. В остальном все по старому: качает, листает, сохраняет, пишет в лог последнюю ссылку страницы. 

Польза от лога не сильно большая, но если отрубился инет или кончилось место на диске, и прога вылетела, то в файле можно увидеть на чем остановилось скачивание. При новом запуске файл опустошается и заполняется заново, поэтому прогу лучше запускать в одном экземпляре. Так же это наверно стоит делать и чтобы не додосить реактор, и он вас не банил и для нас не тормозил.

Была еще мысль сделать проверку на существование файла, чтобы можно было дополнять папки через какое-то время и не качать все по новой. Но из-за того что гифки на реакторе отображаются разными способами и у них есть предпросмотр в виде жипега, я чот запутался и плюнул. Может кто-то допилит и оттестит это дело, то пишите, обновим архив.

Вот если что еще раз ссылка на прогу и код https://disk.yandex.ru/d/uoQRruzTDnPUVA

И бонусом картинка с реактор-кошкой-тян и сосущими ее ньюфажиками

Воспользовавшись избытком свободного времени и неисправимой привычкой лепить велосипеды, решил реализовать удобный, хотя бы для себя, способ выкачивания годноты с реактора. Плюс иметь возможность спасти то, что возможно уже завтра будет потерто копирастами или другими "обеспокоенными".

Я видел несколько схожих решений и они либо не уже поддерживаются, либо являются подключаемыми библиотеками. Какие-то generic решения я не искал (см. пункт про велосипеды).

Что это?

Это CLI crawler, для выкачивания изображений (включая фул), gif, mp4, webm из страницы, которую вы укажите и сохранит все куда скажете. Если crawler найдет на странице пагинацию, то он попытается выкачать каждую страницу. Хотя вы можете указать так не делать.

Ссылка на проект на github.

Как начать?

Скачайте билд и запустите его из командной строки (для windows тоже). Windows может ругаться потому как это хрен пойми чей билд. Мак может ругаться потому что не может проверить поставщика. Линуксу насрать. Выполните .\reactor-crw_0.0.1_Windows_64bit.exe --help (либо ознакомьтесь с доступными флагами на странице github).

Пример запуска на windows:

ссылка на гифку

Краткий FAQ