парсер картинки

Для лучшего понимания контекста см. этот пост 

Вдохновившись парой поддержавших меня анонов и многоуважаемым avpretty, я сделал для его парсера графическую оболочку - https://github.com/mnocard/reactor-crwUI.

Она написана на WPF, поэтому работает только на windows. Скачать можно здесь: https://github.com/mnocard/reactor-crwUI/releases

Для работы оболочки нужен парсер, который вы можете скачать здесь https://github.com/reactor-joy/reactor-crw/releases

Оболочка выполняет единственную функцию - печатает за вас аргументы и передает в запускаемую командную строку. Всё остальное делает сам парсер. Для минимальной работы нужно указать только путь к парсеру и адрес страницы. 

Остальные настройки соответствуют аргументам парсера. Единственное, что я позволил себе - переименовать workers в приоритет загрузки и установить максимальное ограничение в 4 единицы.

FAQ:

q: Зочем?

a: Просили.

q: В чем различия версий cut и full?

a: Full-версия содержит необходимые для запуска приложения элементы .net (по этой же причине такая большая разница в размерах файлов). Есть высокая вероятность, что они уже установлены у вас, поэтому попробуйте сначала cut-версию. Если не взлетит, пробуйте full. Если и full не взлетит, то пишите, что бы я встроил логгер, потом будем разбираться

q: У меня есть предложение.

a: Не держи всё в себе, поделись со мной любым удобным для тебя способом. Лучше публичным.

q: Не парсит!

a: Парсинг зависит только от парсера, представленная программа - лишь оболочка для него. Всего лишь пакетик, в который вы заворачиваете свой хлебушек.

q: Скачай одно, скачай другое... Почему нельзя всё в одном?

a: Есть определенные сложности с тем, чтобы связать приложение на C# и Golang. Как только и если мы с avpretty их преодолеем, так сразу сделаем (наверное) приложение 2 в 1.

PS: У приложения нет иконки. Было бы круто, если бы кто-нибудь нарисовал иконку 50*50 пикселей  в стиле реактора.

JoySave v33

Привет! Новая версия скачивалки. Минимум изменений.

Всё как обычно. Скачайте, распакуйте, запускайте. Не запускайте прямо из архива!

Изменения по сравнению с прошлой: Куки теперь задаются не как значение joyreactor_sses3, а полностью, ибо сейчас параметр стал называться joyreactor_sses4. Может он и раньше у кого-то так назывался и у кого-то не работало. Т.е теперь в поле Куки надо писать joyreactor_sses4=blablabla...

Версия для МакОси тотально сломана, пока не готова. Какая-то проблема у Маков с libcrypto.dylib. Может на праздниках разберусь. Похоже, оно и раньше работало только на моём компе и больше ни у кого. 

ссылка на гифку

Может на праздниках найду немного времени, потому опрос: что еще доработать в скачивалке?

JoySave v26

Предлагаю всем заинтересованным скачивалку картинок.

Умеет качать целый список разных тегов, для каждого группирует картинки в папки по некоторому количеству страниц этого тега на реакторе, умеет само паковать в CBZ (по сути - в ZIP, только переименованный).

На вкладке Main таблица заполняется ссылками для сохранения. Копируем адрес в строке адреса браузера, вставляем в клетку URL. Например, переходим в раздел "Котэ". Получится https://joyreactor.cc/tag/котэ. Хотим больше котиков? Переключаем на "Бездну" и копируем. Получается https://joyreactor.cc/tag/котэ/all. Вобщем, понятно. Но если копируете не на последней странице, то в адресе будет номер страницы, например https://joyreactor.cc/tag/котэ/best/2698. Вот его не надо. Номер подставляться будет автоматически, так что номер и последний "/" сотрите.

В столбцах Begin и End вводим номера страниц с какого по какое сохранять. Столбец Folder - это название папки, куда будет сохраняться картинки. Т.е. если введем "SuperCat", то будет сохраняться в папке Pic/SuperCat. Если оставить пустым, то будет имя папки будет номер из столбца No.

Если пустое хоть одно из полей [URL, Begin, End], то строка пропускается. Это удобно, чтоб держать записи на будущее. Например, скачали котиков до страницы 200. Очистим поле Begin, и у нас сохранен адрес и последняя скачанная страница. Когда накопятся новые картинки, то в поле Begin поставим те же 200, а в End уже, например, 250.

Имеет смысл закрыть прогу после заполнения таблицы, чтоб сохранила всё. А то вдруг глюканет и вылетит без сохранения!

Крутилки на главной странице без надобности не трогайте, они сами меняются. 

Больше описаний в самой проге на вкладке Help. Не буду копировать сюда весь текст - его много. Только настроек немного еще опишу.

Cookies нужны чтоб качать картинки из-под своего аккаунта (например, чтоб качать избранное, или секретные разделы). Куки можно взять из расширений браузера. Например, для Хрома - Cookie Editor. Достаточно только joyreactor_sess3=значение_этого_поля.

Далее крутилка Timer. Это сколько миллисекунд минимум задержки между запросами (получением постов, скачиванием картинок и прочее). Не ставь мало - заблокируют.

Pages in folder - сколько страниц группируется в подпапку. На мой вкус 50 - оптимально. Больше за раз посмотреть напряжно.

К сожалению, под Linux почему-то не работает HTTP-прокси. SOCKS работает. Прога не многопоточная, потому часто "задумывается", особенно на тяжелых картинках и при упаковке в CBZ. И вообще, это то еще глюкалово, написанное по-быстрому на коленке. 

Пишите замечания, ругательства, пожелания.

JoySave v32

Привет! Новая версия скачивалки. Минимум изменений.

Изменения по сравнению с прошлой: добавил галочку в настройках "Качать WebM/MP4 если нет GIF". Так как на реакторе набирают популярность видюшки без GIF, то это добавляет контроля. Так же добавил версию для MacOS (еще более глючную и корявую).

ссылка на гифку

Проект на GitHub. Хотелки и замечания пишите, хотя вряд ли что-то сделаю - времени нету :-)

reactor-crw v0.1.0

Добрейший вечерочек. Новая версия reactor-crw и в ней уже используется graphql API реактора. Тот самый, на который, с недавних пор, переехала мобильная версия сайта. Ссылка на API.

Выглядит это следующим образом:

Ограничения

Внимательный читатель заметил, что этап получения ссылок происходит дольше самого скачивания файлов. Хотя по идее мы ничего не парсим а сразу получаем нужный результат. Так происходит потому что у реактора довольно жесткие лимиты по запросам на API. Собственно, у меня получилось заблочить себя даже в плейграунде.

Таким образом, каждый новый запрос на API происходит с таймаутом в 2 секунды.

Что позволяет API парсер

На данный момент, только пакетное выкачивание тегов. По умолчания API отдает абсолютно все, что связано с тегом, поэтому, была добавлена поддержка заблокированных тегов и подписок пользователя. 

./reactor-crw api -t "Photo Art" -с "строка с куками"

Это уберет из результата все что у вас заблокировано. Но так же отфильтрует контент, на который нужно явно подписаться, что бы видеть. Куки нужно брать мобильной версии сайта.

Список всех флагов и их описание на странице github.

Изменения в версии 0.0.2

- Была добавлена поддержка socks5 и прокси (работает для HTML и API). Пример:
./reactor-crw api -t "tag name" --socks5 "socks5://127.0.0.1:9050"

- Значительно повысилась скорость обработки файлов. Теги, которые качались по 10-12 минут, сейчас тащатся за 2-3.

Скачать последнюю версию здесь. Если обнаружили ошибку или есть идея для нового функционала - создайте issue.

p.s. да, мы все знаем про Kelly.

Скачивалка картинок с плашками

Короче захотелось мне в связи со всеми этими последними событиями, и тем к чему они могут привести, коечего качнуть с реактора. Чтобы было, на всякий пожарный. Задал вопрос тут http://joyreactor.cc/post/5114496#comment25031878 и получил ответы. Смог воспользоваться одним из них и таки накачал чего хотел. Но пока разбирался с этим делом немного поматерился неудобности обоих способов, и параллельно процессу поковырялся над своим вариантом "на коленках". И вот теперь думаю, что он тоже имеет право на жизнь. Плюсы: удобность и простота. Минусы: плашки на картинках и ненастраевоемость.

В общем вот, представляю вам Joyloader

Скачать: https://disk.yandex.ru/d/uoQRruzTDnPUVA

joyloader.exe - скомпилированный програмусик

joyloader.py - исходный кодик, если вам стремно запускать чужие экзешники (что оправдано), то вот компилируйте сами и пользуйтесь, заодно решается проблема с настраиваемостью, настраивайте.

Кто-то скажет, блин там писят строчек кода, нафик ты это принес? А я отвечу - а вот.

Для примера скрин с рабочей прогой.

Пишите замечания, благодарности, ругательства.

п.с Качает не только посты по тегам, но и просто фендомы, и даже комментарии пользователя, в общем походу все, где есть картинки и постраничность.

Joyloader v.1.5

JoySave v31

Привет! Новая версия скачивалки. Ничего нового, пару багов поправил.

Для Windows качайте JoySave_v31.zip, для Linux x64 качайте JoySave_v31.tar.gz.

Всё как обычно. Скачайте, распакуйте, запускайте. Не запускайте прямо из архива!

Изменения по сравнению с прошлой: починил нумерацию строк в главной таблице и работу строк больше 49-й. Это всё.

ссылка на гифку

Проект на GitHub, но исходники есть и в самой проге (запустите с параметром sources).

Времени сейчас совсем нет. Но всё равно пишите замечания и пожелания.

JoySave v27

Привет! Немного доработал скачивалку. 

Для Windows качайте JoySave_v27.zip, для Linux x64 качайте JoySave_v27.tar.gz.

Об изменениях по сравнению с прошлой версией:

Все настройки переехали в ini-файл. Можете заменить старую прогу новой, она сама подтянет старые настройки, удалит cookies.txt и list.csv. Для Linux - перед запуском новой проги переместите ".JoySave" из домашней папки в папку с прогой, переименуйте в "JoySave.ini". 

Настройки и таблица сами сохраняются когда запускается закачка - не нужно на всякий случай закрывать прогу перед запуском.

Если куки в настройках правильные, то в статус-баре рядом с "Кач" будет ваш [логин]. Так можно видеть что куки пора обновить. 

Если запустить из командной строки с параметром start (т.е. "JoySave.exe start") - закачка начнется автоматически. Удобно для запуска из планировщика заданий.

Если в поле "Конец" стоит 0, то актуальный номер последней страницы заполнится сам.

Много нового в настройках:

Теперь есть альтернативные имена картинок: 

<номер поста>_<для комментов 1, иначе 0>_<ID>__ИмяКакНаСервере

Еще можно в отельный файл писать ВСЕ теги поста. Может кому пригодится.

Да и вообще, исправлено куча старых багов, добавлена куча новых. Кое-что переехало в отдельный поток, так то прога стала отзывчивее, хотя еще далеко не идеально. 

Проект на GitHub, но исходники (ужасные!) есть и в самой проге (запустите с параметром sources). 

Пишите замечания, ругательства, пожелания.

JoySave v29

Привет! Сделал новую версию скачивалки.

Для Windows качайте JoySave_v29.zip, для Linux x64 качайте JoySave_v29.tar.gz.

Изменения по сравнению с прошлой:

Исправил ошибку при которой на многих адресах не воспринималось дополнение /all, /best и т.п.

Работает теперь через API реактора. А значит будет качать даже те картинки, которые заблокированы. И быстрее работает.

Теперь можно вместо ссылки в адрес написать тег. Так можно качать даже заблокированные теги!

В альт. имени файла номер поста теперь будет на 1 цифру длиннее, так как запасу было мало.

По иконке в трее можно прятать окно. 

Проект на GitHub, но исходники есть и в самой проге (запустите с параметром sources).

Пишите замечания, ругательства, пожелания.