как написать парсер

Воспользовавшись избытком свободного времени и неисправимой привычкой лепить велосипеды, решил реализовать удобный, хотя бы для себя, способ выкачивания годноты с реактора. Плюс иметь возможность спасти то, что возможно уже завтра будет потерто копирастами или другими "обеспокоенными".

Я видел несколько схожих решений и они либо не уже поддерживаются, либо являются подключаемыми библиотеками. Какие-то generic решения я не искал (см. пункт про велосипеды).

Что это?

Это CLI crawler, для выкачивания изображений (включая фул), gif, mp4, webm из страницы, которую вы укажите и сохранит все куда скажете. Если crawler найдет на странице пагинацию, то он попытается выкачать каждую страницу. Хотя вы можете указать так не делать.

Ссылка на проект на github.

Как начать?

Скачайте билд и запустите его из командной строки (для windows тоже). Windows может ругаться потому как это хрен пойми чей билд. Мак может ругаться потому что не может проверить поставщика. Линуксу насрать. Выполните .\reactor-crw_0.0.1_Windows_64bit.exe --help (либо ознакомьтесь с доступными флагами на странице github).

Пример запуска на windows:

ссылка на гифку

Краткий FAQ

Решил я парсер запилить и вроди получилось!

Ну а раз получилось, то решил поделиться с добрыми людьми. Не факт, что это кому-то понадобится, но мало ли.

Ну а ниже как это все работает

Зашел на днях я на сайт комиксов с переводом allhentai.ru. Сайтик интересный: комиксов много, перевод в большинстве качественный. Посидел, полистал и очень мне не понравился интерфейс: миниатюр переключать страницы надо или клавишами или кликом, в общем, для меня не удобно показалось. И решил я это дело поправить, выкачать себе на комп комиксы и полистать в удобном просмотрщике.

Для этого ратного дела я и решил парсер запилить, а то по шаблону адресов изображений качать не плучилось. Пару часов и задача выполнена, скачивается все в папки разные по номерам, но просматривать отдельные файлы все равно не удобно было.

И в результате было применено несколько апдейтов данного парсера: 

- Интерфейс для скачивания с очень простыми функциями 

- Интерфейс для просмотра (все страницы комикса выстраиваются в одну колонку и дальше можно листать хоть чем) 

- Оглавление для перехода к нужной странице (спорное решение) 

 Как это дело работает: 

Написано оно на PHP, значит для него нужен сервер. Писался и тестировался парсер на Open Server (по идее и на других серверах с поддержкой ПХП тоже должно работать, как и на хостинге, но не тестировал). 

Теперь как это все настроить и запустить 

1. Скачать архивчик 

2. Установить Open Server (инструкция на сайте, хотятам все просто) 

3. Зайти в папку domains опенсервера и создать там какой-то домен, например, pars.hentai 

4. Извлечь в эту папку содержимое архива из папки uploads 

 5. Добавить времени на выполнение скриптов, по умолчанию стоит 60с, рекомендую ставить час (на выкачивание 1189 файлов у меня ушло 15 мин) - Дополнительно -> Конфигурация -> PHP_7.3 (ну или какая версия там у вас будет)В открывшемся файле в строке max_execution_time ставим 3600 

6. Запустить Open Server 

7. В браузере перейти по домену (не забываем перед доменом http://), который создали, например, pars.hentai 

8. Зайти на allhentai.ru выбрать понравившийся комикс и скопировать часть урла в поле дляв вода и нажать "Старт" 

9. Дождаться надписи "Готово!" и нажать "Загрузить полученные комиксы" (все ранее скачанные комиксы подгрузятся) 

10. Перейти по ссылке из списка -> наслаждатьсяну как-то так 

11. Качать комиксов можно сколько угодно, главное, чтобы места на хардах хватило) Ну и главное, чтобы стрессоустойчивость у сайта была нормальной и не лег он под Ддос. 

Из минусов: 

 Работает только для allhentai.ru - потому его значимость мала, это просто поделка для себя, которой захотелось поделиться 

Нужен сервер с PHP 

Можно засрать себе харды ненужными комиксами и повысить нагрузку на allhentai 

Имена файлов одинаковые 

Ссылки названы по урлу 

Пока не получается качать двухтомные и более комиксы 

Нет превью страниц 

Удаление только вручную из папки comicses на сервере (!!! Ahtung НЕ УДАЛЯТЬ оттуда файл index.php) 

Но если и спрос будет, и желание, и свободное время, то допилю это. Если что криво сделано, не пинайте сильно,  а лучше сделайте конструктивное предложение)

Для лучшего понимания контекста см. этот пост 

Вдохновившись парой поддержавших меня анонов и многоуважаемым avpretty, я сделал для его парсера графическую оболочку - https://github.com/mnocard/reactor-crwUI.

Она написана на WPF, поэтому работает только на windows. Скачать можно здесь: https://github.com/mnocard/reactor-crwUI/releases

Для работы оболочки нужен парсер, который вы можете скачать здесь https://github.com/reactor-joy/reactor-crw/releases

Оболочка выполняет единственную функцию - печатает за вас аргументы и передает в запускаемую командную строку. Всё остальное делает сам парсер. Для минимальной работы нужно указать только путь к парсеру и адрес страницы. 

Остальные настройки соответствуют аргументам парсера. Единственное, что я позволил себе - переименовать workers в приоритет загрузки и установить максимальное ограничение в 4 единицы.

FAQ:

q: Зочем?

a: Просили.

q: В чем различия версий cut и full?

a: Full-версия содержит необходимые для запуска приложения элементы .net (по этой же причине такая большая разница в размерах файлов). Есть высокая вероятность, что они уже установлены у вас, поэтому попробуйте сначала cut-версию. Если не взлетит, пробуйте full. Если и full не взлетит, то пишите, что бы я встроил логгер, потом будем разбираться

q: У меня есть предложение.

a: Не держи всё в себе, поделись со мной любым удобным для тебя способом. Лучше публичным.

q: Не парсит!

a: Парсинг зависит только от парсера, представленная программа - лишь оболочка для него. Всего лишь пакетик, в который вы заворачиваете свой хлебушек.

q: Скачай одно, скачай другое... Почему нельзя всё в одном?

a: Есть определенные сложности с тем, чтобы связать приложение на C# и Golang. Как только и если мы с avpretty их преодолеем, так сразу сделаем (наверное) приложение 2 в 1.

PS: У приложения нет иконки. Было бы круто, если бы кто-нибудь нарисовал иконку 50*50 пикселей  в стиле реактора.

JoySave v33

Привет! Новая версия скачивалки. Минимум изменений.

Всё как обычно. Скачайте, распакуйте, запускайте. Не запускайте прямо из архива!

Изменения по сравнению с прошлой: Куки теперь задаются не как значение joyreactor_sses3, а полностью, ибо сейчас параметр стал называться joyreactor_sses4. Может он и раньше у кого-то так назывался и у кого-то не работало. Т.е теперь в поле Куки надо писать joyreactor_sses4=blablabla...

Версия для МакОси тотально сломана, пока не готова. Какая-то проблема у Маков с libcrypto.dylib. Может на праздниках разберусь. Похоже, оно и раньше работало только на моём компе и больше ни у кого. 

ссылка на гифку

Может на праздниках найду немного времени, потому опрос: что еще доработать в скачивалке?

reactor-crw v0.1.0

Добрейший вечерочек. Новая версия reactor-crw и в ней уже используется graphql API реактора. Тот самый, на который, с недавних пор, переехала мобильная версия сайта. Ссылка на API.

Выглядит это следующим образом:

Ограничения

Внимательный читатель заметил, что этап получения ссылок происходит дольше самого скачивания файлов. Хотя по идее мы ничего не парсим а сразу получаем нужный результат. Так происходит потому что у реактора довольно жесткие лимиты по запросам на API. Собственно, у меня получилось заблочить себя даже в плейграунде.

Таким образом, каждый новый запрос на API происходит с таймаутом в 2 секунды.

Что позволяет API парсер

На данный момент, только пакетное выкачивание тегов. По умолчания API отдает абсолютно все, что связано с тегом, поэтому, была добавлена поддержка заблокированных тегов и подписок пользователя. 

./reactor-crw api -t "Photo Art" -с "строка с куками"

Это уберет из результата все что у вас заблокировано. Но так же отфильтрует контент, на который нужно явно подписаться, что бы видеть. Куки нужно брать мобильной версии сайта.

Список всех флагов и их описание на странице github.

Изменения в версии 0.0.2

- Была добавлена поддержка socks5 и прокси (работает для HTML и API). Пример:
./reactor-crw api -t "tag name" --socks5 "socks5://127.0.0.1:9050"

- Значительно повысилась скорость обработки файлов. Теги, которые качались по 10-12 минут, сейчас тащатся за 2-3.

Скачать последнюю версию здесь. Если обнаружили ошибку или есть идея для нового функционала - создайте issue.

p.s. да, мы все знаем про Kelly.

JoySave v31

Привет! Новая версия скачивалки. Ничего нового, пару багов поправил.

Для Windows качайте JoySave_v31.zip, для Linux x64 качайте JoySave_v31.tar.gz.

Всё как обычно. Скачайте, распакуйте, запускайте. Не запускайте прямо из архива!

Изменения по сравнению с прошлой: починил нумерацию строк в главной таблице и работу строк больше 49-й. Это всё.

ссылка на гифку

Проект на GitHub, но исходники есть и в самой проге (запустите с параметром sources).

Времени сейчас совсем нет. Но всё равно пишите замечания и пожелания.

JoySave v29

Привет! Сделал новую версию скачивалки.

Для Windows качайте JoySave_v29.zip, для Linux x64 качайте JoySave_v29.tar.gz.

Изменения по сравнению с прошлой:

Исправил ошибку при которой на многих адресах не воспринималось дополнение /all, /best и т.п.

Работает теперь через API реактора. А значит будет качать даже те картинки, которые заблокированы. И быстрее работает.

Теперь можно вместо ссылки в адрес написать тег. Так можно качать даже заблокированные теги!

В альт. имени файла номер поста теперь будет на 1 цифру длиннее, так как запасу было мало.

По иконке в трее можно прятать окно. 

Проект на GitHub, но исходники есть и в самой проге (запустите с параметром sources).

Пишите замечания, ругательства, пожелания.

JoySave v26

Предлагаю всем заинтересованным скачивалку картинок.

Умеет качать целый список разных тегов, для каждого группирует картинки в папки по некоторому количеству страниц этого тега на реакторе, умеет само паковать в CBZ (по сути - в ZIP, только переименованный).

На вкладке Main таблица заполняется ссылками для сохранения. Копируем адрес в строке адреса браузера, вставляем в клетку URL. Например, переходим в раздел "Котэ". Получится https://joyreactor.cc/tag/котэ. Хотим больше котиков? Переключаем на "Бездну" и копируем. Получается https://joyreactor.cc/tag/котэ/all. Вобщем, понятно. Но если копируете не на последней странице, то в адресе будет номер страницы, например https://joyreactor.cc/tag/котэ/best/2698. Вот его не надо. Номер подставляться будет автоматически, так что номер и последний "/" сотрите.

В столбцах Begin и End вводим номера страниц с какого по какое сохранять. Столбец Folder - это название папки, куда будет сохраняться картинки. Т.е. если введем "SuperCat", то будет сохраняться в папке Pic/SuperCat. Если оставить пустым, то будет имя папки будет номер из столбца No.

Если пустое хоть одно из полей [URL, Begin, End], то строка пропускается. Это удобно, чтоб держать записи на будущее. Например, скачали котиков до страницы 200. Очистим поле Begin, и у нас сохранен адрес и последняя скачанная страница. Когда накопятся новые картинки, то в поле Begin поставим те же 200, а в End уже, например, 250.

Имеет смысл закрыть прогу после заполнения таблицы, чтоб сохранила всё. А то вдруг глюканет и вылетит без сохранения!

Крутилки на главной странице без надобности не трогайте, они сами меняются. 

Больше описаний в самой проге на вкладке Help. Не буду копировать сюда весь текст - его много. Только настроек немного еще опишу.

Cookies нужны чтоб качать картинки из-под своего аккаунта (например, чтоб качать избранное, или секретные разделы). Куки можно взять из расширений браузера. Например, для Хрома - Cookie Editor. Достаточно только joyreactor_sess3=значение_этого_поля.

Далее крутилка Timer. Это сколько миллисекунд минимум задержки между запросами (получением постов, скачиванием картинок и прочее). Не ставь мало - заблокируют.

Pages in folder - сколько страниц группируется в подпапку. На мой вкус 50 - оптимально. Больше за раз посмотреть напряжно.

К сожалению, под Linux почему-то не работает HTTP-прокси. SOCKS работает. Прога не многопоточная, потому часто "задумывается", особенно на тяжелых картинках и при упаковке в CBZ. И вообще, это то еще глюкалово, написанное по-быстрому на коленке. 

Пишите замечания, ругательства, пожелания.