Результаты поиска по запросу "парсеры"

Для лучшего понимания контекста см. этот пост

Вдохновившись парой поддержавших меня анонов и многоуважаемым avpretty, я сделал для его парсера графическую оболочку - https://github.com/mnocard/reactor-crwUI.

Она написана на WPF, поэтому работает только на windows. Скачать можно здесь: https://github.com/mnocard/reactor-crwUI/releases

Для работы оболочки нужен парсер, который вы можете скачать здесь https://github.com/reactor-joy/reactor-crw/releases

Оболочка выполняет единственную функцию - печатает за вас аргументы и передает в запускаемую командную строку. Всё остальное делает сам парсер. Для минимальной работы нужно указать только путь к парсеру и адрес страницы.

Остальные настройки соответствуют аргументам парсера. Единственное, что я позволил себе - переименовать workers в приоритет загрузки и установить максимальное ограничение в 4 единицы.

ш reactor_crwUI
□
X
Путь к r-crw
Папка загрузки
Адрес страницы
Запуск
Строка Cookies Q
Тип контента: Q Изображение Q gif D webm Q mp4 Загружать только одну страницу Q Приоритет загрузки: 1,reactor-crw,парсер,gui

Знаю, что внешний вид довольно вырвиглазный, если кого-нибудь будет слишком сильно тошнить, могу включить стандартный вид windows приложений. Если будут предложения по изменению внешнего вида, с радостью выслушаю.

FAQ:

q: Зочем?

a: Просили.

q: В чем различия версий cut и full?

a: Full-версия содержит необходимые для запуска приложения элементы .net (по этой же причине такая большая разница в размерах файлов). Есть высокая вероятность, что они уже установлены у вас, поэтому попробуйте сначала cut-версию. Если не взлетит, пробуйте full. Если и full не взлетит, то пишите, что бы я встроил логгер, потом будем разбираться

q: У меня есть предложение.

a: Не держи всё в себе, поделись со мной любым удобным для тебя способом. Лучше публичным.

q: Не парсит!

a: Парсинг зависит только от парсера, представленная программа - лишь оболочка для него. Всего лишь пакетик, в который вы заворачиваете свой хлебушек.

q: Скачай одно, скачай другое... Почему нельзя всё в одном?

a: Есть определенные сложности с тем, чтобы связать приложение на C# и Golang. Как только и если мы с avpretty их преодолеем, так сразу сделаем (наверное) приложение 2 в 1.

PS: У приложения нет иконки. Было бы круто, если бы кто-нибудь нарисовал иконку 50*50 пикселей в стиле реактора.

Оладушек

reactor-crwпарсерgui

Такое дело.

Парсер меняется и после очередного (да, ненадолго меня хватило) изменения атрибутов мне стало влом клепать новую оболочку.
Теперь я сделал кое-что другое: новая оболочка подходит для запуска командной строки с любыми атрибутами, а значит подойдет для любой версии парсера. И вообще для любой программы, которую необходимо запускать из командной строки с атрибутами.

Для тех кто не знает, но заинтересовался:

1) По кнопке с иконкой папки выбираете исполняемый файл, который хотите запустить из командной строки;

2) По кнопке с иконкой плюса добавляете строку ключ-значение. Значение всегда вводится в кавычках. Значение вводить необязательно, можно использовать только ключ;

3) По кнопке с иконкой стрелка вниз можно загрузить список атрибутов из файла в формате json;

4) По кнопке с иконкой стрелка вверх можно сохранить список атрибутов в файл формата json для дальнейшего использования в будущем;

5) По кнопке с иконкой стрелка вправо запускаете командную строку с атрибутами, указанными в строке слева.

6) Строка редактируемая и запуск происходит именно с неё, а не из списка атрибутов. Это значит, что можно ручками исправить то, что не нравится, но в списке атрибутов эти изменения не сохранятся, а значит сохранить в файл из не удастся.

Изменения в текущей версии: Написано на авалонии, так что по идее, её можно собрать и для какой-нибудь абстрактной убунты, но это в будущем, потому что терминал там запускается явно по другому. В общем, если кому-то сильно надо, то пишите, я ускорюсь.

https://github.com/mnocard/reactor-crwUI/releases

PS: у парсера вышла версия 0.3.0.

Оладушек

reactor-crwпарсерgui

Адаптация к парсеру версии 0.0.3.
Добавлено логирование.
Добавлена строка для отображения и редактирования аргументов в реальном времени.
Фикс бага, при котором приложение могло стартовать без указания парсера.

https://github.com/mnocard/reactor-crwUI/releases

corax4

joyreactorпарсерреактор скачатьJoySave

JoySave v33

Привет! Новая версия скачивалки. Минимум изменений.

У JoySaveO.33
Главная Настройки Debug Помощь
Файл API
□ X
Старт
Стоп
№
-1
-
-
Начало 6500 * Конец 7003 * Сейчас 0
-
-
No Адрес Начало Конец Папка Искл. теги
00 https://joyreactor.cc/tag/rn<|>Kn 6500 7003 gif
01 котэ/best 1 0 котики/best
02 https://joyreactor.cc/tag/geek 1 50 geek

Всё как обычно. Скачайте, распакуйте, запускайте. Не запускайте прямо из архива!

Изменения по сравнению с прошлой: Куки теперь задаются не как значение joyreactor_sses3, а полностью, ибо сейчас параметр стал называться joyreactor_sses4. Может он и раньше у кого-то так назывался и у кого-то не работало. Т.е теперь в поле Куки надо писать joyreactor_sses4=blablabla...

Версия для МакОси тотально сломана, пока не готова. Какая-то проблема у Маков с libcrypto.dylib. Может на праздниках разберусь. Похоже, оно и раньше работало только на моём компе и больше ни у кого.

,joyreactor,парсер,реактор скачать,JoySave

Может на праздниках найду немного времени, потому опрос: что еще доработать в скачивалке?

Что доработать в скачивалке?

Проще интерфейс

75(45,18%)

Управление с командной строки

18(10,84%)

Скрипты (напишите в комменты зачем)

8(4,82%)

Стабильность (зависает, падает)

26(15,66%)

Логи и статистика

16(9,64%)

Другое (в комментах)

23(13,86%)

Оладушек

reactor-crwпарсерgui

Выкатил новую версию с небольшими изменениями:
https://github.com/mnocard/reactor-crwUI/releases/tag/v.0.1.1

____________________________________________________________
r-crw-ui - это программа оболочка для запуска исполняемого файла через командную строку с какими-нибудь атрибутами. Изначально планировалась как оболочка для реакторовского парсера (https://github.com/reactor-joy/reactor-crw/releases), но сейчас с помощью этой оболочки можно запускать любые программы.

Краткое руководство:
1) По кнопке с иконкой папки выбираете исполняемый файл, который хотите запустить из командной строки;
2) По кнопке с иконкой плюса добавляете строку ключ-значение. Значение всегда вводится в кавычках. Значение вводить необязательно, можно использовать только ключ;
3) Справа от слова "Разделитель" можно ввести символ или строку разделитель, который будет подставляться между каждой парой ключ-значение;
4) По кнопке с иконкой стрелка вниз можно загрузить список атрибутов из файла в формате json;
5) По кнопке с иконкой стрелка вверх можно сохранить список атрибутов в файл формата json для дальнейшего использования в будущем;
6) По кнопке с иконкой стрелка вправо запускаете командную строку с атрибутами, указанными в строке слева.
7) Строка редактируемая и запуск происходит именно с неё, а не из списка атрибутов. Это значит, что можно ручками исправить то, что не нравится, но в списке атрибутов эти изменения не сохранятся, а значит сохранить в файл из не удастся.

____________________________________________________________
Решил больше не выкладывать cut-версии, так как они особой популярностью не пользуются. Все будущие версии буду full.

Изменения:
- Добавлен символ-разделитель между ключом и значением. По умолчанию разделитель - пробел. Можно использовать не только символ, но и любую строку, которая будет подставляться в каждую пару между ключом и значением.
- При сохранении конфигурационного файла, теперь сохраняются и настройки программы: путь к исполняемому файлу и символ-разделитель.
- При запуске программы она ищет в текущей папке последний сохраненный конфигурационный файл и автоматически загружает его. Если в файле отсутствует значение для параметра "Путь к исполняемому файлу" или полностью отсутствует конфигурационный файл , но при этом в папке есть другие исполняемые файлы, то выбирает для запуска первый в алфавитном порядке.

Конфигурационные файлы предыдущих версий программы несовместимы с текущей версией. Для использования старых конфигурационных файлов рекомендуется вручную их отредактировать, чтобы они соответствовали текущей схеме конфигурационного файла.

Если есть пожелания или замечены баги - пишите, будем разбираться.
Если хотите, чтобы ещё какие-то настройки были добавлены, тоже пишите.

avpretty

reactor-crwпарсер

reactor-crw v0.1.0

Добрейший вечерочек. Новая версия reactor-crw и в ней уже используется graphql API реактора. Тот самый, на который, с недавних пор, переехала мобильная версия сайта. Ссылка на API.

Выглядит это следующим образом:

На данный момент reactor-crw поддерживает два парсера, HTML и API. Оба доступны в виде подкоманд:
- ./reactor-crw html -p "http://joyreactor.cc/tag/Photo+art" - HTML версия
- ./reactor-crw api -t "Photo Art" - API версия

Ограничения

Внимательный читатель заметил, что этап получения ссылок происходит дольше самого скачивания файлов. Хотя по идее мы ничего не парсим а сразу получаем нужный результат. Так происходит потому что у реактора довольно жесткие лимиты по запросам на API. Собственно, у меня получилось заблочить себя даже в плейграунде.

Таким образом, каждый новый запрос на API происходит с таймаутом в 2 секунды.

Что позволяет API парсер

На данный момент, только пакетное выкачивание тегов. По умолчания API отдает абсолютно все, что связано с тегом, поэтому, была добавлена поддержка заблокированных тегов и подписок пользователя.

./reactor-crw api -t "Photo Art" -с "строка с куками"

Это уберет из результата все что у вас заблокировано. Но так же отфильтрует контент, на который нужно явно подписаться, что бы видеть. Куки нужно брать мобильной версии сайта.

Список всех флагов и их описание на странице github.

Изменения в версии 0.0.2

- Была добавлена поддержка socks5 и прокси (работает для HTML и API). Пример:
./reactor-crw api -t "tag name" --socks5 "socks5://127.0.0.1:9050"

- Значительно повысилась скорость обработки файлов. Теги, которые качались по 10-12 минут, сейчас тащатся за 2-3.

Скачать последнюю версию здесь. Если обнаружили ошибку или есть идея для нового функционала - создайте issue.

p.s. да, мы все знаем про Kelly.

corax4

joyreactorпарсерреактор скачатьJoySave

JoySave v32

Привет! Новая версия скачивалки. Минимум изменений.

• • •
Ф JoySave 0.32
Главная Настройки Помощь
Старт Стоп Файл
№ -1 Начало 1255 |§ Конец 1256 ___£ Сейчас О
No Адрес Начало Конец Папка Искл. теги
00 https://joyreactor.cc/tag/rn<t>KH 7003 gif
01 https://joyreactor.ee/tag/KOT3/best 100 cat/котики/вып
02 https://joyreactor.cc/tag/geek 50 geek

Всё как обычно. Скачайте, распакуйте, запускайте. Не запускайте прямо из архива!

Изменения по сравнению с прошлой: добавил галочку в настройках "Качать WebM/MP4 если нет GIF". Так как на реакторе набирают популярность видюшки без GIF, то это добавляет контроля. Так же добавил версию для MacOS (еще более глючную и корявую).

Проект на GitHub. Хотелки и замечания пишите, хотя вряд ли что-то сделаю - времени нету :-)

iNji

Joyloaderjoyreactorреактор скачатьпарсер

Joyloader v.1.5

Есть внезапные изменения, они небольшие, но решил отметить их постом, вдруг кого порадуют.

В связи с переходом реактора на https, качалка моя сломалась, о чем мне сообщил человек в комментариях. Обескураженный этим событием я удрученно тупил в созданное собственными руками, тщетно пытаясь понять как оно работает. И спустя время понял, частично, но достаточно, чтобы оно ожило и снова заработало. Перезалил новый архив и сообщил этому товарищу в комментарии. Окрыленный сим успехом, я потыкал код палочкой еще подольше, и ура, заработало скачивание картинок теперь в полном разрешении, а не 811 пикселей по ширине, как раньше.

Ссылка на качалку все та же https://disk.yandex.ru/d/uoQRruzTDnPUVA

Оладушек

reactor-crwпарсерgui

Предыдущий пост

Добавлена возможность сохранения настроек в json файл и загрузка из него.
Добавлена иконка приложения.

https://github.com/mnocard/reactor-crwUI/releases

Иконка предоставлена уважаемым Ray513

(§) reactor_crwUI
□
X
Путь к r-crw Сохранить конфиг
Папка загрузки Загрузить конфиг
Адрес страницы
Строка Cookies Q
Тип контента: Q Изображение Q gif D webm Q mp4 Загружать только одну страницу Q Приоритет загрузки: 1,reactor-crw,парсер,gui

corax4

joyreactorпарсерреактор скачатьJoySave

JoySave v31

Привет! Новая версия скачивалки. Ничего нового, пару багов поправил.

Для Windows качайте JoySave_v31.zip, для Linux x64 качайте JoySave_v31.tar.gz.

JoySave 0.31
л _ □ X

Главная Настройки Помощь
Старт Стоп Файл
Ж 1 ’W Начало Ж 1 ’W Конец 100 ’W Сейчас Ж 6 ’W
No Адрес Начало Конец Папка Искл. теги
00 https://blizzard.reactor.ccAag/Starcraft 1 150 star_craft 1
01 котэ/best 1 100 cat/best манул
02 https://joyreactor.ccAag/geek 50 geek

Всё как обычно. Скачайте, распакуйте, запускайте. Не запускайте прямо из архива!

Изменения по сравнению с прошлой: починил нумерацию строк в главной таблице и работу строк больше 49-й. Это всё.

Проект на GitHub, но исходники есть и в самой проге (запустите с параметром sources).

Времени сейчас совсем нет. Но всё равно пишите замечания и пожелания.

Здесь мы собираем самые интересные картинки, арты, комиксы, мемасики по теме парсеры (+448 постов - парсеры)