Результаты поиска по запросу «

принцип работы парсеров

»

Запрос:
Создатель поста:
Теги (через запятую):



reactor-crw парсер gui 

Для лучшего понимания контекста см. этот пост 

Вдохновившись парой поддержавших меня анонов и многоуважаемым avpretty, я сделал для его парсера графическую оболочку - https://github.com/mnocard/reactor-crwUI.

Она написана на WPF, поэтому работает только на windows. Скачать можно здесь: https://github.com/mnocard/reactor-crwUI/releases

Для работы оболочки нужен парсер, который вы можете скачать здесь https://github.com/reactor-joy/reactor-crw/releases

Оболочка выполняет единственную функцию - печатает за вас аргументы и передает в запускаемую командную строку. Всё остальное делает сам парсер. Для минимальной работы нужно указать только путь к парсеру и адрес страницы. 

Остальные настройки соответствуют аргументам парсера. Единственное, что я позволил себе - переименовать workers в приоритет загрузки и установить максимальное ограничение в 4 единицы.

ш reactor_crwUI □ X Путь к r-crw Папка загрузки Адрес страницы Запуск Строка Cookies Q Тип контента: Q Изображение Q gif D webm Q mp4 Загружать только одну страницу Q Приоритет загрузки: 1,reactor-crw,парсер,gui

Знаю, что внешний вид довольно вырвиглазный, если кого-нибудь будет слишком сильно тошнить, могу включить стандартный вид windows приложений. Если будут предложения по изменению внешнего вида, с радостью выслушаю.

FAQ:

q: Зочем?

a: Просили.

q: В чем различия версий cut и full?

a: Full-версия содержит необходимые для запуска приложения элементы .net (по этой же причине такая большая разница в размерах файлов). Есть высокая вероятность, что они уже установлены у вас, поэтому попробуйте сначала cut-версию. Если не взлетит, пробуйте full. Если и full не взлетит, то пишите, что бы я встроил логгер, потом будем разбираться

q: У меня есть предложение.

a: Не держи всё в себе, поделись со мной любым удобным для тебя способом. Лучше публичным.

q: Не парсит!

a: Парсинг зависит только от парсера, представленная программа - лишь оболочка для него. Всего лишь пакетик, в который вы заворачиваете свой хлебушек.

q: Скачай одно, скачай другое... Почему нельзя всё в одном?

a: Есть определенные сложности с тем, чтобы связать приложение на C# и Golang. Как только и если мы с avpretty их преодолеем, так сразу сделаем (наверное) приложение 2 в 1.

PS: У приложения нет иконки. Было бы круто, если бы кто-нибудь нарисовал иконку 50*50 пикселей  в стиле реактора.

Развернуть

пидоры помогите работа it хикка нытье 

КУПОН НА 1 помощь,пидоры помогите,реактор помоги,работа,it,хикка,нытье

Сейчас будет предыстория, а сам вопрос выделен ниже.

Дело происходит в Беларуси, а значит для примерной картины умножаем цены грубо на ~30, чтобы получить цены в рос. рублях  (на сегодняшний день 26 лет)

Как все учился в школе и желания идти в какую-либо профессию не было (на  то время в городе не было ничего, что хоть близко похоже на факультет связанный с компами). Брат заканчивал геодезию и ему нравилось. Подумал “да и фиг с ним” и тоже пошел туда(ну и в армию тоже никакого желания очевидно идти нет, а так 5 лет). По окончанию универа распределили на другой конец страны (мамкиного то хиккана),где пол года работал за 180-200р. Под новый год дали 104р и ящик с колбасой (а было это 3 года назад).  За эти деньги были постоянные командировки (хотя еще при путешествии на другой конец страны узнал, что меня ппц укачивает. Раньше далеко не ездил ну и не знал об этом. В итоге любая поездка оканчивалась в ужасном состоянии), а тк начальство пидоры, то оплачивать жилье в командировках никто не хотел и платили за автобус, на котором все рабочие ездили туда обратно. Т.е встаешь в 4:30, чтобы успеть на автобус (в котором сука не работает печка. И это в -20) и трястись пару часов до объекта, там въябывать как проклятый  (при этом вечно просили “нарисовать как надо”) и потом еще пару часов езды назад (часам к 8 в общаге и сил нет даже сидеть).

Через пол года руганий с универом (тк уволиться не мог,иначе должен выплатить 150к рублей), перераспределился подсобным рабочим в родной город за 300р. Не густо, но хоть спал наконец дома и комп родной.Отработал год и подвернулась должность геодезиста, где уже 550-600р давали(никаких командировок. Пару заводов рядом. Сказка). Ну и может 8 месяцев назад каких поднялась зп до 800 (впрочем вероятно упадет, но кто знает).

Ну а теперь собственно затянутый вопрос. Все свободное время сижу в компе. Расписание на выходной: проснулся=>включил комп=>перед отходом ко сну отодрал задницу и выключил. Осточертело ездить по часу до работы занимаясь нелюбимым делом. В одной теме недавно видел, что есть skillbox\geekbrains, чтобы обучаться на тыжпрограммиста. Залез почитать и очевидно, что ни малейшего понятия, чтовообще брать. Но даже не это смутило. Там курсы по 12-18 месяцев “достаточно заниматься 3-5 часов в неделю”. Я готов по 3-5 в день и по выходным до 8 часов,лишь бы не так долго (на результат. английский знаю нормально, в основном по играм\музыке\фильмам + хороший препод в школе), но ничего такого нет.

Кто может подсказать область в которой двигаться на фриланса? Просто оплатить курс и через полтора года понять, что он не  вперся как и геодезия такое себе. С чего начать. Может какие халявные гайды для дегенератов, после которого можно копеешные задания делать для портфолио. Либо какие укороченные курсы. В общем я в тупике

P.S. нет я не жирный и нестрашный. Просто быстро разочаровался в людях и родной комп развлекает лучше всего (за 26 лет в школе\универе\работе нет никого, кто хоть вообще играл бы нормально в игры или хоть как-то с компами имел дело. Вообще не с кем поговорить,кроме интернета.  Все лишь бухают, рожают и тыкают в тебя пальцем какой ты лох)


Развернуть

it-юмор geek гиф 

Принцип работы парсеров


Развернуть

Отличный комментарий!

user_no_name user_no_name 15.06.202021:31 ссылка
+24.6
Смотрите, человек в 2020 не пишет код! Смейтесь над ним, гоните его!
Eliott_Purpure Eliott_Purpure 15.06.202021:33 ссылка
+42.0

Stable diffusion нейронные сети сделал сам песочница 

Моя попытка в тренировку LoRA №2

В общем, я был приятно удивлен, что мой предыдущий пост зашел уважаемым содомитам, посему решил сделать еще один. Не знаю, дело в интересе к нейросетям или к Оглафу, но сейчас можно будет как раз проверить.Итак, позвольте представить вашему вниманию LoRA обученную на работах венецианского живописца эпохи Возрождения - Тициано Вачеллио.

 https://civitai.com/models/478707/titian-vecellio-style?modelVersionId=532368

Как и в прошлый раз, я не смог достичь уровня самоудовлетворения, но не пропадать же добру. LoRA тренировалась на модели Pony, а эта модель не очень подходит тому, что не является r34, картинками, но мне было интересно попробовать. В принципе, вышло лучше, чем я ожидал, но хуже чем могло быть.

Stable diffusion,нейронные сети,сделал сам,нарисовал сам, сфоткал сам, написал сам, придумал сам, перевел сам,песочница

Stable diffusion,нейронные сети,сделал сам,нарисовал сам, сфоткал сам, написал сам, придумал сам, перевел сам,песочница

Stable diffusion,нейронные сети,сделал сам,нарисовал сам, сфоткал сам, написал сам, придумал сам, перевел сам,песочница

 Ш \ л / 'ч 1. . : rar^vjL í 4/ ■\ ■ 'él ^vl« жг I Г # Йг • (d J* •/у »Ат» /y ^ÿ‘-, ■ ^В*. jBf,Stable diffusion,нейронные сети,сделал сам,нарисовал сам, сфоткал сам, написал сам, придумал сам, перевел сам,песочница

Stable diffusion,нейронные сети,сделал сам,нарисовал сам, сфоткал сам, написал сам, придумал сам, перевел сам,песочница

Stable diffusion,нейронные сети,сделал сам,нарисовал сам, сфоткал сам, написал сам, придумал сам, перевел сам,песочница

Развернуть

баянометр 

@ExtraDJ, стоит ли нам ждать баянометр и когда?
в принципе, пока ты там в глубокой отладке, я могу попробовать на коленке за недельку-другую поднять поиск по phash со своими нюансами и запустить его у себя (если кто расскажет мне как с одного адреса спарсить все картинки реактора, не улетая в автобан по IP).

ну и опрос, насколько это актуально
Нужен ли третий баянометр?
Да, ExtraDJ набрал донатов и спился нахуй, а кармадрочеры не видят берегов
429 (60.3%)
Нет, я ньюфаг и то, что для других баяны, для мня ново
83 (11.7%)
Нет, я кармадрочер и баянометр мне будет только мешать
25 (3.5%)
Это я, ExtraDJ, и со дня на день я запущу баянометр 2.0 вновь
175 (24.6%)
Развернуть

it длиннопост 

Привет, пидоры.

В этих ваших интернетах есть много статей на тему "войти в айти", да и здесь регулярно появляются посты об этом. Все хотят, но не все могут, ведь сегодня в завтрашний день...

Никаких советов давать никому не буду, просто хочу рассказать свою историю.

Я работал врачом 9 лет на разных специальностях, в том числе и руководящих, но никогда не был удовлетворён своей работой. Да, вот так глупо получилось: учился 8 лет, а потом ещё 9 работал без особого энтузиазма. Но со школы была мечта - стать программистом. Когда впервые, в 10 классе (в начале 2000х), об этом заговорил с родителями, мать ответила: "Да кому они нужны, эти твои программисты, ни у кого компьютеров даже нет! Иди на врача, всегда будешь нужный, всегда будет работа". В принципе, со вторым предложением она оказалась права, но мечта никуда не делась.

Во время учебы в универе, я перепрошивал телефоны, но это было самое близкое к IT, чем я мог заниматься, так как в силу своего скудного ума не мог придумать других способов заняться программированием, и самое главное - не знал даже с какой стороны подступиться.

it,длиннопост


В конце 2019 увидел курсы для разработчиков. Да, вот эти вот ваши говнокурсы, на которых обещают, что через год будешь зарабатывать 300килорублей в наносекунду, при этом за год обучения полезной инфы дают максимум на 80 часов. Было жалко ~50к отдавать за непонятно что, но деньги имелись, и что самое главное, меня поддержала жена (хотя на тот момент она, конечно, не думала о том, что я действительно поменяю работу). Сказала просто "Ты же хочешь, тебе нравится, тебе это интересно, ну возьми и сделай себе подарок". Я тогда не особо рассчитывал на какой-либо успех в плане будущей работы, но всё же собрался и ответственно пошел учиться. Заочные занятия с преподавателем 2 раза в неделю по 2 часа (иногда везло с преподом и были по 3 часа вебинары), с домашним заданием, всего 5 месяцев. Остальное время - просмотр ранее записанных видеозаписей и повторение того, что на экране. Обучение с преподавателем начиналось тогда, когда группа наберется, а это значит, что если ты не попал в группу в этом месяце, то сиди жди следующую. Таким образом бывали перерывы в обучении, иногда даже по полтора месяца. Параллельно я начал смотреть различные видеоролики про собеседования, искать и читать инфу. Наткнулся на ролик, где какой-то дядя-программист проводил онлайн собеседование с девушкой, которая из тестирования хотела влиться в разработку. Благодаря ей-то я и понял, что могу. Знаю и могу.

Но были и серьезные препятствия: отсутствие опыта и каких-либо серьезных проектов на гите. Вот эти вот ваши "ко-ко-ко, на гитхабе полно опенсурсных проектов, иди занимайся, будет тебе опыт и портфолио" нихера не работает. Хотя бы потому что я хз где их искать, как и что вообще: в личку постучать со словами "я оладушек, возьмите миня к сибе"? 

В общем, мне торопиться было некуда. Работа у меня была, на ней платили, поэтому я спокойно пилил какие-то свои нелепые десктопные проекты и заодно подкидывал жене мысль о том, что я хочу уволиться и работать программистом.

it,длиннопост

Стал просматривать вакансии на хх. Как вы сами понимаете, нигде джуны не нужны, а нужны мидлы с опытом 1-3 года. Долго на них смотреть было тяжело, потому что и хочется, и колется. Поэтому я состряпал себе честное резюме, где написал, что у меня профильного опыта нет, но вот это и это я знаю и могу. А заодно и небольшое сопроводительное письмо написал, о том, какой я умный и красивый. Для каждой вакансии я менял имя контактного лица, к которому обращаюсь и название организации, по типу "Здравствуйте, %эйчарнейм%. Я увидел вакансию %вакансиянейм% в компании %компаниянейм% и хочу у вас работать etc". Вакансий в моей мухосрани было около 25, причем только 5 было related, остальные что-то вроде "учитель информатики в университете или детском саду". Выбора не было, начал отправлять вакансии на удаленку, хоть и не хотелось этого ой как. А хотелось прийти в офис, влиться в коллектив, повариться прям там, в одном котле с людьми живыми.

В общей сложности отправил около 100 резюме за 3 месяца, знаю, что мало, но я не торопился. На резюме примерно 50% сразу отказывали, примерно 40% просто игнорировали. 3 раза я был на полноценном удаленном собеседовании и раз 5 делал различные тестовые задания. После очередного собеседования мне неожиданно сказали "сколько хочешь?". Забегая вперед скажу, что я потерял 45% своей текущей на тот момент зарплаты, 55% отпуска и устроился на работу мечты. Ну как устроился... Естественно, испытательный срок 3 месяца. Ну как работу мечты... Естественно, это не совсем то, о чем я мечтал. Но это не главное. Главное, что я сделал шаг и остался на ногах.

Испытательный срок кончился, я уже месяц как полноценный джун, забыл как пахнет больница, познакомился с действительно интересными людьми и работаю в офисе.

it,длиннопост


Я уверен, что у меня ничего не получилось бы, если бы не три решающих фактора:

- Мечта стать разработчиком;

- Поддержка семьи;

- Курсы.

Если бы моя жена так сильно меня не поддерживала, я бы давно опустил руки, а потом состарился и умер бы.

И если бы не курсы, я бы просто не знал с какой стороны мне подступиться и что делать. Более того, может я сам себя так настроил, но я буквально не верил, что у меня что-то получится серьезное без курсов.

Про курсы скажу отдельно: я никого не рекламирую, более того, я бы даже не стал категорически рекламировать ту шарагу, в которой сам учился, потому что преподаватель, который меня учил там больше не работает. Очень многое зависит от преподавателя, потому что он может быть охеренным специалистом, но если он не умеет учить, то ничему ты не научишься. При выборе курсов надо быть осторожными, очень часто преподают по устаревшим методичкам, учат технологиям, которые уже канули в лету, и вы не узнаете об этом, пока не начнете учиться. Более того, в курсы обычно пихают целую кучу всякой разной херни "для общего развития", которая отнимает много важного времени.

Надо бы вроде вот как-то подытожить историю, мораль там какую-то вынести, но я лучше скажу одну вещь: никогда не сдавайтесь и всегда умейте вовремя остановиться.

it,длиннопост

Развернуть

#Metal фэндомы Power Metal Melodic Metal Keldian песочница 

Keldian - Journey of Souls (2008), Норвегия.

Коллектив из Норвегии состоящих из двух людей (Christer Andresen, Arild Aardalen). Это их второй альбом. Их музыка это смесь мелодики 80-х с более современными течениями в power-метале. Главной особенностью их музыки является легкость и воздушность. Мелодии не навязчивые, хорошо запоминаются. Отличная музыка что бы расслабиться. Довольно много различных электронных эффектов, присутствует женский вокал. Также на альбоме были задействованы такие инструменты как скрипка и мандолина. Тексты посвящены космической тематике (в принципе как и остальные их работы), некоторые основаны на нескольких фантастических телесериалах (Hyperion, The Last Frontier, Starchildren).
Развернуть

пидоры помогите Образование it программирование geek онлайн-образование много букв ФСИН песочница 

С чего начать свой путь в IT?

Собственно, вот такой вот я Алёша. Уже в марте стукнет 25, слишком поздно я начал осознавать четность своего существования, финансового положения, каких-либо перспектив нынешней профессии("Доблестный" сотрудник УФСИН). В общем, служба в этой системе такое себе удовольствие, из раза в раз лицезреть "Зону", её обитателей, их повадки и манеры - истощает морально.
К сути вопроса: Решительно настроен уйти из системы и податься в IT, но вот в чём загвоздка - я нихера в этом не шарю, хотя склонность была со школы (любил копаться в конфигах игр,). Следовательно нужно этому научиться! Как? Самостоятельное обучение возможно всегда, но мне нужна хоть какая-нибудь база, какой-никакой наставник, Падре, который направит на путь истинный. Пока гуглил что и как, наткнулся на онлайн образование, по типу Skillbox, Geekbrains. Пересмотрел кучу отзывов и роликов на YouTube про эти площадки, и вроде бы всё не так плохо, но решиться купить курсы не могу, особого доверия к качеству такого образования нет, да и денег эти курсы стоят не малых. К слову в моём родном мухосранске есть несколько заведений специализирующихся на обучении спецов в сфере IT, правда по очной форме обучения, чего я себе позволить не могу(2-3 дня в неделю по 4 пары, а график на работе - черт ногу сломит). По сему, спрашиваю у вас, уважаемые, что можете сказать про онлайн образование, стоит ли обучаться на этих площадках или лучше рвать свою попку и пытаться ходить в вузы паралельно с работой?
ПРЕДСТАВиТЕЛи НЕТРАДиЩЮННОй СЕКСУАЛЬНОЙ ОРиЕНТАЦии, НЕОБХОДиМО ВАШЕ СОДЕйСТВиЕ ВНИМАНИЕ! ИСПОЛЬЗУЙТЕ КУПОН ТОЛЬКО в КРАЙНЕЙ НЕОБХОДИМОСТИ JoyReactor APPROVED ГОДЕН ДО : 01.01.2033,пидоры помогите,реактор помоги,Образование,it,программирование,geek,Прикольные гаджеты. Научный, инженерный и
Развернуть

dev реактор Баян баянометр баянометрозаменитель 

Всех с воскресеньем.

Продолжаю таки работу над баянометрозаменителем и после возрождения основного, и, судя по логам, кто-то им даже пользуется. Мне кажется, хоть какая-то от этого польза да есть, ибо хеши мы (сравниваю с детищем сотоварища ExtraDJ) используем разные, картинки обрабатываются по разному, баяны от этого ищутся немного по разному, тем самым дополняя друг друга. За месяц+ работал более-менее стабильно, нестабильности излечивал как только замечал (пару дней назад внезапно демон-поисковик+хешер+парсер+несколько фоновых процессов внезапно упёрлись в, смешно сказать, 2Гб памяти, перенёс всё это дело на сервер получше).

Спасибо всем тем, кто делал багрепорты, писал в личку и т.п., это сильно помогает подкорректировать как поиск, так и общую юзабельность сервиса. Поиск гифок сильно переделал за это время, теперь считается процентное соотношение как длительности гифки, так и процент соответствия всех захешированных кадров, стало гораздо меньше трэша вылазить, причём гифки ищутся с бОльшим разбросом по дистанции Хемминга, чем обычные картинки, это позволяет найти немного искаженные гифки, но может и сюрпризов выдать. Некоторые картинки по прежнему выдают лютейшую дичь, это особенность хеширования, попробую победить альтернативным хешем, т.е. помимо текущего хеша сейчас вычисляется альтернативный (идея такова, что если взять дистанции сравнения побольше, но прогнать картинку через разные хеши, результат должен быть более объективен. Опять таки, я не математик, а экспериментатор, в профите пока не уверен, но попробовать точно стоит, руки за это пока ещё не рубят), это пока в процессе разработки. И минусом ко всему этому - зааплоденные гифки режутся до 30 кадров, это может весьма влиять на качество поиска, но и позволяет избежать абуза загрузкой дохуя длинных гифок. Тут, думаю, для особо терпеливых и настойчивых добавить опцию на проверку бОльшего числа кадров, но считайте сами, каждый кадр по времени равен проверке одной любой картинки, время поиска растёт линейно.

Плюс наткнулся на один неприятный баг в парсере html/json, из-за этого говна немалая часть постов не попала в базу (в основном, фендомы), пофиксил, перехешируется, ждёмс. Дабы не травмировать мою нежную психику завёл аккаунт-парсер, подписанный на ваши любимые жесть-кровь-кишки-йифф-гуро-лоли-ад, всё это потихоньку пишется в индекс, отчего появился тумблер SFW/NSFW. Здесь прошу помощи, не очень понятна логика работы. Сейчас у меня фильтр такой, что под NSFW попадают такие теги, как Anime Ero Cosplay, art барышня/девушка, ecchi, Faphammer, furotica, Hard Bondage, oglaf (хотя и есть у Оглафа SFW серии), r34, секретные разделы... тут ибанёшься их все перечислять, вбивал в базу вручную на своём опыте и периодически пополняю. Вопрос, есть какой-то более адекватный способ отличить sfw от nsfw? Или есть где список этих тегов? Ну и, естественно, кто теги не проставил, их посты вылазиют вне зависимости от тумблера.

Добавил также проверку на редактирование постов: изменил картинки, добавил хайрез, скорректировал теги - пост обновляется в базе/перехешируется. Одно но - автоматическое обновление происходит в последних 100 постах (10 страницах), все более старые посты - обновляются в базе сильно реже.

Есть переработки в интерфейсе, сейчас _весьма_ не юзабельно при большой выдаче, пока в dev-версии допиливаю, выложу на неделе, но это так, не самое важное в баянометре. Добавил обновлятор токена, теперь не должно (ну или сильно реже) ругаться на проблему загрузки картинок. Добавил вывод разрешения изображения, НО, это пока работает на клиентской стороне (браузер качает картинку, скрипт выдаёт размер как только картинку загрузил ваш браузер, соответственно, это ВАШ трафик, в настройке есть предупреждение если вас это беспокоит).

Есть ещё несколько мыслей по доработке интерфейса (не только моих, спасибо товарищам по переписке), + скорректировать под мобилы, это пока на совсем свободное время.

Ещё вопрос, тег "удалённое". Демон-поисковик в любом случае сравнивает ВСЕ хеши всех постов, абсолютно безусловный поиск, линейный, как современные шутеры. Демон выдаёт набор постов, web-бэкенд далее фильтрует это всё по тегам, и тут можно отбросить ненужное. Думаю сделать в настройках галочку что-то типа "пропускать удалённое" или вроде того, это нужно? Если это монопенисуально, то заморачиваться не буду. Если есть какие предложения - всенепременно учту.

Здесь обращаюсь к Вождю: если текущая работа моей поделки устраивает, возможно добавить ссылку на неё на сайт (окромя ссылки в разделе http://joyreactor.cc/tag/баянометр )? ИМХО баянометры с разными хешами имеют право на жизнь. Дело бросать пока не вижу смысла ибо это весьма и весьма занимательно лично для меня и есть богатое поля для изысканий (хочу переписать линейный поиск на BK-tree, хотя, есть сомнения, что ~20-30% прироста скорости того стоят), сервер особо денег не ест (два нормальных пива в баре в месяц), работает стабильно (теперь да, ресурсов достаточно).

Если всё плохо, похуистично, или есть конструктивные предложения - с нетерпением жду в комментариях.
Развернуть

гифки Каляки-Маляки фэндомы 

So, here we go

В первый раз весь тест проходил при статичной "камере". По сути она находилась в одном месте, и задавала определенную площадку действий(и само собой, накладывала определенные ограничения). В этот раз я решил немного "подвигать" ее в пространстве, и, заодно, попробовать в простейшие эффектики. По сути вышло относительно неплохо, но я понял что без перспективы никуда, иначе банально без шансов.
А еще не стоит делать все в одном цвете. Мда.
Развернуть
В этом разделе мы собираем самые смешные приколы (комиксы и картинки) по теме принцип работы парсеров (+1000 картинок)