Решил я когда-то посмотреть статистику по моим комментариям: средний рейтинг, количество, лучший, ху / сделал сам (нарисовал сам, сфоткал сам, написал сам, придумал сам, перевел сам) :: комментарии :: скрипт :: график :: реактор

скрипт комментарии график сделал сам реактор 

Решил я когда-то посмотреть статистику по моим комментариям: средний рейтинг, количество, лучший, худший и тп. Ничего готового не было и я забил.


Прошло полгода и я всё таки достал руку из под стола и набросал скрипт на питоне, который выплёвывает csv файл.


Вывод запихал в гугл-таблицы и получил вот-что:


60,00
01.07.2017	01.10.2017	01.01.2018 01.04.2018	01.07.2018,скрипт,комментарии,график,сделал сам,нарисовал сам, сфоткал сам, написал сам, придумал сам, перевел сам,реактор

Гистограмма,скрипт,комментарии,график,сделал сам,нарисовал сам, сфоткал сам, написал сам, придумал сам, перевел сам,реактор

Гистограмма,скрипт,комментарии,график,сделал сам,нарисовал сам, сфоткал сам, написал сам, придумал сам, перевел сам,реактор

1) Комментарии, рейтинг/дата

2) Синее - положительно оценённые комментарии, красное - отрицательно и не оценённые

3) Распределении комментариев по рейтингу


Итог:

Комментов доступно 1309, реактор говорит, что их на самом деле 1460. Видимо 151 в бане.

Самый "худший" коммент имеет рейтинг -21.4, а самый лучший 52.5 Суммарный рейтинг 2396.6, а средний 1.83

Комментов с картинками 102шт, их суммарный рейтинг 543.5, а средний 5.32843. Да, картинки положительно влияют на рейтинг коммента.



Не достаточно удовлетворившись достал вторую руку из под стола, подключил plotly, потанцевал с бубном и стащил код с стековерфлов. Теперь скрипт выплёвывает еще и html файл с интерактивным графиком(как тот 1), где клик на точку открывает коммент на реакторе. (html файл открывается автоматически, но если ничего не показывается обновите страницу)


получилось вот так:

(тут должна была быть embed окно)


Если, кто хочет воспользоваться скриптом, вот она. 

по скрипту:

в строках 103-104 в login пишете свой логин, в password свой пароль

timeout это время, сколько скрипт ждёт до запроса новой страницы, после окончания обработки предыдущей. Можете его уменьшить для более быстрой работы, но это чревато баном ай-пи.

Скрипт обрабатывает только ваши комментарии(может и чужие, если где-то кое-что поменять). Пароль нужен, чтобы скрипт мог получать рейтинг комментариев.


Я всё.


Подробнее
60,00 01.07.2017 01.10.2017 01.01.2018 01.04.2018 01.07.2018
Гистограмма
Гистограмма
скрипт,комментарии,график,сделал сам,нарисовал сам, сфоткал сам, написал сам, придумал сам, перевел сам,реактор
Еще на тему
Развернуть

Отличный комментарий!

"в строках 103-104 в login пишете свой логин, в password свой пароль"
а можно прямо тут в комментах написать?
Imebal Imebal16.09.201815:25ссылка
+49.3
"в строках 103-104 в login пишете свой логин, в password свой пароль"
а можно прямо тут в комментах написать?
Imebal Imebal 16.09.201815:25 ответить ссылка 49.3
Да, конечно. Но только в 103-104 строках. Иначе магия не сработает.
muted muted 16.09.201815:29 ответить ссылка 13.5
а магия в том, что потом доступ к аккаунту исчезнет?
Imebal Imebal 16.09.201815:31 ответить ссылка 9.4
А зачем пароль, коменты же по логину доступны.
AshB AshB 16.09.201815:33 ответить ссылка 10.1
Imebal Imebal 16.09.201815:38 ответить ссылка 15.1
тебе что скрин дать как выглядит реактор для незарегеного пользователя?
Imebal Imebal 16.09.201815:39 ответить ссылка 6.0
Ну вот, зашел как не авторизованный пользователь, рейтинг комментов отображается.
"в строках 103-104 в login пишете свой логин, в password свой пароль' а можно прямо тут в комментах написать?
imebal :6.Sep.2018 15:25
ссылка
8.1
Да. конечно. Но только в 103-104 строках. Иначе магия не сработает.
muted 6.Sep.2018 15:29
ссылка х
а магия в том. что потом доступ к аккаунту
Скрины сделаны без логина. То, что рейтинг комментов скрыт конкретно на вкладке комментариев, не отменяет того факта, что реактор без пароля рейтинг отдаёт. В том, что автор — ленивая жопа и хочет брать рейтинг не там, где его отдают без пароля, а там, где ему удобнее, никто тащемта не виноват.
Да, пускай батрачит, пускай почувствует себя рабом
И реактор кстати тоже. Это пусть и незначительно, но не нужно.
Как-то я хотел посмотреть распределение своих комментов по времени, так через некоторое количество распарсенных страниц комментариев, реактор начал блокировать все мои запросы в течении некоторого времени. Видимо, таймаут нужно. А тут их еще больше. А если открывается пост, в котором дохуя комментов - так это вообще пиздец.
А неважно, сколько комментов в посте. На пост у нас будет (при правильной реализации 1 запрос).

Важно - сколько комментов у юзера. По посту на коммент :-)
На вкладке комментариев у каждого комментария есть ссылка на то место, где этот комментарий лежит с рейтингом, мой не слишком сообразительный друг. И я вообще ничего не хочу, это автор пришёл и выкладывает прогу, в которую юзерам предлагается вводить свой пароль.
Он как бы не заставляет ею пользоваться, а просто выложил. А каждый уже на свой страх и риск...
Catofun Catofun 16.09.201816:31 ответить ссылка -5.8
Ок
Никто не заставляет. Ну ок.
22->23 22->23 16.09.201818:18 ответить ссылка 7.9
зачем? список комментов видно незарегеным тоже: http://joyreactor.cc/user/muted/comments
Imebal Imebal 16.09.201817:45 ответить ссылка 0.6
Но потом надо ходить на страницы с комментами. А нахуя, если изначально скрипт был не нужен в публичном виде?
alex4321 alex4321 16.09.201817:53 ответить ссылка -4.2
Нет, вводи логин, пароль, и информацию о кредитке в любую прогу, которая попросит.
Нет, нужны requests, bs4, lxml и plotly.
muted muted 16.09.201816:36 ответить ссылка -6.0
И да, если верить автору - то вариант с хождением по ссылкам хуита потому, что изначально проблемы и не было.
Но - только если ему верить, а это лучше делать, только если исходник легкообозреваем (впрочем, это вроде тот случай).
alex4321 alex4321 16.09.201816:44 ответить ссылка -0.6
А что, лучше слить пароль? Понимаю, реактор не военная база, сверх важного в профиле нет, но тупо отдавать пароль нет смысла.
Сливать пароль чему-то, что нельзя прочесть за несколько минут - нахуй, нахуй. Тут (для меня) не тот случай.

А если автор бы рассчитывал на неподготовленного юзера -ему следовало бы дать скрипт, который развернёт необходимое окружение. Т.е., похоже, такого интереса и не было.

Но да, рекомендую потенциальным юзерам не доверять ни мне, ни автору. Особено - мне, мало ли какой у меня интерес.
alex4321 alex4321 16.09.201816:51 ответить ссылка -0.2
Можно попробовать вместо парсинга делать гет запрос на плюсование коммента, в ответ приходит рейтинг.
http://joyreactor.cc/comment_vote/add/16961790/plus?token=a7bfedc3bf80f50e6335febe4a24cefe
Токен есть на странице, а 16961790 - айди коммента, если разобрать что ещё нужно кинуть в запрос то может получиться.
Однохренственно - нужно делать запрос :-)
Если бы я изначально пилил скрипт для себя - тоже врядли заморочился бы.
Не приходит. Попробовал разлогиненным плюснуть ваш коммент, в ответ приходит страница авторизации. А вот залогиненным да, приходит рейтинг.
muted muted 16.09.201820:32 ответить ссылка -0.1
Можно зарегать бота и пусть раздает всем -0,1
Слить пароль может и скрипт, которые его не запрашивает, если он сохранен в более-менее популярном браузере. AppData на видне особо не разделяется между прогами. Более того, непровереный скрипт может сделать и более злую вещь, чем слить пароль с джоя. Так что если не в состоянии прочитать предоставленый скрипт, или нет друга который его может проревьювить -- логично не рисковать.
Wolfdp Wolfdp 17.09.201801:00 ответить ссылка 0.5
Можно, но нужно ещё кодить переход к каждому комментарию и там считывать.
MaXM00D MaXM00D 16.09.201816:04 ответить ссылка -5.6
Мне лень проверять, но он их точно не выдаёт, или просто скрывает, примерно как рейтинг в посте, до плюса/минуса
Конечно!
Imebal Imebal 16.09.201815:36 ответить ссылка 3.0
Такое ощущение, что картинка апнута по качеству
iNji iNji 16.09.201815:37 ответить ссылка 2.0
Это из версии для IMAX
Скажем так, даже если прога не запрашивает логин/пароль/кредитку, это не означает что она не выдернит их из AppData, так что единственый безопасный способ -- открытый код.
Wolfdp Wolfdp 16.09.201819:22 ответить ссылка 0.0
а он типо закрытый?
Я не про то. Технически "неввод пароля" не означает безопасность чего-то скрипта, и максимум где это проканает -- запуск на ненужной виртуалке, которую через минут дропнишь. В противном случае скрит может визуально вообще ничего не делать, а в бєкграунде скачивать майнер/шифратор/кейлогер и ставить на автозапуск. Что возращает нас к просмотру исходнику, и если там реально чистно, то можно хоть кредитку вводить. Правда тут нужно понимать что открытый код != безопасный, а только тот, который ты лично проверил.

В общем придирка Imebal выглядит мягко говоря странно.
Wolfdp Wolfdp 17.09.201800:52 ответить ссылка 0.4
Скажем для этой ситуации ввод пароля нужен так же как и ввод данных кредитной карточки. Учитывая ещё, что автор ещё начал обманывать, что без входа в аккаунт не видно рейтинг комментов, мне это показалось вдвойне странным
Imebal Imebal 17.09.201804:28 ответить ссылка 1.2
Окей, начнём сначала. Покажи мне, где я соврал. Просто зайди в профиль в комментарии без авторизации и скажи, видишь ли ты их рейтинги?

Ты скажешь, что в самих постах их видно? Да, их там видно, но тогда нужно ходить в каждый пост, чтобы просто взять рейтинг. А это уже на порядок больше запросов и на столько же больше времени на их обработку.
Почему я сделал так, а не этак? Потому что, мне было так проще и быстрее.

p.s. 22->23 сделал вариант с хождением в каждый пост. Можешь сравнить скорости работы скриптов.
muted muted 17.09.201819:15 ответить ссылка 0.2
Комменты то можно получить, но их рейтинг без авторизации никак
Вот тут и соврал. Именно это и вызвало подозрения. Потому что не "никак", а "сложнее, чем сделано сейчас". Собственно, сейчас уже никаких вопросов нет, Imebal своё сообщение в прошедшем времени написал, так что какой смысл начинать сначала.
Хорошо. Признаю ошибку.

Вот, можете же указывать на ошибку, когда можете. А то тут сразу начали клеймить обманщиком.
muted muted 18.09.201800:11 ответить ссылка 0.0
Ещё раз. Это не ошибка. Ты сознательно заменил на "невозможно" и обязательность ввода пароля просто другой способ, который ограничен даже только твои аккаунтом и только может быть использован зарегистрированными.
Imebal Imebal 18.09.201807:44 ответить ссылка 0.0
Ты что, свечку держал, чтобы утверждать, что я что то делал намеренно?

> ограничен твоим аккаунтом
Ага, поэтому я и написал в посте, что он может и чужие распарсить

>может быть использован зарегистрированным
Ага, вот только у незарегистрированных нет комментариев, а коли хочет чужие, то создать акк минутное дело.
muted muted 18.09.201809:27 ответить ссылка 0.0
Незарегенный так может проверить любой как, а не свой только
Imebal Imebal 18.09.201809:31 ответить ссылка 0.0
Я не понял сути твоего комментария и к чему оно. Перепиши его понятнее
muted muted 18.09.201809:44 ответить ссылка 0.0
Ок. Ты сказал, что рейтинг комментария без авторизации никак не получить. Достаточно?
Imebal Imebal 18.09.201809:51 ответить ссылка 0.0
Да.
muted muted 18.09.201810:06 ответить ссылка 0.0
Его на сервак нужно заливать? Или можно выполнить прямо в pastebin?
KupiBaton KupiBaton 16.09.201815:50 ответить ссылка -5.3
Выполнить прямо в pastebin невозможно, нужно скачать и запустить
muted muted 16.09.201815:58 ответить ссылка -4.1
А как это можно сделать? (я вообще не шарю, но хочется попробовать)
4CIRR 4CIRR 16.09.201816:22 ответить ссылка -3.7
Ну во первых, это скрипт на python 3. Т.е. он у тебя должен быть установлен.
Во вторых, он использует requests, beautifulSoup, lxml и plotly. Для их установки в cmd нужно выполнить команду:
pip install requests beautifulsoup4 lxml plotly

А теперь конкретно этот скрипт:
1) Скачиваешь его. В пастебин есть кнопка download
2) в строках 103-104 подставляешь свой логин/пароль(многим это не очень нравится, но кто сомневается спокойно может всё проверить). будет что-то вроде:
user = '4CIRR'
password = '123пароль123'
3) запускаешь как обычную программу или через консоль.
4) На выходе получаешь csv файл со всеми скачанными данными и html файл с интерактивным графиком.
muted muted 16.09.201816:43 ответить ссылка -3.5
Уровень кармодрочерства вышел на новый уровень!
Ole_G Ole_G 16.09.201816:00 ответить ссылка 10.8
Ну не скажи. Я, например, тоже испытываю нездоровую тягу к сбору/анализу/визуализации данных. Как-то собрал статистику по температуре (дома, на улице, и теплоноситель в батареях отопления) за три года. Зачем - хз по большому счету, просто интересно было посмотреть как повлияет запланированная установка новых окон, да как работает отопление.

Хотя один раз пригодилось для важных переговоров. Оппонент ляпнул что-то типа "в прошлую субботу иду по району, ночь, колотун -25", а тут я такой ХОБА! график температур на названную дату с шагом 10 минут и с разрешением 0,1 градуса, а там меньше -17,8 нет значений.
Ну, если что, есть такое понятие, как "ощущаемая температура", может он про это говорил.
Ole_G Ole_G 16.09.201820:03 ответить ссылка 1.2
Ну ты и зануда. А влияние скорости ветра на ощущаемую температуру ты учёл?
Может быть ты просто аутист?
так-то автосохраненные пароли можно посмотреть
В комментах выше прям перекличка гуманитариев
SaltCreek SaltCreek 16.09.201817:12 ответить ссылка -3.3
Период армии знатно так выделяется.
Jezzy Jezzy 16.09.201817:34 ответить ссылка 8.7
> Да, картинки положительно влияют на рейтинг коммента.
22->23 22->23 16.09.201818:21 ответить ссылка -4.2
Спасибо за разработку! Решил всё же переделать твой скрипт, чтобы можно было подобные статы выдавать по любому пользователю.
Код оставил тут: https://pastebin.com/RtdjMPHu
Что поменял:
- убрал ввод пароля;
- подсчёт количества страниц с комментариями пользователя (использовал старый дизайн);
- вынимание рейтинга происходит уже сложнее: необходимо вначале перейти по ссылке комментария (переменная cLink), после чего в треде искать этот комментарий, где доступен его рейтинг. Правда, его может там и не оказаться (например, забанен пост или отдельная ветка комментов), поэтому учитывается меньше комментов;
- немного поменял вывод в консоль (информирование о том, что прочитана страница комментов, а также о том, что тот или иной коммент учтён или же был проигнорирован);
Работать будет, конечно же, медленнее, чем исходный скрипт.
При открытии .csv-файла при помощи MS Excel, тем не менее, вместо текста вылезают непонятные символы. Как избежать этого - погуглите excel 2010 how to read csv file with utf-8 ну или что-нибудь похожее.
Проверил на юзерах http://old.reactor.cc/user/NO%21+I+AM+BATMAN , http://old.reactor.cc/user/procxela и http://old.reactor.cc/user/MIsterDD , сработало хорошо. По первому пользователю, например, такой график:
50
40
30
20
10
0---------^
-10
Nov 2016
Jan 2017
Mar 2017
May 2017
Export to plotly »
22->23 22->23 17.09.201802:38 ответить ссылка 5.1
Можно попробовать группировать комменты по ссылке на пост, чтобы грузить его только один раз, если юзер оставлял более одного коммента к посту (если так уже не сделано).
Кавычки только у меня ломают таблицу?
Хех, попробовал запустить ваш скрипт, получил бан ай-пи. Думаю стоит добавить тайм-ауты между запросами на получение поста с комментарием.
muted muted 17.09.201819:58 ответить ссылка 0.7
Только зарегистрированные и активированные пользователи могут добавлять комментарии.
Похожие темы

Похожие посты
^¿^оукеа^ог	^	®	1
Д. Абстиненция и экзистенциальность
ЛШ	\	Ат*гУ	♦
Лента | Обсуждаемое \ Люди | Сделай сам | О проекте
ТИеЗгикеп >	Посты	Комментарии
Ш1000000 ... | 344 |
ТИе^икеп
Прогресс до следующей звезды:
Рейтинг - Смешные картинки: 14.4 (за неделю +0.3)
Новенькое у друзей 'и? Закладки
подробнее»

dev реактор комментарии песочница javascript document.getElementById("background").style.color = "blue"

^¿^оукеа^ог ^ ® 1 Д. Абстиненция и экзистенциальность ЛШ \ Ат*гУ ♦ Лента | Обсуждаемое \ Люди | Сделай сам | О проекте ТИеЗгикеп > Посты Комментарии Ш1000000 ... | 344 | ТИе^икеп Прогресс до следующей звезды: Рейтинг - Смешные картинки: 14.4 (за неделю +0.3) Новенькое у друзей 'и? Закладки
сооощении: ¿ъ Ratio: 1,306
48.86%
Вернуться к началу
100%
рррррррррр
РРР
1
(tk
профиль I«* лс
D 12 Май 2015 18:54:56 Заголовок сообщения:
55 цитата
"В нем есть все - стремление к глубинному постижению жизни, творческие искания, жизненный оптимизм, многогранность ..." - и способность сбеж
подробнее»

geek,Прикольные гаджеты. Научный, инженерный и айтишный юмор песочница nnm-club администратор угрозы Northon удалённое

сооощении: ¿ъ Ratio: 1,306 48.86% Вернуться к началу 100% рррррррррр РРР 1 (tk профиль I«* лс D 12 Май 2015 18:54:56 Заголовок сообщения: 55 цитата "В нем есть все - стремление к глубинному постижению жизни, творческие искания, жизненный оптимизм, многогранность ..." - и способность сбеж