Привет, возникла потребность в создании офлайн версии реактора, для этого я испробовал HTTrack Website Copier и Offline Explorer Enterprise, остановился на последней, и все было бы прекрасно - пошла загрузка, даже было доступно несколько страниц, но похоже что я получил бан по IP, и теперь захожу под ТОР-ом.
Осознавая всю тщетность своих последующих попыток, наивный я пришел за помощью сюда, дабы не усугублять всей ситуации, так я до сих пор не научился пользоваться гуглом, а про кривизну своих рук вообще молчу. Если кто может - подсобите чем-то.
Эм, я конечно не претендую на звание кулхацкера, но и не совсем чайник. Объясните знающие люди как вообще можно сайт скачать? Вернее где хранить столько информации? Мы ведь говорим о реакторе, а не о "иванов-ивван-иванович-фансайт.ру".
Каждая страница реактора (с картинками без анимации и со средним количеством коментариев - в среднем 15 мб (не будем про исключение в виде огромных срачей и т.п.) выставляем лучшее или поддомен - (кулинарный реактор к примеру) и получаем определенное количество страниц, прикидываем 1600 страниц по 10 постов - примерно 24-30 гб, может и больше, а может и меньше.
Ну это сугубо мнение такого же кулцхакера как и ты, реальность может быть и другой, во всяком случае моих 2 ТБ вполне хватит. Для 1600 страниц с комментариями, вопрос в том что происходит в тот момент когда я все это гружу - ведь платят за трафик, и тут прилетает по известным причинам бан. Теперь ясно.
Ну это сугубо мнение такого же кулцхакера как и ты, реальность может быть и другой, во всяком случае моих 2 ТБ вполне хватит. Для 1600 страниц с комментариями, вопрос в том что происходит в тот момент когда я все это гружу - ведь платят за трафик, и тут прилетает по известным причинам бан. Теперь ясно.
У-у-у, так Вы про лучшее. Ну, лучшее может и можно сохранить. У меня только в хорошем 51,4 к страниц, я подумал, что речь идёт о сохранении сайта целиком.
Даю на весь сайт не более чем 10 ТБ со всем и вся.
240к страниц - 3500гб (по 15мб каждая), а еще я уверен в существование различных методах сжатия и т.п.
240к страниц - 3500гб (по 15мб каждая), а еще я уверен в существование различных методах сжатия и т.п.
Так и я о том, где ты это хранить будешь, а главное зачем?
240к страниц это все-все, говно и не очень, и я не собираюсь это все дерьмо заливать.
Зачем? Да тут слух о третьей атомной прошел, мне до "убежища" недалеко - авось и выживу, ну без реактора не торт, лучше сделаю бэкап, а потом создам свое племье с блэкджеком и шлюхами:
А если внести чуточку здравого смысла - еду в такие места (и на долго) что сам мухосранск нервно курит в сторонке, а вычислительная техника будет с собой и времени для убийства овердохуя но интернетов там нет никаких и не будет.
Зачем? Да тут слух о третьей атомной прошел, мне до "убежища" недалеко - авось и выживу, ну без реактора не торт, лучше сделаю бэкап, а потом создам свое племье с блэкджеком и шлюхами:
А если внести чуточку здравого смысла - еду в такие места (и на долго) что сам мухосранск нервно курит в сторонке, а вычислительная техника будет с собой и времени для убийства овердохуя но интернетов там нет никаких и не будет.
Может снизойдет кока в этот пост и просветит неофитов.
Заодно узнаем насколько сильно я ошибался и почему я не получил бан вчера-позавчера за 10 гб трафика, а только сегодня.
Заодно узнаем насколько сильно я ошибался и почему я не получил бан вчера-позавчера за 10 гб трафика, а только сегодня.
делай там ограничение на количество запросов в секунду. Точное значение хз, 1 запрос в секунду точно пройдёт.
автобан снимается часа через 3.
автобан снимается часа через 3.
а табличка - я не смог обработать ваш запрос- из той же оперы?
когда как
Вызывайте врачей, пока пациент окончательно не ебнулся
просто насохраняй картинок в папку, назови ее реактор)
Варианты:
1) Парсить кеш гугла или вебархив - но под это самостоятельно надо скрипт писать
2) Попробовать настроить HTtrack (я им раньше парсил) на медленную закачку (1 поток, задержки). Как вариант, представляться Яндекс- или Гугл-ботом - тоже может прокатить
1) Парсить кеш гугла или вебархив - но под это самостоятельно надо скрипт писать
2) Попробовать настроить HTtrack (я им раньше парсил) на медленную закачку (1 поток, задержки). Как вариант, представляться Яндекс- или Гугл-ботом - тоже может прокатить
Чтобы написать коммент, необходимо залогиниться