как поднять домашний сервер

Приветствую пидоров-домоводов!

Обзавелся неким пулом железяк для умного дома и вот планомерно начал думать в сторону Homebridge\HomeAssistant. Под всё это дело нужен собственно домашний сервер и самый простой вариант - купить Малинку и не париться. Однако можно ведь и соорудить полноценный мини-сервер на дебиане, на него кинуть условную файлопомойку, торрент-качалку и...

И вот стало любопытно - а что ещё можно делать на домашнем сервере-то? Не просто из категории "потому что могу", а вот действительно полезные сценарии. У уважаемых пидоров есть подобный опыт на поделиться?

Мой (почти) полностью автоматизированный сервер Plex

Дисклеймер: возможно кому-то мой сервер покажется профанским, возможно кому-то поможет избежать ошибок при настройке своего, возможно кто-то сочтет полезными какие-то элементы. Я сам не айтишник, это то что я сделал по статьям в интернете, стараясь не запариваться ни с настройками, ни со скриптами, сравнительно просто, доступно для понимания, и надежно. Сейчас на всю эту конструкцию смотрю и кажется очень сложно, но я ней шел несколько лет и в итоге выстроилось вот это вот тут здесь.

Текущая конфигурация сервера позволяет мне не париться с отслеживанием выхода новых серий и дат релизов фильмов в нормальном качестве, сортировкой, раздачей торрентов и хранит все фильмы-сериалы которые я раньше смотрел для последующего при желании пересмотра. Из опыта я знаю что даже очень хорошие и популярные в свое время фильмы имеют свойство вдруг стираться из памяти и с трекеров, и потом их найти очень сложно, поэтому я их у себя сохраняю на сервере.

Как это выглядит для меня на практике(в идеале) - допустим я услышал про новый фильм или сериал или вспомнил старый. На телефоне или в браузере я добавляю название в список и к вечеру или когда там у меня есть время - включаю телевизор или комп(домашний или офисный или при желании в приложении на телефоне откуда угодно) и вижу что он скачался и могу его посмотреть.

Какое железо используется - я использую Synology DS918+ в связке с DX517 для собственно сервера и Nvidia Shield Pro для просмотра на телевизоре. Можно обойтись безо всего этого и использовать просто комп, но я для себя давно решил использовать медиасервер который может работать круглосуточно, без присмотра качать-раздавать и шуметь себе где-нибудь на холодильнике, а не под ухом.

Synology DS918+ - один из последних серваков от Synology на интеловском проце позволяющего хардварный транскодинг. На форумах Синолоджи сейчас хуесосят интел в том смысле что "а зачем вам хардварный транскодинг если вам не нужен транскодинг и вообще смотрите в оригинальном качестве". Транскодинг нужен по трем причинам - навороченные PGS субтитры в онемэ, звук в TrueHD и воспроизведение не дома. 

PGS субтитры нормально воспроизводятся только на компе, на какой-то приставке или мобильном приложении они не поддерживаются вменяемо и или включается транскодирование или не проигрываются вообще или в настройках нужно включать чтобы они воспроизводились только как текст, а в случае хитровыебанных каких-нибудь караоке или горящих букв или еще чего-то вместо читаемых субтитров можно получить черт знает что.

Звук в TrueHD - у меня нет системы 7.1 и вообще на фиг бы он мне не впарился но проблема в том что на трекерах рипы с блюреев часто идут только с этой дорожкой, а проигрыватели, опять же, очень часто его не поддерживают. Не поддерживают потому что формат этот исключительно для блюреев, т.е. плейер/приложение если оно не идет с дисководом то его просто туда не прикручивают. Другими словами - опять принудительно включается транскодинг.

Воспроизведение не дома тоже может быть проблемой из-за качества соединения. Если у вас в лесу телефон не вытягивает оригинальное качество, то сбрасывая его до 320х240 вы можете никакого выигрыша не получить, а наоборот очень крупно проиграть из-за тормозов с софтверным транскодингом.

Synology NAS к тому же достаточно старая и известная платформа, с очень стабильной осью и сравнительно вменяемыми ценами. У меня это уже третий их NAS которые я обновлял время от времени и более-менее хорошо с ним знаком.

Plex очень рекламируют тем что его приложения есть для всех платформ - так вот он на всех этих платформах тормозит, скотина. Единственное где не тормозит - PC, но комп у меня к телеку не подключен.

Какой софт используется...

Список получился длиннный, я думаю имеет смысл его рассортировать по порядку того как что и когда включается начиная с "о, прикольный фильм" до "сел посмотрел".

1. Trakt - сервис для отслеживания просмотренных фильмов-сериалов. Завел я его еще очень давно для того чтобы отслеживать и запоминать просмотренное. Поверьте олдфагу - trakt и goodreads(для книг) это очень полезные сервисы. Очень. Сервер Plex сообщает Тракту обо всех фильмах-сериалах которые я смотрю, когда и сколько и на чем остановился. Даже статистику для прикола можно увидеть - сколько лет жизни просрал перед телеком. В приложении Тракт на телефоне он даже может отображать просмотр в реальном времени. Также в Тракте я веду три списка, куда добавляю фильмы, тв, аниме. У аниме свой список из-за другой системы нумерации, чтобы потом проще было импортировать.

2. Radarr/Sonarr - это приложения для организации медиафайлов и управления торрент клиентом. Оба эти приложения работают как "контейнеры" в Docker. Docker - это среда в которой запускаются разные приложения(контейнеры) и которая установлена на моем Synology NAS. Он работает прекрасно и в винде и много где еще, за что его очень любят, обновляют и делают ему кучу новых контейнеров.

С Докером изначально я совершенно не хотел связываться потому что выглядело как что-то слишком громоздкое чтобы заморачиваться только ради просмотра фильмов, но пришлось из-за одного ограничения платформы Synology - сложности с прокси. Сложность заключается в следующем - встроенными инструментами прокси можно или включить для всех приложений или для всех же выключить. Чуть-чуть включить только для торрент-клиента нельзя. А вот для контейнера в Докере - можно. ╰（‵□′）╯ 

Но как выяснилось - Докер очень полезный инструмент когда привыкнешь. На нем, например, у меня крутится Pi-Hole который режет рекламу и при этом не нужно покупать отдельно Raspberry Pi.

Так вот - Radarr используется для фильмов, а Sonarr для сериалов. Изначально был сделан Sonarr для автоматизированного скачивания новых эпизодов, а потом сделали форк для фильмов Radarr. Из-за этого в Radarr нет возможности просто кидать все фильмы в одну папку не создавая подпапку для каждого фильма - этот функционал слишком глубоко прошит в Sonarr и ебаться с этим никто не хочет. Radarr/Sonarr периодически мониторит мои списки в Тракт и если там что-то новое, то он сам ищет недостающее на трекерах которые я им указал, фильтрует их по качеству и каким-то условиям(например те же аниме часто лезут с французскими/испанскими субтитрами) отдает команду Deluge на скачивание. Есть много трекеров, настройки поиска которых не прописаны в Radarr и специально для них на Докере работает еще и Jackett. В Jackett прописываются настройки этих трекеров, в нем же можно попробовать как работает по ним поиск.

Будьте осторожны, особенно в самом начале настройки этого всего. Если загрузить в Сонарр список из сотни сериалов и щелкнуть "найти все и скачать" то на большинстве серваков вас просто вычислят по айпи и вые забанят. Когда с одного айпишника им приходит по сотне поисковых запросов через API то админам этих серваков это очень активно не нравится.

В обычном режиме особенно париться нет необходимости, все работает как надо, все очень культурно, покупатели довольные расходятся по домам.

Но если вдруг вам в самом начале очень не хочется тупо вручную скачивать кучу всего, то для вас есть Upgradinatorr. Upgradinatorr - это PowerShell скрипт который работает только в винде и который можно настроить отправлять запросы не больше скольки то штук в некий период времени. У меня он работал на рабочем компе несколько недель например.

3. Deluge. И последнее что крутится на Докере - это Deluge, торрент-клиент со своим персональным прокси. Раньше стоял Transmission, но у Deluge оказалось важное преимущество - он не так адски тупит на Synology и у него есть плагины, из которых я использую целый один, это Labels. Radarr помечает свои поставленные на скачивание торренты меткой radarr, Sonarr - sonarr. И по этим же лейблам их отслеживает. Я могу поставить какой-то файл на скачивание вручную, поставить пометку radarr и Radarr его как полагается обработает.

Обработка у меня заключается в следующем - полностью скачанному торренту создается хардлинк в папку с фильмами, где он переименовывается по человечески, с датой и разрешением

 {Movie Title} ({Release Year}) {Quality Full}

после чего он индексируется сервером Plex. 

4. Plex - вот я и добрался наконец до медиа сервера. Plex у меня работает не в Докере, а просто как приложение для Synology. Есть разные мнения что лучше, но убедительных причин возиться с контейнером я не увидел, а делать я стараюсь чем проще тем лучше. В принципе можно торренты не переименовывать, не сортировать и не морочиться с хардлинками, а валить все в папку Media где Plex должен сам уметь все найти и рассортировать и красиво представить на экране для дальнейшего потребления. Но к сожалению горькая правда такова что ни фига. Plex может перепутать год фильма, может перепутать название фильма, может прикинуться что два разных фильма и серия из сериала это у него просто три версии одного фильма, которые еще потом раскопать нужно, все это править нужно потом вручную и только на компе. К тому же если, например, я скачал папку из блюрея чтобы потом сделать из него remux, то он спокойно может подцепить эту папку и сказать что у вас скачан документальный фильм Воблики производства Бразилия-Египет 1833 года в 3Д и ниибет. Поэтому гораздо безопаснее для ваших нервов сделать ему две библиотеки - тв и фильмы и пусть лучше Radarr/Sonarr туда кидают хардлинки. С тех пор как я перешел на эту систему вручную переименовывать в Plex мне не надо было ничего ни разу.

Кстати - хардлинки. Выполняют важную функцию экономии дискового пространства, мнооогократно ускоряют процесс добавления файлов в библиотеку, дают возможность продолжать раздавать торрент и в то же время служат своего рода безопасности. Если например случайно удалить торрент раздачу в Deluge вместе с данными, то они не попадут в корзину, нет в Докере у него такого функционала. Но по крайней мере файл сохранится в папке с фильмами, а это важно если у вас там все сезоны Друзей например.

Я не стал лезть глубоко в описание настроек каждой из программ, но если что-то интересно - спрашивайте, я расскажу что знаю.

Привет, Реактор! Все лето и осень я страдала прокрастинацией, занималась ерундой: играла в WoW и загорала в тени на речке. А теперь мне нечем платить за отопление и еду. Перебиваюсь с яблок на молоко. Есть и плюсы - для зубов и фигуры полезно. В этом месяце пришлось одолжить денег у родителей. В общем, я нуждаюсь в материальной помощи. Можете смеяться и злорадствовать, рада, если подняла вам настроение. Лучи добра!

Линк для ответных лучей.

Приют "Наш кошкин дом" терпит крушение.

Проблема с домашним сервером WOW.

Как поднять свой VPN, даже будучи обезьянкой.

Наверняка большинству это известно, но мало ли, может кто-то не знал. 

 Поднять сервер OpenVPN можно всего одним скриптом, буквально одной строчкой. "wget https://git.io/vpn -O openvpn-install.sh && bash openvpn-install.sh" 

Т.е. хотите Вы посидеть в инстаграммах с территории РФ, а никак. 

 Тогда идем в гугл и ищем "VPS хостинг". Ищем хост который находится заграницей, в государстве где есть доступ к нужным сайтам. Обязательно ознакамливаемся с тарифными планами и условиями, к сожалению, не все хосты разрешают держать серверы vpn, но на некоторых он даже есть уже предустановленный(на ZOMRO уже есть линукс машины с предустановленным OpenVPN).Берем в аренду хостинг на котором установлен Linux. На почту Вам придут данные авторизации, ip сервера, логин и пароль. 

 Далее понадобятся три программы: FileZilla, PuTTY, OpenVPN. 

 OpenVPN работает на всех платформах, ios, android, mac, linux,windows. 

С помощью PuTTY подключаемся к консоли сервера, авторизовываемся. Все что нужно это ввести строчку "wget https://git.io/vpn -O openvpn-install.sh && bash openvpn-install.sh" 

При повторном вводе откроются настройки OpenVPN, нужно будет создать себе сертификат. Сертификатов можно создать несколько, например друзьям, чтобы вскладчину оплачивать хостинг. Затем с помощью FileZilla достаем наш сертификат. Все интуитивно и просто.

Сертификат этот добавляем в приложение OpenVPN которое Вы должны установить на телефон, пк, куда угодно.

По моему это куда лучше чем надеяться на приложения которые могу закрыть в любой момент, скорость не режет, работает стабильно, кроссплатформа и это самый просто способ который только существует. Так же ПО распространено и если будут трудности их легко можно решить через гугл.

p/s: вместо покупки хостинга можно развернуть сервер на пк вашего друга который живет за бугром.

Так же необязательно сразу оплачивать хостинг, есть время на тест, около недели.

Хочу NAS

Так уж вышло, что пришлось писать на питоне.

Попробовал как-то яндес.простихосподи.практикум с их курсом, но не зашло, в какой-то момент понял, что просто копирую функцию слева направо, не особо понимая, что происходит. Поставил себе задачу для бота в телеге и при помощи stackoverflow и вдумчивого взгляда на примеры написал то, что хотел.

А тут Microsoft ушел и PowreBi работать перестал на работе. Дали сервер, поднял там веб-морду с ploly и БД, теперь графики генерирую сам вместо PowreBi.

А тут говорят, давай тебе денег дадим, на курсы, чтобы ты еще быстрее\лучше делал.

А вот тут вопрос. На какие платформы стоит посмотреть? Какие сертификаты котируются? Практикум не зашел, про гикбрейнс слышал только негативное, а что тогда выбрать?