Вчера я обнаружил, что среднее время запросов на реакторе выросло с 400мс до 800-1000мс. / админские истории :: продолжение в комментах :: cpu speed :: hetzner :: разное

kokakoka
админские истории hetzner cpu speed продолжение в комментах 
Вчера я обнаружил, что среднее время запросов на реакторе выросло с 400мс до 800-1000мс.

Первое, что подумал - наверное проблемы с сетью на фронтэнде. Но на американском фронтэнде время запросов так же синхронно выросло. Маловероятно, что проблемы возникнут одновременно на обоих серверах.

Погрепав логи, обнаружил что медленее всего идут запросы на страницы, которые обращаются к сфинксу (поисковый движок). Почитал про его настройку, соптимизировал его. Нагрузка на сервер со сфинксом ненадолго упала, но через 15 минут снова возросла.

И тут я ещё обнаружил, что сразу после обновления сайта время загрузки страниц резко падает до 400мс, а потом постепенно возрастает до старых значений. См график
админские истории,разное,hetzner,cpu speed,продолжение в комментах
Подробнее

админские истории,разное,hetzner,cpu speed,продолжение в комментах
Еще на тему
админские истории

админские истории(23)

разное

разное(232768)

продолжение в комментах

продолжение в комментах(17976)

Развернуть

Отличный комментарий!

дальнейшее расследование показало, что с некоторого времени, hetzner на все сервера ставит програмку cpuspeed. Она регулирует скорость процессора. Если процессор не сильно нагружен, то уменьшает его частоту, чтобы уменьшить энергопотребление.

Понятно, что для их макретологов это замечательно! Ничего не делаем, а энергопотребление уменьшается за 10%! Фигня, что сайты отвечают в 2-3 раза медленее - кто это заметит?

В общем, сносим её к чертям.

/etc/init.d/cpuspeed stop
yum erase -y cpuspeed

И скорость ответа реактора снова опускается до 400мс. Теперь уже постоянно.

Если в в недавнем времени заказывали сервера у hetnzer - посмотрите, не стоит ли у вас тоже cpuspeed =)
koka koka08.01.201420:11ссылка
+34.7
Комментарии 7308.01.201420:01ссылка32.4
Это показалось пиздец каким странным.

Следующая идея - может php-fpm имеет какой-нибудь memory leak? Была отброшена, так как после определённого значения всё работало хорошо. Да и на серверах были свободные память и диски.

Может упирается в лимит подключений куда-нибудь? mysql, sphinx, redis, memcached - на всех лимит подключений не достигался. Да и он должен был в логи писать, если достигнет.

И так. Сидя перед экраном atop и медитируя, почему эта сволочь медленно отвечает на запросы, я обнаружил в правом верхнем углу (куда я обычно не смотрю) какую-то странную информацию...
koka koka 08.01.201420:06 ответить ссылка 15.4
дальнейшее расследование показало, что с некоторого времени, hetzner на все сервера ставит програмку cpuspeed. Она регулирует скорость процессора. Если процессор не сильно нагружен, то уменьшает его частоту, чтобы уменьшить энергопотребление.

Понятно, что для их макретологов это замечательно! Ничего не делаем, а энергопотребление уменьшается за 10%! Фигня, что сайты отвечают в 2-3 раза медленее - кто это заметит?

В общем, сносим её к чертям.

/etc/init.d/cpuspeed stop
yum erase -y cpuspeed

И скорость ответа реактора снова опускается до 400мс. Теперь уже постоянно.

Если в в недавнем времени заказывали сервера у hetnzer - посмотрите, не стоит ли у вас тоже cpuspeed =)
koka koka08.01.201420:11ответитьссылка 34.7
Сслучайненько минусанул... А они при получении сервера не выдавали никаких сопроводительных документов с тем, что ставили?
MapPoo MapPoo08.01.201420:20ответитьссылка↑ -3.6
нет, конечно. Там же сотня пакетов ставится. Не будут же они по каждому писать =). Предполагается, что ты сам опытный и сможешь настроить сервер. И вообще можно самому ставить систему с нуля через виртуальный kvm.
koka koka 08.01.201420:27 ответить ссылка ↑ 4.1
Эта програмка стоит в стандартном дистрибутиве для ноутбуков, например. Для ноутов она очень даже полезная =)
koka koka08.01.201420:27ответитьссылка↑ 0.5
А что такое стандартный дистрибутив для ноутбука? :)
hshhhhh hshhhhh08.01.201421:16ответитьссылка↑ -0.3
ну в смысле если устанавливаешь базовый Desktop, то наверное эта утилита тоже идёт.

Хотя я тут думаю - такое ощущение, что эта утилита вообще в новой версии centos в minimal конфигурацию включена...
koka koka08.01.201421:21ответитьссылка↑ 0.4
Эммм... У нас вроде процы для пека занимаются автоматическим снижением своей частоты если нет нагрузки, не?
MapPoo MapPoo08.01.201421:28ответитьссылка↑ 0.3
да, такая технология есть у всех последних процов. Но она вроде должна иметь поддержку в ОС или в биосе. Судя по тому, что время запросов уменьшилось - эти меры сработали. Иначе пришлось бы вручную устанавливать им максимальную частоту
koka koka08.01.201421:34ответитьссылка↑ 1.2
Ну тротлинг же на процессорном уровне реализован. Хотя это в данном случае проще. В принципе, могли и в процессоре это реализовать, по числу запросов/сложности вычисления.
MapPoo MapPoo08.01.201422:09ответитьссылка↑ 0.0
не, там требуется работа материнской платы вроде. Ибо надо регулировать частоту.
koka koka08.01.201422:15ответитьссылка↑ 0.0
ну вообще варианта два - или на уровне биоса режем постоянную частоту, или, если ОС поддерживает, снижаем частоту при малой нагрузке, без ОС процу так делать нельзя=)
zmey_geroiny4 zmey_geroiny409.01.201406:27ответитьссылка↑ 0.0
Так если оно в минимал включено, значит хостер ни при чем же и тут сплошная клевета.

Хотя вот там ниже поцык говорит что у него в дебьяне тоже самое.
hshhhhh hshhhhh09.01.201415:49ответитьссылка↑ 0.0
ну вот хз. То ли её с версии 6.5 в минимал включили, то ли хецнер отдельно включил её. Я надеюсь, что в рхел не такие дураки сидят, что в минимал cpuspeed засовывают с такими дефолтными настройками =)
koka koka09.01.201416:21ответитьссылка↑ 0.0
Хуясе. Не ожидал от hetnzer-а такой подставы.
faiwer faiwer08.01.201421:48ответитьссылка↑ 0.2
С ними вообще поаккуратнее надо
zmey_geroiny4 zmey_geroiny409.01.201406:28ответитьссылка↑ 0.1
Центось? Или на рхел разорились?
SunX SunX08.01.201422:10ответитьссылка↑ 0.0
зачем рхел, когда есть центос?
koka koka 08.01.201422:13 ответить ссылка ↑ 0.4
Просто так, для разнообразия) Вообще подписка на обновления вроде не дорого стоит.
SunX SunX08.01.201422:40ответитьссылка↑ 0.0
ага, всего порядка тыщи баксов в год вроде =)
koka koka08.01.201423:43ответитьссылка↑ 0.0
http://www.rhd.ru/price.htm
Селф саппорт, 13800р в год.
Для себя конечно же не брал бы, но на пачку серверов, чтобы с одного брать пакеты и на других обновлять в продакшене не так уж дорого.
SunX SunX08.01.201423:51ответитьссылка↑ 0.0
секуьюрити фиксы и на центосе выходят. А из базы мне не сильно что-то нужно ещё.
koka koka09.01.201400:07ответитьссылка↑ 0.0
Центос норм тем более сейчас, когда редхат будет помогать с выпусками.
SunX SunX09.01.201400:18ответитьссылка↑ 0.0
а SLES не дешевле будет? или тут выбирать не приходится?
Radekk Radekk09.01.201409:57ответитьссылка↑ 0.0
Не знаю, никогда не ползовался слесом. Можно какой угодно дистрибутив выбрать, главное чтобы ты его хорошо знал)
SunX SunX09.01.201411:57ответитьссылка↑ 0.0
Скажи, а почему вообще центос? Просто привычка или есть что-то такое в нём концептуально хорошее?
hshhhhh hshhhhh09.01.201415:50ответитьссылка↑ 0.0
Наиболее стабильная. До этого достаточно долго сидел на генту. И очень задолбало в портаджах постоянно ловить баги от bleeding edge. А рхел - это самый консервативный дистриб с поддержкой энтерпрайза. Там медленнее обновляются пакеты, зато всё тестируется очень сильно.
koka koka 09.01.201416:25 ответить ссылка ↑ -0.1
Гента? В продакшоне? О боже мой!

Ну хоть один приличный человек в этих интернетах :)
hshhhhh hshhhhh09.01.201416:41ответитьссылка↑ -0.1
Вообще его можно не рубить, а настроить=)
нужно выставить говернор, который не будет приоритетом электричество экономить, смотрите в эту сторону -
cat /sys/devices/system/cpu/cpu0/cpufreq/scaling_available_governors (для арча)
это прикол всех систем, где частота может понижаться (например, смартфоны, те, кто прошивал модифицированные прошивки, в курсе)
zmey_geroiny4 zmey_geroiny4 09.01.201406:33 ответить ссылка ↑ 0.0
Раз уж про hetnzer, не видел такого чтобы сайт недоступен был позавчера? А то у нас на работе позавчера тоже люди немогли зайти из новозеландии\сан-франциско\норвегии, хостимся на хетснере тоже,у себя все перекопали на так что на них грешим
Farsight Farsight 09.01.201408:08 ответить ссылка ↑ 0.0
у них каждый день бывают сетевые проблемы с какими-нибудь небольшими сегментами сети. Так что вполне возможно. Глобально - всё работало более-менее.
koka koka09.01.201410:50ответитьссылка↑ 0.0
А если сервер на винде?
Я давно не заглядывал - работает и работает ...
Дартаньян Дартаньян11.01.201402:11ответитьссылка↑ 0.0
Удачной отладки, суки (с)
hshhhhh hshhhhh08.01.201421:15ответитьссылка -1.2
А Atmel так и делает, гады:)
В своих avr'ках, по крайней мере.
Xobotun Xobotun08.01.201421:43ответитьссылка↑ 0.8
ага, народ путают. Я привык
Payalneg Payalneg08.01.201421:50ответитьссылка↑ 0.5
Это где?
IfoR IfoR09.01.201402:07ответитьссылка↑ 0.3
В микроконтроллерах AVR ( http://ru.wikipedia.org/wiki/AVR ), когда шьёшь фьюзы (fuse - пердохранитель), из-за того, что описано на картинке, есть риск (у новичков - он крайне высок) забыться и перепутать 0 и 1. Ну а дальше - маленький кирпичик. (или при высоких навыках его можно воскресить, но при высоких навыках его и угробить-то сложно:))
Xobotun Xobotun09.01.201413:15ответитьссылка↑ 1.0
Но это к Си никак не относится. А на счёт флагов, просто нужно пользоваться терминологией "незапрограммирован" (unprog) и "запрограммирован" (prog), либо придерживаться стандарта и программировать фьюзы в сыром виде "как есть" (т.е. 1-байтными числами), согласно документации. Эта путаница возникает не из-за Atmel (то же самое в советских ПЗУ на плавких вставках, например. В незапрограммированном состоянии у него бит равен 1 и 0 после прожига перемычки), а из-за составителей прошивальшиков, которые всё никак не могут договориться, что же отмечать галочкой checkbox-а: сырое значение бита фьюза или состояние запрограммированности фьюза, при этом иногда даже не добавляя примечания, что означает галочка. Просто нужно пользоваться нормальным прошивальшиком, на вроде avrdude (где значение выставляется в сыром виде и ошибиться нереально), либо же заранее его изучить и быть внимательнее.
IfoR IfoR 10.01.201401:09 ответить ссылка ↑ 0.0
Пидарасы, сэр
gizer gizer08.01.201423:18ответитьссылка↑ 0.7
Eclipse?
Robotex Robotex09.01.201404:33ответитьссылка↑ 0.4
Меня вот забавляет что мой коммент заминусовали, а твой с картинкой, но точно такой же заплюсовали.

Потешно :).
hshhhhh hshhhhh09.01.201415:47ответитьссылка↑ 0.1
Скилованый админ однако ...
xiloid xiloid08.01.201421:44ответитьссылка -0.3
как будто на хабр зашел
reumepalex reumepalex08.01.201421:47ответитьссылка 5.2
Тег "админские истории" тут очень сильно хорош, кока тащит люто. + запили рсс :)
hshhhhh hshhhhh09.01.201415:46ответитьссылка↑ 0.0
а у меня иногда падает инет что делать?
Anonimious Anonimious08.01.201421:48ответитьссылка -0.5
постарайся сделать так, чтобы он не падал
koka koka08.01.201422:14ответитьссылка↑ 3.0
прочитал на одном дыхании, автор, пиши ещё!
1__8 1__808.01.201422:02ответитьссылка 0.4
ОБОЖЕЖГШЕЩЕ /
reactor01 reactor01 08.01.201422:33 ответить ссылка -0.6
у меня не стоит
sanuchek sanuchek08.01.201422:37ответитьссылка 0.3
Соболезнуем.
Uriel Uriel08.01.201422:46ответитьссылка↑ 2.6
Твоояяяя роззааа в стаканееее..
TPyCuKu_B_KPOBu TPyCuKu_B_KPOBu08.01.201422:46ответитьссылка↑ 2.3
вот это ник!
Shtobot Shtobot08.01.201422:57ответитьссылка↑ 1.6
у меня лишь висит
Гениталиссимус Гениталиссимус09.01.201404:34ответитьссылка↑ 0.0
От себя добавлю репорт. Хецнер, дебиан семерка. В минимальную установку входит аналогичный пакет:
root@Debian-70-wheezy-64-minimal ~ # dpkg --get-selections "*" | grep cpu
cpufrequtils install

Фашисты свет экономят за счет клиентов.
rumm rumm08.01.201423:00ответитьссылка 1.1
почему то тупо сразу подумал на кэш, но почитал подробнее и задумался
xaljava xaljava08.01.201423:19ответитьссылка 0.4
Тоже сначала в сторону кэша думал. Понятно, почему: "сразу после обновления сайта время загрузки страниц резко падает". Обновление = сброс кэша. И вообще - как говаривал мой старый тимлид: "В любой непонятной ситуации чистите кэш".

Ан нет.
Albreht Albreht 09.01.201402:21 ответить ссылка ↑ 0.4
Видать у них побывали люди из мыломсру. Эти ребята знают как незаметно подлянку подкинуть.
Penetrator Penetrator09.01.201400:06ответитьссылка 0.1
У LeaseWeb аналогичную беду обнаружил буквально пару дней назад.
php4life php4life09.01.201400:25ответитьссылка 0.0
Спасибо за наводку. Тоже живём на хецнере.
Albreht Albreht 09.01.201402:21 ответить ссылка 0.1
устроили тут хабру
enhhf enhhf09.01.201404:10ответитьссылка -0.7
ты так пишешь, как будто это что-то плохое.
Логин1 Логин109.01.201406:43ответитьссылка↑ 0.6
Можно подумать снобско-занудное говно это хорошо.
Джон Джемисон Джон Джемисон09.01.201416:55ответитьссылка↑ -0.9
Ну так это, cpufrequtils в дебиане, емнип, из коробки вообще ставится - посмотрел на другие сервера не в хецнере - везде есть.

>/etc/init.d/cpuspeed stop

Не может после этого у тебя скорость повыситься :) Посмотри на секцию stop в init файле - там просто пустота. cpufrequtils надо через rmmod выгружать:

>rmmod acpi_cpufreq
>rmmod cpufreq_powersave
>rmmod cpufreq_userspace
>rmmod cpufreq_conservative
>rmmod cpufreq_stats
drakmail drakmail 09.01.201410:30 ответить ссылка 0.1
ну в центосе stop устанавливает всё по максимуму. Например, вот

echo userspace > $cpu/cpufreq/scaling_governor
cat $cpu/cpufreq/cpuinfo_max_freq > $cpu/cpufreq/scaling_setspeed
koka koka 09.01.201410:52 ответить ссылка ↑ 0.1
koka, покажи графики после фикса
c1615253 c161525327.01.201418:16ответитьссылка 0.0
как-то так
servlö: Nginx requests time (lh)
koka koka27.01.201418:25ответитьссылка↑ 0.0
А это не дофига, 400мс то?
c1615253 c161525303.02.201416:11ответитьссылка↑ 0.0
ну как тебе сказать... с одной стороны - достаточно много. С другой стороны - дальнейшая оптимизация очень сложная и 400мс вполне приемлемо учитывая, что страница всё равно сильно дольше будет грузиться.
koka koka 03.02.201416:17 ответить ссылка ↑ 0.0
Только зарегистрированные и активированные пользователи могут добавлять комментарии.
Похожие темы
двач

двач

работа

работа

it

, 

хостинг

, 

Ghost

, 

hetzner

, 

cpu speed


Тренды

Fallout
приколы для полных дегенератов
Дрочибельные мемы
Похожие посты
3 3 3 3 lS 3 3 3 S 3 3 3 Ü3333gg 3 3 3 3 3 3 3 3 1 S 3 3 3 3 g 3 3 3 3 3 3 3 3 ¡ 3 s i S 3 g g 3 3 3 3 3 3 3 3 ! !=Ë Si I I I 1 servl2: CPU Loads (lh) 3 3 3 3 3 ^ 3 3 3 3 3 3 3-ÜÜ 3 3 3 3 3 3 3 3 3 3 3 I Sa Si I I 11 1 SS 3 3 3 1 3 3 3 S S 3 3 3 ^ i i 1 i 3 3 3 3 S 3 3 3 3 3 3 S0 I i :=11
подробнее»

админские истории разное ceph и все все все openstack swift

3 3 3 3 lS 3 3 3 S 3 3 3 Ü3333gg 3 3 3 3 3 3 3 3 1 S 3 3 3 3 g 3 3 3 3 3 3 3 3 ¡ 3 s i S 3 g g 3 3 3 3 3 3 3 3 ! !=Ë Si I I I 1 servl2: CPU Loads (lh) 3 3 3 3 3 ^ 3 3 3 3 3 3 3-ÜÜ 3 3 3 3 3 3 3 3 3 3 3 I Sa Si I I 11 1 SS 3 3 3 1 3 3 3 S S 3 3 3 ^ i i 1 i 3 3 3 3 S 3 3 3 3 3 3 S0 I i :=11