Найти в Дзене
Мой сервер

Мой сервер

Собираю свой сервер. Выбираю комплектующие, ПО, что-то разрабатываю и добавляю свое. В общем это все история рождения домашнего вычислительного центра.
подборка · 26 материалов
Сервер на Machinist X99 D8 Max с самодельным корпусом спустя год. Как там получившийся пылесборник? Недавно менял фильтры и решил, что будет полезно оставить заметку по корпусу, а конкретно по фильтрам. Когда проектировал корпус хотелось заложить такие фильтры, которые бы отлавливали как можно больше пыли, но в тоже время как можно меньше задерживали поток. Всё-таки квартира и серверные громкие кулеры очень не хотелось ставить ради силы потока. Потому в качестве материала был выбран синтепон. Из пласта были вырезаны по окружности шесть фильтров и вставлены перед каждым кулером. Все кулеры на вдув для создания избыточного давления. Оно необходимо, чтобы избежать попадания пыли через другие места корпуса. Для повышения количества улавливаемой пыли каждый фильтр был пропитан маслом. Хотя может быть лучше сказать "смочен". В общем с добавлением крохотного количества масла. В течение года я не видел нигде критических температур. Все стабильно. А обратил внимание на фильтры и решил их сменить... Ни за что не догадаетесь) После того, как обратил внимание на низкую яркость подсветки кулеров корпуса! Да, я просто однажды включил её и мне показалось, что она стала тусклее. Снял фильтр и всё стало на свои места) На первом фото то, во что превратились фильтры за год и как они выглядят в сравнении с новыми. На втором фото попытался найти пыль внутри корпуса. Хорошо видно на турбинах видеокарт, но она очень мелкая и тонким слоем, не критично. На черной материнской плате, неожиданно, найти сложнее. Практически не видно линии, что провел пальцем. И для финального сравнения слой сверху корпуса. На нем наглядно видно разницу внутри и снаружи, хотя внешнему слою много меньше года) В общем технология работает. Так можно)
Новая версия биос для Machinist X99 D8 Max! Частичный фикс AER ошибок
Решил переустановить систему с Proxmox VE 8.2 и raid1 mdadm на Proxmox VE 8.3 с raid1 zfs на пару NVME. Все прошло гладко. Но старая проблема не ушла. Логи были забиты AER-сообщениями. Изредка случались даже зависания (до просмотра логов даже подумал на ОЗУ). AER - Advanced Error Reporting. Относится к PCI Express и сигнализирует об ошибках на шине/устройствах. Может проявлять активность в логах как из-за неправильных настроек шины и чипсета, неудачной трассировки линий материнской платы, грязных...
Дешевые диски и практика с восстанавливаем рейдов (mdadm), контейнеров LXC в Proxmox обеспечена
Мой рейд рассыпался. Контейнеры встали. Последний раз резервная копия была сделана пару месяцев назад и там нет много чего. Начал готовится к худшему... Данные и сами машины/контейнеры хранятся на рейде md0, состоящем из 10 SATA SSD. md0 является raid0 из двух raid5 (md50 и md51), т.е. по сути является raid50. Когда-то я пришел к выводу, что такой рейд обеспечит для меня оптимальное соотношение скорость чтения/записи / полезный объем / отказоустойчивость. Отказоустойчивость, кстати говоря, такого рейда составляет 1-2 диска...
722 читали · 1 год назад
На плате MACHINIST X99 D8 MAX не работают вместе два SSD NVME? PCIe mapping / IIO/IOU Configuration / PCIe Bifurcation Приобрел второй SSD NVME для установки в зеркало (raid 1) к системному диску. Это, конечно, не бэкап, но жить будет спокойнее. Ведь в случае выхода из строя одного из системных дисков сервер загрузится со второго с последней актуальной версией настроек. После установки в свободный слот нового диска с удивлением увидел пост-код AE. Куда же делся SSD с системой? Так вовремя вышел из строя?! На самом деле он в том же слоте, так же жив-здоров, но остался без PCIe-линий. Его линии "отобрал" только что установленный SSD. Объяснение можно найти в биосе: IntelIRCSetup -> IIO Configuration -> IOU2 (IIO PCIe Port 1) = [auto]. Системный диск на порту 1B, а только что подключенный на 1A. Значение auto - то, что призвано помочь нам, но сегодня стало нашей проблемой. Дело в том, что физически слоты NVME0 и NVME1 разделяют одну x8 шину PCIe. При значении auto и установленном SSD в один из двух слотов, например, 1A ему выдается вся x8 шина IOU2 (IIO PCIe Port 1). SSD же использует только x4 линий (на 1A), оставшиеся x4 остаются неиспользуемыми, но зарезервированными за ним (за 1A) вместо того, чтобы выдаться второму SSD (т.е 1B). Именно поэтому при установке второго SSD первый исчезает из bios. Чтобы это исправить нужно изменить значение IOU2 (IIO PCIe Port 1) на x4x4. Тогда вместо выдачи единого x8 будет выдаваться два x4, которые распределятся по x4 каждому слоту. Оба SSD определятся и будут корректно работать.
Управляем кулерами корпуса сервера автоматически
Еще во время сборки сервера думал о том, что необходимо сделать управление кулерами на корпусе взаимосвязанным с температурой процессора и видеокарт. На материнской плате всего два PWM выхода (по одному на каждый процессор). Потому управление было подключено к крайнему у выхода (самому горячему) процессору. Это позволяло пользоваться автоматическим управлением материнской платы. С появлением видеокарт процессоры (и их VRM) перестали быть самыми горячими в корпусе (имеется ввиду TDP). Чтобы не душить видеокарты и не бояться перегрева написал простенький сервис на bash для контроля температуры процессоров, в том числе графических...