Чувак год собирал свой сервер для ИИ и в итоге довел его до монстра из восьми RTX 3090 с общим объемом видеопамяти 192 ГБ, 64 ядерного EPYC Milan и 250 ГБ обычной памяти, потратив примерно 8 тысяч долларов и покупая почти все железо с рук.
Питается это счастье от двух блоков питания на 1500 и 1000 ватт, сидит на выделенной 20 амперной линии, греется под нагрузкой до примерно 70 градусов и при этом живет довольно спокойно, хоть выглядит как учебник по кабельному ужасу :) с одной видеокартой, торчащей наружу из за нехватки места.
Автор еще заморочился с райзерами PCIe 4.0 длиной 200-250 мм, отказался от красивой укладки ради нормальной пропускной способности и стабильно гоняет GLM 4.5 Air в квантизации Q6_K через llama.cpp на 128k контексте, получая около 49 токенов в секунду, что для такого зоопарка из б у железа выглядит довольно бодро.
Сейчас система используется в основном для инференса больших локальных моделей вроде GLM 4.5 Air и планируемых GLM 4.6 и Minimax M2 в 4 битных квантах с тензорным параллелизмом на всех восьми картах, а дальше владелец хочет заняться агентным кодингом через roocode и поиграться с vLLM и AWQ.
Электричество он частично отбивает солнечными панелями, поэтому при умеренной нагрузке добавка к счету за свет оценивается им на уровне примерно 40 долларов в месяц, что по его меркам терпимо ради домашнего комбайна для экспериментов с ИИ и запасом на будущее, особенно на фоне растущих цен на железо и возможного ухудшения условий у облачных сервисов.
Русский ИТ бизнес
