dodigi.ru · инструменты
Калькулятор локальной нейросети
Нужна ли вам своя машина под нейросеть — и какая именно. Начните со своей работы, а не с железа: калькулятор доведёт от «у меня три тысячи вопросов в месяц» до ответа, какая модель справится и не будет ли машина простаивать.
Шаг 1
Ваша работа
Начните с объёма, а не с железа: сколько текста модель будет перемалывать за месяц.
Выходит 1,6 млн токенов в месяц
Шаг 2
Модель и машина
Три входа на выбор: от бюджета, от размера модели или от конкретной модели.
Ползунок ходит по готовым конфигурациям, промежуточных сумм нет: станция, общая память.
Модель «GPT-OSS 120B» влезает целиком, остаётся запас на длинные документы.
Своё железо: износ 18 750 ₽ + электричество 76 ₽ (9,5 кВт·ч) + связь 1 000 ₽ = 19 826 ₽ в месяц
Модель занимает 72 из 128 ГБ, поэтому под нагрузкой машина берёт около 117 Вт из 140 паспортных.
Откуда берутся цифры
Цены машин — средние по российским магазинам вместе со сборкой, потребление — паспортное с обвязкой, от розетки. Размер модели считается по её параметрам и разрядности.
Подробный разбор каждого шага — в блоке «Как именно считается» ниже. Любую величину можно заменить своей в «Уточнить расчёт».
Неочевидное про память
Мини-ПК с 64 ГБ общей памяти стоит дешевле видеокарты с 32 ГБ, и модель в него влезет крупнее. Но отвечать он будет в разы медленнее: память общая и медленная.
Зато он куда скромнее в потреблении — 90 Вт против 695. При низкой загрузке это решает больше, чем скорость.
Чего калькулятор не знает
Скорости моделей поставлены ориентировочно: замерена только конфигурация на 128 ГБ, остальные — оценка. Цены на железо меняются за месяцы. И главное: локальная модель слабее флагманской облачной — если задача требует лучшего качества рассуждений, своё железо её не закроет.
Как именно считаетсяпять шагов расчёта — можно проверить каждый
Память
Вес модели = параметры × разрядность ÷ 8, плюс пятая часть сверху на контекст и служебные структуры. Обычный выбор — 4 бита: модель почти не теряет в качестве, а весит вчетверо меньше несжатой.
Цены машин
Средние по российским магазинам вместе со сборкой. Видеокарты дают скорость, мини-ПК и станции с общей памятью — объём: туда влезает модель крупнее, но отвечает она в разы медленнее.
Объём работы
Токены считаются как обработки × размер одной × 1,3 — надбавка на ответ модели. Размеры обработок оценочные, для русского текста: вопрос клиента около 400 токенов, договор — около 3 000.
Электричество
Машина включена круглые сутки, но считает малую часть времени. Поэтому расход складывается из потребления под нагрузкой за часы работы и потребления в простое за всё остальное время.
Поправка на модель
Мелкая модель не разгоняет большую машину до паспортного пика, но и не даёт ей отдыхать: под нагрузкой берётся от 60 до 100 процентов разницы между пиком и простоем, в зависимости от того, какую долю памяти занимает модель.
Автоматизация на своём железе
Соберём автоматизацию на вашем оборудовании
Напишите, какие задачи хотите закрыть, — подберём модель и железо под них и соберём решение, из которого данные не уходят наружу.