Генерация изображений в своём контуре

Задача

Снять зависимость от чужого сервиса

Картинок нужно много: 12 кадров на один ролик, плюс обложки статей и иллюстрации для сайтов. В облаке их делать удобно, но за каждую надо платить, количество в час ограничено, кому принадлежит результат — из условий непонятно, а нужной модели там может и не оказаться.

Ставили модель, которой на тот момент было три дня от роду. Инструкций под эту технику ещё никто не написал: облегчённые версии, обещанные в описании, на ней вовсе не работают — это выяснилось уже в деле.

Решение

Своя генерация, поставленная за день

• Генерация переехала на локальную машину. Модель, текстовый кодировщик и декодер лежат на машине заказчика, кадры считаются там же. Ни один запрос не уходит наружу, счёта за штуку нет, лимита на число генераций нет, интернет для работы не нужен.
• Полный формат весов вместо облегчённых. Сборки fp8 и nvfp4, предложенные в карточке модели как способ снизить требования, на этой платформе не работают: первый не считается вычислителем, второй сделан под видеокарты другого производителя. Проверено отказом, дальше работа шла на полном формате — 19 ГБ на диске.
• Понадобилась ещё не вышедшая версия библиотеки. Обычная с этой моделью не работает — она про неё пока не знает. Проверили до скачивания файлов, а не после сорока минут ожидания.
• Измерения сделаны сериями, а не одиночными прогонами. 9 кадров подряд на одной загрузке модели: 339 секунд на кадр при разбросе 2,7 секунды. Первый кадр не отличается от девятого — прогрева, которого принято ожидать, нет вовсе.
• Цена шага выведена отдельно. 20 шагов — 144 секунды, 28 — 196, 50 — 339. Зависимость линейная, шаг стоит 6,8 секунды: отсюда считается пропускная способность под любую настройку качества.
• Память измерена системным счётчиком, а не счётчиком процесса. Встроенный показывал 1,2 ГБ и вводил в заблуждение: память, выделенную видеоядром, он не видит. По факту модель занимает около 70 ГБ из 128, и за час непрерывной работы не вытеснила ни один соседний процесс.
• Измерена конкуренция за видеоядро. Пока идёт генерация, языковая модель на той же машине замедляется с 77 до 8 токенов в секунду, а короткий ответ растягивается с 0,3 до 2 секунд. Отсюда решение: генерация ставится на ночь, днём машина занята другими процессами.
• Сравнение проведено на тех же описаниях. 12 кадров, сделанных ранее облачным сервисом, прогнаны на локальной машине теми же текстами и сведены попарно — иначе сравнивались бы не модели, а формулировки запросов.