Deepseek опубликовал свой внутренний фреймворк для инференса под названием DeepInfer как проект с открытым исходным кодом. По данным The Decoder, система основана на vLLM. Она должна снизить затраты на вычисления и энергопотребление при эксплуатации ИИ-моделей.
Что делает фреймворк для инференса
При обучении ИИ-модель учится на данных. Инференс — это следующий этап: готовая модель отвечает на запросы. Фреймворк для инференса — это программа, которая обеспечивает работу на этом этапе. Она распределяет входящие запросы по имеющемуся оборудованию, управляет памятью и следит за тем, чтобы ответы формировались быстро.
Чем эффективнее работает этот слой, тем меньше вычислительного времени и электроэнергии требуется на каждый отдельный ответ. Особенно заметна такая разница в работе сервисов с большим числом одновременных пользователей. То, что DeepInfer построен на vLLM, означает: Deepseek начал не с нуля, а развил существующую систему для запуска моделей.
Почему это важно для рынка
Согласно источнику, китайская компания тем самым ещё больше увеличивает ценовое давление на западных игроков, таких как OpenAI и Anthropic. Логика такая: кто может эксплуатировать модель дешевле, у того больше возможностей в конкуренции. Если необходимое для этого ПО открыто, выиграть от него могут и другие операторы.
Разработчикам и компаниям, которые запускают собственные модели, стоит присмотреться к проекту. Открытый код можно проверять, адаптировать и встраивать в собственные процессы. Насколько хорошо DeepInfer работает на практике, какое оборудование он поддерживает и на каких условиях лицензирован, из сообщения не ясно. Прежде чем применять его, это стоит уточнить в официальной документации.
Появятся ли обещанная экономия затрат и энергии на самом деле, станет понятно только по собственным тестам с конкретной комбинацией модели и оборудования.
