Профиль навыка

Деплой LLM

Деплой LLM в продакшн: выбор инфраструктуры, квантование моделей, масштабирование инференса. Применяется при выводе больших языковых моделей в промышленную эксплуатацию.

Machine Learning и AI LLM и генеративный AI

Ролей

где встречается этот навык

Грейдов

сформированная дорожка роста

Обязательных требований

ещё 5 — необязательные

Домен

Machine Learning и AI

Группа

LLM и генеративный AI

Последнее обновление

10.09.2026

Как использовать

Выберите текущий грейд и сравните ожидания. Карточки ниже покажут, что нужно закрыть для следующего уровня.

Чего ждут на каждом уровне

Таблица показывает, как меняется глубина владения навыком от Junior до Principal.

Роль	Обязательность	Описание
LLM Engineer		Знает основы деплоя LLM: REST API endpoint, model loading, basic serving. Деплоит простой inference сервер на vLLM или text-generation-inference под руководством наставника.

Роль	Обязательность	Описание
LLM Engineer		Самостоятельно деплоит LLM в production: настраивает vLLM с continuous batching, quantization (GPTQ/AWQ), health checks. Реализует мониторинг latency, throughput и error rates.

Роль	Обязательность	Описание
LLM Engineer		Проектирует production LLM serving инфраструктуру: multi-model serving, A/B testing, canary deployments, auto-scaling. Оптимизирует latency (p50/p95/p99) и throughput при высоких нагрузках.

Роль	Обязательность	Описание
LLM Engineer		Определяет LLM deployment стратегию для команды. Формирует SLA для inference сервисов, стандарты мониторинга, процессы rollback и incident response для LLM production систем.

Роль	Обязательность	Описание
LLM Engineer		Формирует enterprise LLM serving платформу. Определяет подходы к multi-model inference at scale, cost optimization, capacity planning и disaster recovery для критических LLM-сервисов.

Junior 1 требований

LLM Engineer

Знает основы деплоя LLM: REST API endpoint, model loading, basic serving. Деплоит простой inference сервер на vLLM или text-generation-inference под руководством наставника.

Middle 1 требований

LLM Engineer

Самостоятельно деплоит LLM в production: настраивает vLLM с continuous batching, quantization (GPTQ/AWQ), health checks. Реализует мониторинг latency, throughput и error rates.

Senior 1 требований

LLM Engineer

Проектирует production LLM serving инфраструктуру: multi-model serving, A/B testing, canary deployments, auto-scaling. Оптимизирует latency (p50/p95/p99) и throughput при высоких нагрузках.

Lead / Staff 1 требований

LLM Engineer

Определяет LLM deployment стратегию для команды. Формирует SLA для inference сервисов, стандарты мониторинга, процессы rollback и incident response для LLM production систем.

Principal 1 требований

LLM Engineer

Формирует enterprise LLM serving платформу. Определяет подходы к multi-model inference at scale, cost optimization, capacity planning и disaster recovery для критических LLM-сервисов.