Эти навыки не влияют на основной грейд, но покажут полноту вашего профиля.
AI-ассистенты кодирования
▼
Знакомится с возможностями LLM-ассистентов для ускорения работы аналитического инженера. Понимает как использовать ChatGPT и Claude для генерации SQL-запросов, написания dbt-моделей и анализа данных.
Эффективно использует LLM для решения задач аналитической инженерии — оптимизации SQL, генерации dbt-тестов и документирования моделей. Применяет AI-ассистенты для исследования данных и прототипирования аналитических пайплайнов.
Интегрирует LLM-инструменты в рабочие процессы аналитической команды для автоматизации рутинных задач. Создаёт промпт-шаблоны для генерации data-quality проверок, анализа data lineage и оптимизации производительности запросов.
Формирует стратегию использования AI-инструментов в аналитической команде, стандартизирует подходы к LLM-ассистированной разработке. Обучает инженеров эффективному применению ChatGPT и Claude для повышения продуктивности data-работы.
Знакомится с AI-возможностями Cursor IDE для повышения продуктивности аналитической разработки. Понимает функции автодополнения SQL, генерации dbt-моделей и контекстного поиска для data-проектов.
Эффективно использует Cursor IDE для ускорения аналитической разработки — генерации SQL-запросов, dbt-тестов и документации. Настраивает AI-контекст для корректной работы с dbt-проектами, Jinja-шаблонами и аналитическими паттернами.
Оптимизирует рабочие процессы аналитической разработки через Cursor IDE — мультифайловое редактирование dbt-моделей, кастомные правила для SQL-стиля. Создаёт шаблоны для типовых аналитических задач — staging, intermediate и mart модели.
Формирует стандарты использования Cursor IDE в аналитической команде, настраивает общие конфигурации для dbt-проектов. Обучает инженеров эффективному применению AI-инструментов для повышения качества и скорости аналитической разработки.
CI/CD
▼
Запускает dbt commands через GitHub Actions: dbt run, dbt test в pull request-ах. Понимает базовую структуру workflow-файлов и чтение логов CI для отладки ошибок в моделях.
Настраивает CI/CD для dbt-проекта: запуск sqlfluff lint на PR, slim CI с dbt run --select state:modified+, автоматические dbt tests. Конфигурирует caching dbt packages и target для ускорения pipeline.
Проектирует полный CI/CD pipeline для аналитической платформы: staging deploy на PR, production deploy на merge, automated regression tests. Настраивает dbt Cloud integration или custom GitHub Actions для blue-green deployment моделей.
Определяет стандарты CI/CD для аналитических проектов организации: reusable workflows для dbt, automated data quality gates, cost estimation в PR. Внедряет GitOps-подход для управления warehouse-ресурсами и permissions.
Distributed Tracing
▼
Изучает основы OpenTelemetry для мониторинга аналитических пайплайнов и ETL-процессов. Понимает концепции трейсов и метрик для отслеживания выполнения аналитических задач и диагностики проблем.
Инструментирует аналитические пайплайны с помощью OpenTelemetry для трассировки ETL-процессов от источника до warehouse. Настраивает метрики длительности задач, объёмов данных и частоты ошибок для аналитических сервисов.
Проектирует observability-систему аналитической платформы на базе OpenTelemetry с корреляцией ETL-трейсов и data quality метрик. Реализует custom-спаны для каждого этапа трансформации и автоматическую детекцию аномалий в пайплайнах.
Определяет стандарты инструментирования аналитических сервисов через OpenTelemetry, включая semantic conventions для data-операций. Внедряет observability-driven подход к оптимизации ETL-процессов и мониторингу data quality.
GraphQL
▼
Изучает основы GraphQL и его применение для создания аналитических API. Понимает концепции запросов, мутаций и schema-first подхода для предоставления аналитических данных потребителям.
Реализует GraphQL-API для доступа к аналитическим данным с гибкой фильтрацией и агрегацией. Проектирует схему для аналитических сущностей с pagination, nested resolvers и оптимизацией N+1 запросов к warehouse.
Проектирует GraphQL semantic layer для аналитической платформы с кешированием, rate-limiting и авторизацией на уровне полей. Реализует подписки для real-time аналитики и интегрирует GraphQL с BI-инструментами для самообслуживания.
Определяет стандарты GraphQL-API для аналитической платформы, включая naming conventions и паттерны метрик/измерений. Координирует разработку unified data API для предоставления аналитических данных всем потребителям организации.
Kubernetes и оркестрация
▼
Изучает базовые концепции Kubernetes для понимания инфраструктуры аналитических сервисов. Понимает роль оркестрации контейнеров для развёртывания Airflow, dbt и аналитических API в продакшн-окружении.
Развёртывает аналитические сервисы в Kubernetes — Airflow workers, dbt-джобы и API для доступа к аналитическим данным. Настраивает CronJobs для регулярных ETL-задач и ресурсные лимиты для оптимального использования кластера.
Проектирует Kubernetes-инфраструктуру аналитической платформы с автоскейлингом Spark/Airflow workers и управлением batch-задачами. Реализует приоритезацию задач, spot-инстансы для экономии и изоляцию workloads для data quality.
Определяет стратегию оркестрации аналитической платформы в Kubernetes, стандартизирует деплой аналитических сервисов. Внедряет GitOps для управления инфраструктурой и обеспечивает надёжность ETL-процессов в контейнерной среде.
Prompt Engineering
▼
Формулирует базовые промпты для ChatGPT/Claude при написании SQL-запросов и dbt-моделей. Описывает схему данных и желаемый результат для получения корректного SQL. Использует AI для понимания unfamiliar SQL-паттернов.
Составляет эффективные промпты для аналитических задач: описание data model context, few-shot examples для SQL-стиля команды. Использует AI для рефакторинга dbt-моделей, написания тестов и генерации документации к моделям.
Разрабатывает prompt-шаблоны для типовых analytics engineering задач: data modeling design, SQL optimization, test generation. Создаёт system prompts с контекстом dbt-проекта, naming conventions и стилем команды для consistent AI output.
Определяет prompt engineering стратегию для analytics engineering команды: библиотека промптов для моделирования, тестирования и документирования. Внедряет AI-powered code review для dbt-моделей с кастомными промптами для проверки best practices.
REST API
▼
Понимает принципы REST API для интеграции с внешними источниками данных. Использует Python requests/httpx для извлечения данных из API в staging-модели. Разбирается в HTTP-методах, статус-кодах и пагинации.
Проектирует надёжные pipeline-ы для извлечения данных из REST API: обработка пагинации, rate limiting, retry-логика. Создаёт dbt sources из API-данных через промежуточные staging-таблицы. Документирует API-зависимости в data catalog.
Разрабатывает reusable-фреймворк для API-интеграций аналитической платформы: generic extractors с конфигурацией через YAML, schema inference, automatic data type mapping. Проектирует error handling и alerting для API-источников.
Определяет стандарты API-интеграций в аналитическом стеке: выбор между custom extractors и managed tools (Fivetran, Airbyte), SLA для freshness API-данных. Внедряет data contracts для internal API как источников аналитики.
System Design
▼
Изучает базовые принципы проектирования систем применительно к аналитическим платформам. Понимает концепции масштабируемости, partitioning и различия между OLTP и OLAP архитектурами для аналитических систем.
Проектирует архитектуру аналитических пайплайнов с учётом объёмов данных, частоты обновлений и требований к freshness. Выбирает паттерны для организации data warehouse — star schema, medallion architecture, ELT vs ETL.
Разрабатывает архитектуру аналитической платформы с real-time и batch-слоями, data mesh подходом и federation queries. Проектирует масштабируемые системы с учётом CAP-теоремы и eventual consistency для аналитических данных.
Определяет архитектурные принципы аналитической платформы, включая data lakehouse, streaming и semantic layer. Руководит проектированием системы, обеспечивающей самообслуживание бизнес-пользователей и масштабирование аналитики.
Безопасность приложений
▼
Знакомится с основными уязвимостями OWASP и их влиянием на безопасность аналитических систем. Понимает риски SQL-инъекций и несанкционированного доступа к аналитическим данным и дашбордам.
Применяет рекомендации OWASP для защиты аналитических пайплайнов и дашбордов от типичных уязвимостей. Реализует валидацию входных данных, параметризованные запросы и корректное управление доступом к аналитическим ресурсам.
Интегрирует OWASP-практики в жизненный цикл аналитических систем — защита data warehouse, аудит доступа к чувствительным данным. Проектирует многоуровневую безопасность аналитической платформы с маскированием PII и column-level security.
Формирует политику безопасности аналитической платформы на основе OWASP-рекомендаций. Координирует security-ревью аналитических пайплайнов и обеспечивает соответствие стандартам защиты данных на всех этапах обработки.
Знакомится с принципами безопасного кодирования при разработке аналитических пайплайнов. Понимает риски хранения credentials в коде, необходимость параметризации SQL и базовую защиту чувствительных данных.
Применяет практики безопасного кодирования в аналитических пайплайнах — управление секретами через vault, параметризованные запросы и маскирование PII. Реализует audit-логирование для отслеживания доступа к чувствительным данным.
Проектирует безопасные аналитические системы с шифрованием данных в transit и at rest, column-level masking и row-level security. Внедряет автоматические проверки безопасности в CI/CD для dbt-проектов и ETL-пайплайнов.
Формирует стандарты безопасного кодирования для аналитической команды, включая data classification и access control policies. Организует security-ревью аналитических пайплайнов и обучает разработчиков defensive data engineering.
Веб-фреймворки
▼
Использует Python Web Frameworks на базовом уровне в dbt. Выполняет простые задачи по готовым шаблонам. Понимает базовые концепции и следует принятым в команде практикам.
Самостоятельно реализует задачи с Python Web Frameworks в dbt. Понимает внутреннее устройство и оптимизирует производительность. Пишет тесты с помощью dbt test.
Разрабатывает внутренние data API на FastAPI для доступа к метрикам и метаданным аналитической платформы. Создаёт эндпоинты для programmatic-доступа к dbt artifacts, результатам data quality checks и каталогу моделей.
Определяет архитектуру data services: API для metadata каталога, webhook-интеграции с BI-инструментами, self-service эндпоинты для аналитиков. Стандартизирует подходы к сериализации аналитических данных через API.
Инструменты совместной работы
▼
Документирует dbt-модели в YAML: описания моделей и колонок, tags для категоризации. Следует шаблонам команды для doc blocks. Поддерживает README с описанием структуры dbt-проекта и инструкциями для новых членов команды.
Создаёт комплексную документацию dbt-проекта: doc blocks для reusable описаний, markdown файлы для бизнес-контекста, ERD-диаграммы для data models. Настраивает dbt docs generate и deploy для автоматической публикации документации.
Проектирует систему документирования аналитической платформы: integration dbt docs с data catalog, automated freshness и lineage documentation, glossary бизнес-терминов. Внедряет documentation-as-code с CI-валидацией полноты описаний.
Определяет стандарты документирования для аналитической организации: обязательные описания для всех production-моделей, шаблоны для новых моделей и packages. Внедряет metrics и SLA для documentation coverage, автоматические reminders для undocumented моделей.
Интеграционное тестирование
▼
Понимает основы интеграционного тестирования стадий дата-пайплайнов. Пишет простые тесты проверки трансформаций данных между системами-источниками и таблицами хранилища. Следует принятым в команде стандартам валидации ETL/ELT-задач.
Проводит интеграционные тесты dbt-моделей: проверка связности между слоями (staging → intermediate → marts), валидация referential integrity, тестирование полного прохода данных через pipeline.
Проектирует интеграционные тесты аналитической платформы: end-to-end проверка от источников до BI-дашбордов, data reconciliation между слоями warehouse. Автоматизирует тестирование dbt с реальными данными в staging-среде.
Определяет стандарты интеграционного тестирования: dbt source freshness checks, cross-model consistency tests, automated BI dashboard validation. Внедряет contract testing между data producers и аналитическими моделями.
Контейнеризация
▼
Использует Docker для запуска локальной среды разработки: dbt с подключением к dev-warehouse, PostgreSQL для тестов. Понимает Dockerfile и docker-compose для аналитического стека. Работает с pre-built образами dbt.
Создаёт Docker-образы для аналитических инструментов: dbt с кастомными пакетами, Python-скрипты для data extraction, sqlfluff для CI. Настраивает docker-compose для локального тестирования полного аналитического pipeline.
Проектирует containerized-среду для аналитической платформы: multi-stage builds для dbt-проектов, оптимизация образов для CI/CD, кеширование dbt packages. Настраивает контейнеризацию custom data connectors и quality tools.
Определяет стандарты контейнеризации аналитического стека: базовые образы для dbt-проектов, шаблоны для data extraction jobs, security-политики для образов. Внедряет container registry и versioning для аналитических инструментов.
Кэширование
▼
Использует Redis на базовом уровне в dbt. Выполняет простые задачи по готовым шаблонам. Понимает базовые концепции и следует принятым в команде практикам.
Самостоятельно реализует задачи с Redis в dbt. Понимает внутреннее устройство и оптимизирует производительность. Пишет тесты с помощью dbt test.
Использует Redis для кеширования результатов тяжёлых аналитических запросов и lookup-таблиц. Реализует TTL-стратегии для обеспечения свежести кешированных метрик в BI-дашбордах. Настраивает invalidation при обновлении dbt-моделей.
Определяет caching-стратегию аналитической платформы: Redis для горячих метрик и KPI, политики инвалидации при пересчёте моделей. Внедряет кеширование на уровне semantic layer для ускорения BI-запросов.
Логирование
▼
Понимает логи dbt runs: интерпретирует warnings и errors при выполнении моделей. Использует dbt log output для диагностики ошибок в SQL-трансформациях. Следит за результатами тестов в CI/CD pipeline.
Настраивает структурированное логирование для аналитического pipeline: dbt artifacts (manifest.json, run_results.json) для мониторинга, custom logging в Python-скриптах для data extraction. Создаёт алерты на основе dbt test результатов.
Проектирует observability для аналитической платформы: dbt Cloud/Elementary для мониторинга моделей, structured logging для custom extractors, alerting на anomalies в данных. Интегрирует dbt run metadata с Datadog/Grafana.
Определяет стандарты observability аналитической платформы: dashboards для dbt pipeline health, SLA monitoring для freshness и качества данных. Внедряет incident management процессы для data quality issues с structured runbooks.
Метрики и мониторинг
▼
Изучает основы мониторинга с Prometheus и Grafana для отслеживания здоровья аналитических пайплайнов. Понимает концепции метрик и алертов применительно к ETL-процессам и data warehouse.
Настраивает мониторинг аналитических пайплайнов в Prometheus — метрики длительности ETL, объёма обработанных данных и ошибок загрузки. Создаёт Grafana-дашборды для отслеживания freshness данных и SLA аналитической платформы.
Проектирует комплексную систему мониторинга аналитической платформы с метриками data quality, freshness и стоимости запросов. Реализует алерты для раннего обнаружения проблем в пайплайнах и деградации производительности warehouse.
Определяет стратегию мониторинга аналитической платформы, стандартизирует метрики качества и производительности данных. Внедряет data-driven подход к оптимизации ETL-процессов на основе мониторинга Prometheus и Grafana.
Многопоточность и конкурентность
▼
Изучает основы асинхронного программирования для параллельной загрузки и обработки аналитических данных. Понимает концепции async/await, промисов и их применение в ETL-скриптах и data-пайплайнах.
Реализует асинхронную обработку данных в аналитических пайплайнах — параллельную загрузку из нескольких источников и конкурентные трансформации. Применяет async-паттерны для оптимизации скорости выполнения ETL-задач.
Проектирует высокопроизводительные аналитические пайплайны с асинхронной оркестрацией, backpressure и корректной обработкой ошибок. Оптимизирует параллелизм загрузки данных из множества API-источников с rate-limiting и retry-стратегиями.
Определяет стандарты асинхронной обработки данных для аналитической платформы, включая паттерны конкурентности и обработки ошибок. Обучает команду эффективному использованию async-паттернов для ускорения аналитических пайплайнов.
Изучает основы многопоточности и параллельных вычислений для ускорения аналитической обработки данных. Понимает концепции потоков, процессов и базовых примитивов синхронизации при работе с большими датасетами.
Реализует параллельную обработку данных в аналитических пайплайнах — конкурентную загрузку из источников и параллельные трансформации. Применяет multiprocessing для ускорения Python-ETL и понимает ограничения GIL.
Проектирует высокопроизводительные аналитические пайплайны с параллельным выполнением, partitioned processing и lock-free алгоритмами. Оптимизирует использование ресурсов при массовой обработке данных с контролем конкурентного доступа.
Определяет стандарты параллельной обработки данных для аналитической платформы, включая стратегии партиционирования и обработки ошибок. Обучает команду безопасному параллельному программированию для ускорения аналитических задач.
Облачные провайдеры
▼
Работает с базовыми AWS-сервисами для аналитики: S3 для хранения сырых данных, Redshift/Athena для SQL-запросов. Понимает IAM-роли для доступа к данным и базовую структуру data lake.
Настраивает AWS-инфраструктуру для аналитических задач: S3 buckets с lifecycle policies для raw/processed данных, Glue для каталогизации, Athena для ad-hoc аналитики. Интегрирует dbt с Redshift/Athena через profiles.
Проектирует AWS-архитектуру аналитической платформы: Redshift Serverless для cost-оптимизации, Lake Formation для data governance, Step Functions для оркестрации ELT. Настраивает cross-account доступ к данным для разных команд.
Определяет AWS-стратегию для аналитики организации: выбор между Redshift и Athena для разных workloads, cost management через reserved capacity и serverless. Внедряет tagging и cost allocation для аналитических ресурсов.
ООП и паттерны проектирования
▼
Знакомится с основными паттернами проектирования, применимыми в аналитической инженерии — Factory, Strategy, Observer. Понимает как паттерны помогают организовать код data-пайплайнов и трансформаций.
Применяет паттерны проектирования в аналитических системах — Strategy для выбора трансформаций, Factory для создания коннекторов, Pipeline для цепочек обработки. Структурирует код dbt-проектов с использованием шаблонных паттернов.
Проектирует аналитические платформы с применением архитектурных паттернов — Mediator для оркестрации, Repository для абстракции хранилищ. Создаёт расширяемые фреймворки для типовых аналитических задач с plug-in архитектурой.
Определяет каталог паттернов проектирования для аналитической платформы, обучает команду их применению в data-инженерии. Формирует best practices использования паттернов для создания поддерживаемых и тестируемых аналитических систем.
Знакомится с основами объектно-ориентированного программирования для структурирования аналитического кода. Понимает концепции инкапсуляции, наследования и полиморфизма применительно к организации data-моделей и трансформаций.
Применяет принципы ООП для создания переиспользуемых аналитических компонентов — классов-трансформеров, валидаторов и data-коннекторов. Использует SOLID-принципы для организации кода dbt-моделей и аналитических пайплайнов.
Проектирует объектно-ориентированные фреймворки для аналитических пайплайнов с абстрактными классами трансформаций и стратегиями загрузки. Создаёт расширяемые библиотеки для типовых аналитических операций с полиморфным поведением.
Определяет стандарты применения ООП-принципов в аналитической разработке, обеспечивает модульность и тестируемость кода. Формирует архитектурные паттерны для команды аналитических инженеров с балансом простоты и расширяемости.
Поисковые движки
▼
Использует Elasticsearch / OpenSearch на базовом уровне в dbt. Выполняет простые задачи по готовым шаблонам. Понимает базовые концепции и следует принятым в команде практикам.
Самостоятельно реализует задачи с Elasticsearch / OpenSearch в dbt. Понимает внутреннее устройство и оптимизирует производительность. Пишет тесты с помощью dbt test.
Настраивает Elasticsearch как поисковый движок для data catalog и discovery-платформы. Индексирует метаданные dbt-моделей, описания таблиц и колонок для полнотекстового поиска аналитиками.
Определяет архитектуру search-функционала аналитической платформы: Elasticsearch для data discovery, автокомплит по именам метрик и моделей, fuzzy search по описаниям и тегам в каталоге данных.
Сети
▼
Изучает основы сетевых протоколов, необходимых для работы аналитических систем — HTTP, TCP, DNS. Понимает базовые принципы сетевого взаимодействия между ETL-инструментами и источниками данных.
Применяет знания сетевых протоколов для настройки надёжного взаимодействия аналитических пайплайнов с источниками данных. Понимает firewall-правила, VPN-туннели и SSH-подключения для безопасного доступа к database-источникам.
Проектирует сетевую архитектуру аналитической платформы с оптимизацией для bulk-загрузки данных и взаимодействия с облачными хранилищами. Настраивает Private Link, VPC peering и оптимальную маршрутизацию для минимизации латентности ETL.
Определяет сетевые стандарты для аналитической платформы, включая безопасное подключение к источникам и изоляцию data-окружений. Координирует сетевую архитектуру с инфраструктурными командами для обеспечения требуемой пропускной способности.
Системы типов
▼
Изучает основы типизации и её значение для надёжности аналитического кода. Понимает разницу между типизированными и нетипизированными подходами, использует аннотации типов в Python для data-пайплайнов.
Применяет строгую типизацию в аналитических пайплайнах через Pydantic, dataclasses и типизированные DataFrame. Использует schema validation для контрактов данных между источниками, трансформациями и потребителями.
Проектирует типобезопасные аналитические системы с runtime-валидацией через Great Expectations, типизированными контрактами данных. Внедряет data contracts между командами с автоматической проверкой schema evolution и совместимости.
Определяет стандарты типизации для аналитической платформы, включая data contracts и schema governance. Обеспечивает согласованность типов между ETL-пайплайнами, warehouse и аналитическими API для надёжности данных.
Управление API
▼
Читает документацию внешних API для настройки извлечения данных. Документирует параметры и лимиты API-источников в README проекта. Описывает структуру получаемых данных для staging-моделей.
Создаёт подробную документацию API-интеграций: mapping полей API к колонкам staging-моделей, описание трансформаций, rate limits и retry-стратегии. Ведёт changelog изменений API и их влияния на dbt-модели.
Проектирует систему документирования data API аналитической платформы: OpenAPI-спецификации для internal endpoints, автогенерация документации из dbt artifacts. Внедряет стандарты описания семантики данных в API.
Определяет стандарты документирования интеграций: template-ы для описания API-источников, обязательные поля в data contracts, автоматическая валидация соответствия документации реальным схемам.