Data Engineer

Онлайн-курс по Data Engineer от онлайн-школы OTUS. После прохождения курса, у лучших студентов, появится возможность устроиться на работу в компанию-партнер онлайн-школы Отус. Программа обучения на курсах включается в себя углубленное изучение материалов уровня middle и senior.

Программа курса

Инженер Данных: задачи, инструменты, платформы

• Инженер Данных. Задачи, навыки, инструменты, потребности на рынке
• Эволюция подходов работы с данными. Базовые принципы и понятия
• Форматы данных и их особенности
• Облачные платформы. Дистрибутивы Cloudera и Hortonworks

Процессинг. Доступ к данным. ML

• Введение в Scala
• Apache Spark – 1 часть
• Apache Spark – 2 часть
• Очереди сообщений, Kafka, Confluent platform
• Spark Streaming
• Доступ к данным, ноутбуки. Explore and visualize

Развертывание ML-моделей

• Production Code на Python. Организация и Packaging кода
• Docker и REST-архитектура
• Деплоймент моделей в Sagemaker

Очереди сообщений. Хранилища данных. SQL-доступ.

• Распределенные файловые системы
• Инструменты выгрузки данных из сторонних систем
• DWH. Хранилища данных – 1 часть
• DWH. Хранилища данных – 2 часть
• Хранилища NoSQL. Назначение и особенности
• SQL-доступ к данным. Apache Hive
• ElasticSearch

Обеспечивающие системы. Оркестрация, тестирование, мониторинг

• Интеграция, тестирование, развертывание. CI / CD в ML
• Оркестрация
• Мониторинг
• Data Quality. Контроль качества данных, мастер-данные, Troubleshooting
• Case studies. Кейсы компаний
• Дальнейшее развитие навыков

Проектная работа

• Выбор темы и организация проектной работы
• Консультация по проектам и домашним заданиям
• Защита проектных работ