Зарплата $68 тыс. в год: как стать дата-инженером в 2022 году — дорожная карта

Data Engineering — одна из самых быстрорастущих профессий за последние несколько лет. Чтобы помочь начинающим специалистам найти свой путь в этом направлении, IT-специалист Бобби Илиев опубликовал дорожную карту.  

Согласно исследованию Stack Overflow 2021 года, инженеры по обработке данных входят в топ-5 самых высокооплачиваемых специалистов сразу после SRE- и DevOps-инженеров. Медианная зарплата дата-инженера в год составляет $68 тыс. 

Топ-5 самый высокооплачиваемых специалистов по версии Stack Overflow

Если хотите стать инженером по обработке данных, вот на изучение каких технологий вам следует обратить внимание. 

Основы 

Хорошее знание операционной системы Linux может стать обязательным условием для многих должностей, связанных с IT. Вы получите большую пользу, если будете знать основы: 

• работы с терминалом;
• сценария командной строки (оболочки);
• систем контроля версий, таких как Git и GitHub;
• сетей.

Основы программирования 

Как и для любой другой должности, связанной с IT, важно обладать фундаментальными знаниями в области программирования в целом. Какой язык программирования вы будете изучать, не имеет большого значения, но вы должны хорошо понимать парадигмы программирования и лучшие практики. 

• Python;
Курс-професія "Junior Data Analyst" від robot_dreams.
Комплексний курc для всіх, хто хоче опанувати нову професію з нуля.На прикладі реальних датасетів ви розберете кожен етап аналізу даних.
Програма курсу і реєстрація
• Java;
• Go;
• PHP.

Тестирование 

• модульное тестирование;
• функциональное тестирование.

Основы баз данных 

Каждый инженер по обработке данных должен хорошо разбираться в SQL, нормализации данных и транзакциях ACID. 

• основы SQL;
• OLTP и OLAP;
• горизонтальное и вертикальное масштабирование.
Курс English For Tech course від Enlgish4IT.
Лише 7 тижнів по 20-30 хвилин щоденного навчання допоможуть вам подолати комунікативні бар'єри. Отримайте знижку 10% за промокодом ITCENG.
Дійзнайтеся більше

Реляционные базы данных 

• MySQL/MariaDB;
• PostgresQL.

Нереляционные базы данных 

• документоориентированные: MongoDB, Elasticsearch;
• колоночные СУБД: Apache Cassandra, Apache HBase;
• графовая СУБД: Neo4j;
• резидентные и для кэширование данных: Redis, Memcached.

Хранилища данных 

• Snowflake;
• Presto;
• Apache Hive.
Онлайн-курс "Комерційний Аудіопродакшн" від Skvot.
Навчіться створювати, зводити й мастерити музику для комерційних проєктів — кіно, серіалів, улюблених ігр чи вірусних рекламних роликів.
Детальніше про курс та довід лектора

Хранилища объектов 

• AWS S3;
• DigitalOcean Spaces;
• Google Cloud Storage.

Обработка данных 

• Apache pig;
• Apache Arrow;
• Apache Spark;
• Apache Beam;
• Materialize;
• Apache Kafka;
Курс Python від Mate academy.
Python дозволяє тобі не тільки розробляти сайти та займатись аналітикою даних, а ще й будувати алгоритми, тестувати програми та навіть створювати штучні інтелекти. Стань різноплановим фахівцем!
Реєстрація на курс
• Apache Storm.

Обмен сообщениями 

• RabbitMQ;
• Apache ActiveMQ.

Кластерные вычисления 

• Apache Hadoop и HDFS;
• MapReduce.

Планирование рабочего процесса 

• Apache Airflow;
• Apache Oozie.

Мониторинг конвейеров данных 

• Prometheus;
• Datadog. 
Курс-професія "Motion Designer" від Skvot.
Навчіться створювати 2D- та 3D-анімації у софтах After Effects, Cinema 4D та Octane Render. Протягом курсу ви створите 14 моушн-роликів, 2 з яких — для реального клієнта.
Детальніше про курс

Инфраструктура как код 

• контейнеризация: Docker;
• оркестрация: Kubernetes, Docker Swarm;
• подготовка: Terraform;
• автоматизация: Ansible.

CI/CD 

• GitHub Actions;
• Jenkins.

Дорожная карта дата-инженера на 2021 год

Ранее мы публиковали дорожные карты для DevOps-инженеров, а также Java-, фронтенд-, бэкенд- фулстек- и разработчиков игр.