Зарплата $68 тыс. в год: как стать дата-инженером в 2022 году — дорожная карта

Data Engineering — одна из самых быстрорастущих профессий за последние несколько лет. Чтобы помочь начинающим специалистам найти свой путь в этом направлении, IT-специалист Бобби Илиев опубликовал дорожную карту.  

Согласно исследованию Stack Overflow 2021 года, инженеры по обработке данных входят в топ-5 самых высокооплачиваемых специалистов сразу после SRE- и DevOps-инженеров. Медианная зарплата дата-инженера в год составляет $68 тыс. 

Если хотите стать инженером по обработке данных, вот на изучение каких технологий вам следует обратить внимание. 

Основы

Хорошее знание операционной системы Linux может стать обязательным условием для многих должностей, связанных с IT. Вы получите большую пользу, если будете знать основы: 

• работы с терминалом;
• сценария командной строки (оболочки);
• систем контроля версий, таких как Git и GitHub;
• сетей.

Основы программирования

Как и для любой другой должности, связанной с IT, важно обладать фундаментальными знаниями в области программирования в целом. Какой язык программирования вы будете изучать, не имеет большого значения, но вы должны хорошо понимать парадигмы программирования и лучшие практики. 

• Python;
• Java;
• Go;
• PHP.

Тестирование

• модульное тестирование;
• функциональное тестирование.

Основы баз данных

Каждый инженер по обработке данных должен хорошо разбираться в SQL, нормализации данных и транзакциях ACID. 

• основы SQL;
• OLTP и OLAP;
• горизонтальное и вертикальное масштабирование.

Реляционные базы данных

• MySQL/MariaDB;
• PostgresQL.

Нереляционные базы данных

• документоориентированные: MongoDB, Elasticsearch;
• колоночные СУБД: Apache Cassandra, Apache HBase;
• графовая СУБД: Neo4j;
• резидентные и для кэширование данных: Redis, Memcached.

Хранилища данных

• Snowflake;
• Presto;
• Apache Hive.

Хранилища объектов

• AWS S3;
• DigitalOcean Spaces;
• Google Cloud Storage.

Обработка данных

• Apache pig;
• Apache Arrow;
• Apache Spark;
• Apache Beam;
• Materialize;
• Apache Kafka;
• Apache Storm.

Обмен сообщениями

• RabbitMQ;
• Apache ActiveMQ.

Кластерные вычисления

• Apache Hadoop и HDFS;
• MapReduce.

Планирование рабочего процесса

• Apache Airflow;
• Apache Oozie.

Мониторинг конвейеров данных

• Prometheus;
• Datadog.

Инфраструктура как код

• контейнеризация: Docker;
• оркестрация: Kubernetes, Docker Swarm;
• подготовка: Terraform;
• автоматизация: Ansible.

CI/CD

• GitHub Actions;
• Jenkins.

Ранее мы публиковали дорожные карты для DevOps-инженеров, а также Java-, фронтенд-, бэкенд- фулстек- и разработчиков игр.