На канале основателя школы программирования FoxmindEd Сергея Немчинского вышел стрим с Павлом Галушко. Павел — Tech Lead команды разработки для машинного обучения в Namecheap. На стриме он ответил на самые актуальные вопросы про Machine Learning. Причем (что редко бывает) — кратко и понятно.
Highload публикует эти ответы.
Потому что эта технология становится нормальной, повсеместной. Это не будущее, это то, что уже происходит.
Автоматизирует рутинные задачи. Если ты можешь сделать рутинную задачу, ты сможешь обобщить ее в конкретные действия и научить выполнять их нейронную сеть.
Вообще, Machine Learners делятся на две касты:
Первые — это ученые в сфере машинного обучения. Вторые — инженеры.
Если говорить про более конкретные задачи инженеров: на языке Python они пишут формулы для использования нейронных сетей. И заворачивают все это в приложение, которое выполняет задачу клиента — чаще всего это интеграция с уже существующим сервисом.
Они пересекаются на конференциях, плюс результаты деятельности ученых инженеры получают в виде научных работ.
Сейчас есть очень большие гранты на создание новых моделей Machine Learning. Их финансирует Google, Amazon и другие крупные компании. Они же забирают себе гениальных ученых, которые пишут для них нейронные сети. Так что на Западе в этой сфере все нормально с деньгами.
Но, кстати, такие ученые очень редко пишут хороший код и не умеют делать на основе этих нейронок хорошие сервисы.
Попробуй, вдруг получится 🙂 Но вообще, обычно математика нужна. В основном, такие разделы как статистика, матанализ, численные методы, линейная алгебра. Вообще, Machine Learning — это статистика XXI века.
Нейронные сети обучают на данных, поэтому важно уметь правильно подбирать данные. Понимать, какие параметры имеют значение, а какие — нет; какие влияют больше, а какие — меньше. Для этого нужно также осознавать связь между данными и бизнесом.
Во-первых, Jupyter Notebook — веб-интерпретатор Python. Еще можно использовать IDE для Python PyCharm.
Также есть множество библиотек, которые помогают визуализировать данные — без визуализации данных очень тяжело с ними работать.
В Machine Learning есть весь нормальный процесс веб-девелопмента. Соответственно, Machine Learning QA делает все, что делает веб-тестировщик. Плюс дополнительно он проверяет насколько адекватно модель отдает данные и насколько хорошо вообще подходит к задаче.
Довольно долго Machine Learners получали меньше, но сейчас зарплаты выровнялись и даже начинают превышать зарплаты разработчиков. Не как DevOps — но близко.
Хороший Machine Learner может очень много получать.
В Machine Learning выше порог входа. Необходимый уровень знания математики здесь — второй-третий курс мехмата.
Мнение Павла: В Business Intelligence — да. Это чистый матанализ. Например, часто нужно с его помощью высчитывать KPI. Кроме того, многие enterprises используют модели машинного обучения. Раньше это была экзотика, а сейчас они везде — с его помощью выясняют, какую рекламу сделать, какой продукт взлетит и т.д. Но обычному разработчику в 99% матанализ не нужен.
Мнение Сергея: За 20 лет в разработке и работе в enterprise я с матанализом не сталкивался.
AI Engineer — это из области научных исследований. Потому что мы даже до сих пор точно не знаем, что такое интеллект. Когда узнаем — сможем его создать. Вообще это максимально сложно, поэтому этим занимаются профессора и кандидаты наук. При этом платят там не очень много.
Machine Learner и Big Data Scientist (именно Scientist, потому что Big Data Engineer — это очень дорого и сложно; привет, Scala, длинные пайплайны и большая цена ошибки) это очень часто одно и то же.
Они уже обучают. Например, великие мастера китайской логической игры го смотрят игры нейронок, чтобы научиться играть лучше.
Идите на Kaggle.
Сегодня мы поговорим о том, как выбрать лучшие курсы Power BI в Украине, особенно для…
В 2023 году во всех крупнейших регионах конкуренция за вакансию выросла на 5–12%. Не исключением…
Unicorn Hunter/Talent Manager Лина Калиш создала бесплатный трекер поиска работы в Notion, систематизирующий все этапы…
Edtech-стартап Mate academy принял решение отправить своих работников в десятидневный отпуск – с 25 декабря…
Служба безопасности Украины задержала в Киеве 46-летнего программиста, который за деньги устанавливал шпионские программы и…
IT-специалист Джордан Катлер создал и выложил на Github подборку разнообразных ресурсов, которые помогут достичь уровня…