Университет Беркли выпустил менеджер облачных хранилищ SkyPilot

Исследователи из Sky Computing Lab Калифорнийского университета в Беркли выпустили SkyPilot, платформу с открытым исходным кодом, для запуска пакетных задач в любом облачном хранилище или нескольких с единым облачно-независимым интерфейсом.

Об этом написал Datanami.

SkyPilot использует алгоритм, чтобы определить, какая облачная зона или поставщик услуг наиболее рентабельны для конкретного проекта. Программа учитывает требования к ресурсам рабочей нагрузки, а затем автоматически определяет, в каких местах (зона/регион/облачное хранилище) есть доступные вычислительные ресурсы для выполнения задания.

Создатели SkyPilot утверждают, что программа может надежно подготовить кластер с автоматическим переключением на другие места в случае возникновения ошибок, она может синхронизировать код пользователя и файлы из локальных или облачных корзин с кластером, а также может управлять очередностью и выполнением задач. Исследователи утверждают, что это приводит к существенному снижению издержек, иногда более чем в 3 раза.

Чтобы снизить затраты, SkyPilot использует разницу в ценах между облачными провайдерами на аналогичные аппаратные ресурсы. Например, Azure сейчас предлагает самые дешевые экземпляры A100, но Google Cloud и AWS взимают надбавку в размере 8% и 20% за ту же вычислительную мощность. Для ЦБ некоторые отличия в цене могут превышать 50%.

SkyPilot доступен на Github по ссылке