Секретный ингредиент: почему Netflix не упал, когда «Игру в кальмара» одновременно смотрели 111 млн человек

Последние месяцы люди в сотнях тысяч домов подключились к Netflix, чтобы посмотреть «Игру в кальмара». Но мало кто обратил внимание на одно экстраординарное явление. Сериал стал самым успешным продуктом платформы на сегодняшний день, но тем не менее Netflix не рухнул в ответ на беспрецедентный спрос в отличие от многих других сервисов, которые падали при куда меньшей нагрузке.

Редакция Highload публикует перевод материала.

Переведено бюро переводов «Профпереклад».

Подключение к любимым стриминговым сервисам часто сопровождается проблемами. Подвисает воспроизведение, не работают кнопки управления или же сайт просто падает. Все это бесит до невозможности. При этом все понимают, что такова цена отказа от «кабельного» сервиса.

Стриминговый сервис Disney+ упал в первый же день работы — программное обеспечение попросту не справилось с наплывом зрителей (а потом все сели смотреть «ВандаВижен», и сервис едва не рухнул снова). HBO Max — такая рухлядь, что даже его руководители это признают. Функция сторис в Instagram — тоже в некотором роде стриминговый сервис — падает так часто, что пользователей начали предупреждать о грядущем обвале. Стриминг может доводить до ручки, еще и как!

В основе любого успешного стриминга лежит программотехника. Последние 10 лет компания Netflix строила обширную серверную сеть Open Connect, дабы избежать проблем современных стриминговых платформ. Именно эта сеть позволила компании наладить стабильный сервис, которым не могли похвастаться многие конкуренты. Именно благодаря ей платформа не впала в кому, когда 111 млн пользователей включили «Игру в кальмара» — и это в первые же недели запуска серверной сети.

Любой, кто хочет улучшить производительность, попытается установить сервер как можно ближе к конечному пользователю.

«Как Netflix выбился в лидеры на этом рынке, да еще с таким количеством подписчиков? Помог один фактор, и осознают его лишь те, кто занимается технической частью в этой сфере, остальные не замечают. И фактор этот — Open Connect, – поясняет Дэн Рейберн, эксперт по медиа-стримингу и главный аналитик американской исследовательской компании Frost & Sullivan. — Как часто у Netflix возникали проблемы со стримингом за последние 10 лет?»

Явно реже, чем у HBO Max.

«Сеть Open Connect появилась, потому что в Netflix знали: нужно разработать некую инфраструктурную технологию, которая выдержит ожидаемый объем трафика — то есть тот объем, который, по нашему мнению, считался атрибутом успешной платформы, – отметила Джина Хаспилер, вице-президент Open Connect. – Мы чувствовали, что нас ждет успех. Но на тот момент интернет мог попросту не потянуть такой трафик на глобальном уровне».

Садишься смотреть фильм — сайт падает или на экране бесконечно висит иконка буферизации. Кто бы захотел продолжать? В Netflix вовремя сообразили, что нужно поддерживать определенный уровень качества. А для этого придется самостоятельно построить отдельную распределительную систему.

Разбираемся в механике Open Connect

Open Connect — внутренняя сеть Netflix для распределения контента, специально разработанная для доставки фильмов и сериалов, так сказать, в каждый дом. Ее запустили в 2012 году.

По сути, Netflix передает интернет-провайдерам физические устройства, позволяющие локализировать трафик. На этих устройствах хранятся копии контента Netflix.

Нагрузка на сеть меньше, если сократить количество каналов, по которым этот контент проходит по пути к конечному пользователю.

Большинство крупных стриминговых платформ построены на сторонних сетях доставки контента (CDNContent Delivery Network) для передачи видео. Именно поэтому серверная сеть Netflix уникальна в своем роде.

«Без Open Connect или сторонней CDN запрос на воспроизведение контента от интернет-провайдера должен пройти точку обмена интернет-трафиком (peering point), а потом еще транзитом через четыре-пять других сетей, пока не достигнет источника — того места, где находится контент», – поясняет Уилл Лоу, главный архитектор медиа-инженерии в Akamai, крупной сети доставки контента.

Это не только замедляет доставку, но и стоит недешево, поскольку интернет-провайдерам, возможно, приходится платить за доступ к такому контенту.

Чтобы избежать трафика и лишних затрат, Netflix заранее отправляет копии контента на собственные сервера. Благодаря этому платформа не тонет под наплывом запросов в пиковые часы стриминга.

«Open Connect передает копию сериала “Бриджертоны” на ближайший распределительный пункт вашего интернет-провайдера. В некоторых случаях она размещается прямо в его сети. Это снижает нагрузку на провайдера — иначе ему пришлось бы запрашивать доступ и передавать копию вам через все сервера», — говорит Хаспилер.

Теперь они повсюду. По данным Netflix, у них установлено 17 000 серверов в 158 странах. Компания планирует и дальше расширять сеть доставки контента. Места для размещения серверов выбирают, исходя из наибольшего количества подписчиков и связей с интернет-провайдерами.

«Любой, кто хочет улучшить производительность, постарается разместить сервер как можно ближе к конечному пользователю, — говорит Лоу. — Если подавать контент с небольшого расстояния, не придется гонять трафик через весь интернет к источнику и обратно. Так мы разгружаем интернет и точки обмена трафиком».

Когда Open Connect впервые запустили 10 лет назад, к развертке сервиса подключили интернет-провайдеров. Netflix предоставлял провайдерам бесплатные сервера и выделил специальную группу для их поддержки и работы с ресурсами провайдеров. По мнению Netflix и Akamai, для провайдеров это было большим плюсом — им не пришлось тратиться еще и на то, чтобы самостоятельно добывать копии контента.

«Это, конечно, было не так уж сложно, но хорошо, что теперь не приходится это делать, — говорит Лоу. — Akamai основана на том же принципе, да и все CDN на нем работают. Распределительная сеть Netflix — не исключение, но их сеть работает только с контентом Netflix».

Многие крупные сторонние CDN многозадачны и обрабатывают запросы от множества разных компаний. У Akamai, к примеру, тысячи клиентов. Внутренняя сеть Netflix предназначена лишь для одной цели: она распределяет контент Netflix. Если у дистрибьютора контента нет такой партнерской или серверной сети, для стриминга сериала придется совершать довольно много лишних телодвижений.

Почему Netflix пришлось построить собственную CDN? Потому что интернет-провайдеры в Америке — фуфло.

Netflix, разумеется, не разглашает информацию о том, сколько стоит создание и поддержка всех этих серверов. Но известно, что с момента создания в Open Connect вложено уже почти 1 млрд долларов. Зачем вбухивать такую кучу денег в CDN? Премиум-качество услуг и стриминг с вовлечением пользователей являются основой бизнес-стратегии Netflix. Модель подписки частично строится на том, какое качество видео-стриминга выбирает пользователь при просмотре.

Компании также приходится учитывать раздробленную интернет-инфраструктуру Америки, которая оставляет желать лучшего.

«Почему Netflix пришлось построить собственную СDN? Да потому что интернет-провайдеры в Америке — фуфло, — заявила Катарина Трендакоста из Electronic Frontier FoundationАмериканская некоммерческая правозащитная организация, которая защищает заложенные в Конституции и Декларации независимости права в связи с появлением новых технологий связи. — Они знали, что клиентам вряд ли понравится пялиться в экран с бесконечной буферизацией или смотреть видео в плохом качестве».

Но далеко не каждый интернет-провайдер допускает устройства Netflix в свою систему. Редакция The Verge беседовала с одним из руководителей американского транснационального телекоммуникационного конгломерата AT&T. Он подтвердил, что их компания до сих пор продает стримеру оптимальные подключения к сети Netflix вместо установки физических устройств в своих дата-центрах (после публикации представители Netflix пояснили, что «компания не покупает у AT&T само соединение для установления связи; условия доставки нашего видеоконтента уже неактуальны»).

Как эти и прочие договоренности работают наряду с программой Open Connect? Netflix рассматривает «глобальные взаимоотношения с интернет-провайдерами как адаптивные». По словам представителя компании, условия договора могут отличаться в зависимости от сети провайдера и ее возможностей поддержки. Потому Netflix будет искать и другие точки подключения, чтобы быстрее и качественней доставлять контент зрителям.

Почему это работает

Главная цель Netflix — обеспечить зрителю качественный просмотр даже при очень низком качестве интернет-соединения.

Для этого Netflix заранее отправляет по три копии каждого фильма или сериала (в разном качестве) на свои сервера. Если ваш провайдер перегружен или интернет время от времени падает, система переключается на воспроизведение копии в более низком качестве, и показ продолжается.

«Мы адаптируем контент к качеству сети, а не наоборот, — поясняет Хаспилер. — Вот почему вы не замечаете внезапного прерывания сигнала, стриминг продолжается в любом случае. Со временем мы сможем корректировать версию… Так что если у вас нестабильный интернет, вы все равно сможете продолжить просмотр, а не ждать буферизации».

Почему три копии? Как отметила Трендакоста, интернет в наши дни абсолютно ненадежен. Выбивает сеть, плохо ловит Wi-Fi, прерывистый сигнал — все это мешает нормально пользоваться интернетом. Netflix может обойти многие из этих проблем с сетью благодаря сотрудничеству с интернет-провайдерами.

По словам Хаспилер, Netflix заранее размещает контент в часы непиковой нагрузки. Тогда не приходится состязаться с остальным интернет-трафиком во время пиковой нагрузки на платформу, когда все бросаются что-то смотреть.

Как выбирают контент и точку для размещения? На основе прогноза популярности того или иного фильма или сериала, после чего материал рассылается на соответствующие сервера.

«Мы не только размещаем контент на всех этих серверах по всему миру, но и делаем это заранее, основываясь на рейтинге. Мы предсказываем популярность того или иного продукта, поэтому можем сразу поместить его на нужный сервер, поближе к потребителям, — говорит Хаспилер. — Это позволяет нам хранить полный каталог нашей продукции на месте, с учетом лучшего эфирного времени. Риск прерывания стриминга практически устранен».

После этого Netflix перетасовывает видео по серверам в зависимости от того, что, по мнению компании, привлечет больше всего внимания. У Open Connect есть два типа серверов: flash-сервер для ускоренной передачи и сервер для хранения объемом до 350 Тбайт данных. Если какой-то продукт из хранилища становится популярным, Netflix перемещает его на flash-сервер.

«Flash-сервер обслуживает большую часть трафика. По мере роста спроса на какой-нибудь сериал или фильм наше периодически подключаемое приложение (OCA) переносит его из хранилища на flash, чтобы удовлетворить спрос», — отмечает Хаспилер.

Во время пандемии сотни миллионов человек сидели по домам и искали, на что бы отвлечься. Для Netflix это стало своего рода «проверкой на вшивость».

«Пандемия оказалась хорошим испытанием для нашей инфраструктуры и технологий. Такой нагрузки мы изначально не предусматривали», — отмечает Хаспилер. Open Connect гарантировала успех Netflix в условиях подобного резкого повышения спроса.

Короли стриминга

Open Connect — один из крупнейших закулисных двигателей Netflix, он обеспечивает платформе хорошую бесперебойную работу (что и было продемонстрировано во время пандемии). Но есть и множество других элементов, позволивших Netflix оставить конкурентов далеко позади.

Среди этих элементов Рейберн отмечает технологии видео- и аудиошифрования, хотя алгоритмы взаимодействия с пользователем (UX) тоже сыграли немаловажную роль. По словам Рейберна, у Netflix, безусловно, есть «огромное преимущество» перед конкурентами (10 лет на рынке — не шутка). Но одного этого мало. Чтобы нарастить и удержать базу подписчиков, требуется надежный, «железобетонный» продукт.

«Netflix построила систему, способную работать в требуемом масштабе, этот факт неоспорим. Именно этого больше всего не хватает в нашей отрасли, — утверждает Рейберн. — Набрать такое количество подписчиков можно только одним способом: качественным, добротным и масштабным потребительским опытом. Масштабы Netflix пока беспрецедентны. Такого технического уровня больше никто не достиг».

Другими словами, пользователям должна нравиться не только инфраструктура, но и все, что на ней построено. Мало просто обеспечить стабильное воспроизведение контента без зависания. Помимо этого, Netflix разрабатывает множество других функций, на которые просто не обращаешь внимания. Мы о них не думаем — они просто работают. Netflix постоянно совершенствуется в UI.

«Мы не считаем, что один размер подойдет всем. В плане дизайна можно было бы разработать продукт чисто для западной аудитории, но это не значит, что такой продукт сработает в Корее или Японии, – говорит Стив Джонсон, вице-президент Netflix по продукции и студийному дизайну. — Поэтому приходится учитывать нюансы и особенности разных стран».

Другие сервисы тоже продолжают расти. Вполне возможно (даже вероятно), что крупные стриминг-платформы позаимствуют у Netflix идею инфраструктуры и бизнес-стратегию. Если им повезет, есть шанс победить всеобщий кошмар стриминга практически везде.

Автор: Кейти Кек