Масштабируемое хранилище фоток

Во многих Web приложениях существует необходимость иметь систему хранения, ресайза и отдачи фотографий. Например, для функции загрузки фоток в профиль пользователями.

Простое хранение и отдача загруженных картинок в папке Web может стать большой проблемой, когда дело дойдет до тысяч файлов.

Ресайз фоток для подготовки маленьких превью (thumbnails) также носит нетривиальный характер. Стоит ли ресайзить фотки “на лету” или сразу после загрузки?

Где хранить фотки, как лучше отдавать, чем и как ресайзить, чтобы все было быстро и просто?

Загрузка фоток

Для загрузки фотографий следует использовать отдельный сервер. В будущем такое решение удобнее масштабировать. Однако на старте, эти же функции может выполнять и сервер основного приложения:

Загрузка картинок будет происходить в два этапа. Сначала фотки загружаются на основной сервер приложения, а с него – на картиночный сервер:

$ch = curl_init($url);

curl_setopt($ch, CURLOPT_POST, 1);

curl_setopt($ch, CURLOPT_POSTFIELDS, $post);

curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);

$result = curl_exec($ch);

## Скрипт upload.php будет принимать и сохранять картинку

Хранение

Современные облачные сервисы типа Amazon S3 предоставляют очень выгодные условия хранения файлов. За 1Тб данных Вы будете платить около $30 в месяц. Это намного выгоднее, чем устанавливать отдельные сервера для хранения.

Таким образом, наш картиночный сервер должен сохранить картинку в S3. Для удобной работы можно использовать либу S3-php:



## ключ, секрет и букет нужно получить в консоли AWS.

Отдача

В самом простом случае Вы можете отдавать фотографии прямо с S3. Однако обычно облачные сервисы тарифицируют трафик и HTTP запросы, поэтому желательно их минимизировать. Для этого имеет смысл развернуть кэширующий сервер (например, Varnish):

Тогда картиночный сервер будет выполнять две функции:

1. Загрузка и копирование файлов в облако.
2. Отдача файлов и кэширование их для оптимизации трафика.

В Varnish’е необходимо настроить соответствующий бекенд для обслуживания картинок из S3 (файл default.vcl):
backend default {

set backend.host = “**букет**.s3.amazonaws.com”;

set backend.port = “80”;

}

sub vcl_recv {

if (req.url ~ “.(css|gif|ico|jpg|jpeg|js|png|swf|txt)$”) {

set req.backend = s3;

lookup;

}

}

## букет необходимо использовать тот же, что и во время загрузки на S3

Ресайз фоток

Чаще всего фотки необходимо предварительно обрабатывать перед отдачей. Например, изменять размер (ресайзить) и обрезать для подготовки уменьшенных версий (thumbnails).

Для обработки фоток есть мега крутые инструменты, например GraphicsMagick или ImagemMagick.

Обработку фотографий удобно делать во время отдачи. Это позволит избегать массовой обработки при изменении и добавлении новых размеров. Чтобы получить уменьшенную версию 100х100 для фотографии будем передавать нужный размер в параметрах:

http://image.server.com/?image=photo_key.jpg&size=100x100

Запрос будет принимать на себя Varnish и передавать его на Nginx:

Будем использовать PHP в качестве инструмента для манипуляций над картинками:

$image = $_GET[‘image’];

$local = ‘/tmp/’ . md5($image);

# копируем файл с s3 на сервер

$s3_image = http://букет.s3.amazonaws.com/’ . $image;

copy($s3_image, $local);

# небольшая валидация

$size = $_GET[‘size’];

if ( $size != ‘100×100’ ) return;

# ресайзим и возвращаем в stdout картинку

$cmd = ‘gm convert ‘ . $img . ‘ -resize ‘ . $size . ‘ – ‘;

header(‘Content-type: image/jpeg’);

passthru($cmd);

# удаляем темповый файл

unlink($local);

Масштабирование

Полученная архитектура масштабируется линейно. Необходимо просто увеличивать количество картиночных серверов:

Для того, чтобы на каждом картиночном сервере не дублировались файлы в кэше, следует разделить загрузку и отдачу на сабдомены:

• i1.image.com
• i2.image.com
• …

Новые фотки загружаем на случайный сервер. После этого сохраняем не только ключ картинки, но и сервер, с которого необходимо ее отдать. При отдаче генерируем окончательный путь:

http://i3.image.com/key.jpg

Если один сервер выходит из строя – просто переключаем отдачу на другой. Поскольку, все файлы в облаке, больше ничего делать не понадобится.

Самое важное

Использование облачного хранилища позволит существенно снизить затраты на администрирование и обеспечение доступности. Использование облачных серверов в качестве узлов для кэширования позволит быстро добавлять или убирать новые картиночные сервера в зависимости от нагрузки.

Подобная архитектура применяется на практике крупными ребятами, которые обслуживают сотни тысяч загрузок и отдают десятки миллионов фоток в сутки. Эта схема реализована в облачном сервисе i.