Юрий Антончик BLOG

Backend PHP Developer в IO Technologies

У наших пользователей — терабайты данных аналитики, выгрузка которых в какой-то момент начала перегружать наши серверы. Помимо отрицательного пользовательского опыта из-за плохой работы продукта, мы получали всплески нагрузки, что могло в любой момент привести к еще большим проблемам. Решением стал сервис Amazon SQS.

Сергей Могилевский BLOG

QA Engineer и QA Lead в NIX

Рассказываем о том, как настроить тестирование производительности приложения через JMeter, и о подводных камнях этого процесса.

Сергей Могилевский BLOG

QA Engineer и QA Lead в NIX

В один прекрасный день наш заказчик приложения решает, что пришло время для тестирования производительности. Проект большой, коммуникации в бэкенде много, так что запрос вполне ожидаемый. И все же — когда мы получили заявку на тестирование производительности, то плохо понимали реальный объем нагрузки на наше веб-приложение в продакшене.

Назим Сулейманов BLOG

Team Lead в Jooble

Мы в Jooble активно используем Redis как кеш и быструю базу данных. У нас два master-slave-кластера, которые выполняют в среднем 12 000 операций в секунду. А дальше — история о том, как наш кластер стал падать по «out of memory», и о сложном поиске причины.

Выборки со смещением (LIMIT/OFFSET) могут работать очень медленно при больших значениях смещений. Это происходит по причине того, что MySQL перебирает и отбрасывает все строки результата, пока их количество не будет равно значению OFFSET. Например:

Во многих случаях общий размер картинок, которые грузятся на странице составляет более 50% от веса все страницы. Критично важно подбирать правильный формат для используемых изображений. Их всего два PNG и JPG, поэтому это не так сложно.

Иногда возникает простая проблема при создании тасок на шелле — скрипты работают, если запускать их вручную, но не работают, если они запускаются на кроне или в каком-то другом окружении. При этом мы видим такую ошибку:

Gearman – это простая система очередей. Имеет кучу клиентов, в том числе и для PHP. Позволяет масштабироваться на несколько серверов, а также имеет возможность приоритизации задач.

Проекции (projections) используются в БД Vertica для ускорения выборок. Это просто копия данных, которые отсортированы/отфильтрованы/сгруппированы определенным образом.

Асинхронная загрузка CSS позволит быстрее показать Вашу страницу посетителю. Это критично для мобильных устройств, когда канал может быть медленным.

Если вы еще пользуетесь SSH доступом по паролю, срочно меняйте привычку. Это опасно.
Лучше использовать доступ по ключу.

Sysbench — утилита для тестирования производительности MySQL (и других СУБД), а также параметров операционной системы. Подобный инструмент незаменим для предварительного тестирования эффективности системы с (потенциально) высокой нагрузкой. Sysbench позволяет оценить производительность сервера СУБД и операционной системы в различных условиях при различной нагрузке.

Memcache предоставляет возможность получения значений нескольких ключей сразу. Зачем это может понадобиться и в каких случаях это нужно использовать? Посмотрим на структуру запросов от приложения к Memcache, когда идет получение нескольких ключей:

Все знают, что можно сделать так:

Клиентская оптимизация — это набор методик, которые сделают сайт быстрее для пользователя без существенных изменений на серверной стороне. Прирост в скорости может достигать десятикратного улучшения. При этом техники довольно простые.

Apache Subversion (SVN) — централизованная система управления версиями, то есть для хранения всех файлов и совместной работы используется центральный сервер (или ПК). Так что без дополнительных ухищрений, без доступа к серверу разработка будет весьма проблематичной.

Наткнуться на подводные камни в конфигурации и работе веб-сервера очень легко. Но трудно понять причину некорректной или не всегда корректной/ошибочной работы, если все правила соблюдаются.

Ошибка 414 Request URI Too Large возникает в тех случаях, когда веб-сервер не способен обслужить запрос от клиента (т.е. веб-браузера или робота), потому что запрашиваемый URI (Request URI) длиннее, чем сервер может интерпретировать. Говоря простым языком, запрашиваемый веб-адрес слишком длинный, то есть содержит слишком много байтов.

nginx.conf — конфигурационный файл Nginx. Чтобы его найти нужно выполнить команду:

Иногда лучше купить новый сервер, чем оптимизировать приложение. Время разработчиков сейчас стоит намного дороже серверов. Как выбирать сервера для роста и новых задач?

В эпоху [http://aws.amazon.com Amazon] и [https://digitalocean.com DigitalOcean] мы все сильно привыкли к использованию виртуальных узлов. Это удобно и быстро.

Это очередная проблема в Mysql-репликации, которая может возникнуть при обновлении версии Mysql. Ну или просто так. Чтобы ее решить, необходимо перезапустить репликацию:

Заголовок Cache-control позволяет значительно увеличить скорость загрузки сайта, а также разгрузить канал между сервером и пользователем. Этот заголовок включает кэширование и просто в применении для файлов, которые никогда не меняются. Но для того, чтобы использовать это преимущество для файлов, которые могут меняться, нужно детальнее разобраться в клиентском кэшировании:

my.cnf — это файл конфигурации MySQL. Чтобы найти файл, используйте команду:

Для проверки установки заголовка Cache-control используйте этот онлайн инструмент.

Nginx умеет кэшировать запросы самостоятельно. Преимущества использования Nginx cache в его простоте по сравнению с Varnish.

Выбирайте ту базу данных, в которой Вы разбираетесь лучше всего!

Apache — самый популярный Web сервер. Настройка некоторых параметров (тюнинг) может дать существенный прирост в скорости его работы.

CDN (Content Delivery Network) – это специальная технология, которая позволяет посетителю получать содержимое сайта из разных географических мест.

Varnish – это гибкое решение для кэширования страниц на уровне Web сервера.

Mpstat – это утилита для мониторинга состояния процессора из пакета sysstat.

Для полнотекстового поиска в PostgreSQL предусмотрены специальные типы данных: tsvector и tsquery.

Часто нужно заполнить талблицы какими-то данными. Особенно для того, чтобы провести тестирование нагрузки. Для этого предназначен инструмент MysqlData. Не понадобится ничего устанавливать или качать.

OptiPNG – программа для оптимизации PNG.

Above the fold — это верхняя половина видимой части сайта на первом экране. Т.е. первые полэкрана сайта. Pagespeed уделяет особое внимание оптимизации этого участка, т.к. это позволяет показать посетителю сайт максимально быстро.