Система очередей Gearman по умолчанию использует только оперативную память для хранения задач. Это означает, что при перезагрузке или внезапном выключении сервера, все задачи из очереди будут утеряны.
Gearman позволяет использовать постоянное хранилище для того, чтобы решить проблему потери задач при сбоях. Работает это следующим образом:
Это значит, что при любом сбое, все задачи уже будут сохранены на диск. И при следующей загрузке они будут восстановлены. Таким простым способом можно реализовать защиту от потери задач.
Gearman поддерживает несколько хранилищ, в т.ч. MySQL. Сначала необходимо создать отдельную базу и таблицу специальной структуры:
CREATE TABLE `queue` (
`unique_key` varchar(64) DEFAULT NULL,
`function_name` varchar(255) DEFAULT NULL,
`priority` int(11) DEFAULT NULL,
`data` longblob,
`when_to_run` bigint(20) DEFAULT NULL,
UNIQUE KEY `unique_key` (`unique_key`,`function_name`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8
## Таблица, в которую Gearman будет сохранять задачи
unique_key определяет уникальный идентификатор задачи. Ее длину определяет константа GEARMAN_UNIQUE_SIZE (по умолчанию равна 64). function_name – название очереди. Оба этих параметра определяют уникальную задачу в таблице queue.
После этого необходимо запустить сервер Gearman с параметрами:
gearmand --queue-type=MySQL --mysql-host=localhost --mysql-port=3306 --mysql-user=gearman --mysql-password=frCBRFup4QzAD4wP --mysql-db=gearman --mysql-table=queue
## Предполагаем, что таблица queue хранится в базе данных gearman
Все остальное Gearman сделает сам. Данные в таблице queue будут иметь такую структуру:
mysql> select * from queue limit 5; +--------------------------------------+---------------+----------+-------------+-------------+ | unique_key | function_name | priority | data | when_to_run | +--------------------------------------+---------------+----------+-------------+-------------+ | 1d337490-3c01-11e4-a3d8-040118037e01 | sendmail | 1 | ["bla bla"] | 0 | | 366a1eac-3c04-11e4-a3d8-040118037e01 | sendmail | 1 | ["bla bla"] | 0 | | 366aa570-3c04-11e4-a3d8-040118037e01 | sendmail | 1 | ["bla bla"] | 0 | | 366b1da2-3c04-11e4-a3d8-040118037e01 | sendmail | 1 | ["bla bla"] | 0 | | 366b90de-3c04-11e4-a3d8-040118037e01 | sendmail | 1 | ["bla bla"] | 0 | +--------------------------------------+---------------+----------+-------------+-------------+ 5 rows in set (0.00 sec)
В правильном варианте использования размер таблицы queue должен стремиться к нулю. Т.е. воркеры должны максимально оперативно обрабатывать поступающие задачи.
Используйте постоянное хранилище для обеспечения сохранности задач в Gearman. Кроме MySQL поддерживаются также PostgreSQL и SQLite. Не забывайте оптимизировать базы данных, чтобы не снижать производительность системы очередей.
Сегодня мы поговорим о том, как выбрать лучшие курсы Power BI в Украине, особенно для…
В 2023 году во всех крупнейших регионах конкуренция за вакансию выросла на 5–12%. Не исключением…
Unicorn Hunter/Talent Manager Лина Калиш создала бесплатный трекер поиска работы в Notion, систематизирующий все этапы…
Edtech-стартап Mate academy принял решение отправить своих работников в десятидневный отпуск – с 25 декабря…
Служба безопасности Украины задержала в Киеве 46-летнего программиста, который за деньги устанавливал шпионские программы и…
IT-специалист Джордан Катлер создал и выложил на Github подборку разнообразных ресурсов, которые помогут достичь уровня…