Как ускорить gzip сжатие?
Когда нужно сжимать большие объемы текста на мощном железе, gzip может работать не так эффективно, как хотелось бы. Gzip работает в 1 поток и эффективно будет использовать только одно ядро.
Есть несколько альтернативных утилит, которые сжимают файлы используя все ядра. Одна из них – [http://zlib.net/pigz/ pigz]. Установить ее можно из пакетов:
apt-get install pigz
Для сравнения мы взяли текстовый файл на 4.6Гб и запускали оба архиватора на 8-ядерном сервере:
gzip test.txt ... done in ***25.1s***
## Обычный gzip
pigz test.txt ... done in **7.5s**
## Многопоточный pigz
pigz отработал в 4 раза быстрее
Есть и [https://github.com/klauspost/pgzip другие инструменты сжатия], которые используют современные процессоры намного эффективнее стандартного gzip’a.
Сообщить об опечатке
Текст, который будет отправлен нашим редакторам: