Когда нужно сжимать большие объемы текста на мощном железе, gzip может работать не так эффективно, как хотелось бы. Gzip работает в 1 поток и эффективно будет использовать только одно ядро.
Есть несколько альтернативных утилит, которые сжимают файлы используя все ядра. Одна из них – [http://zlib.net/pigz/ pigz]. Установить ее можно из пакетов:
apt-get install pigz
Для сравнения мы взяли текстовый файл на 4.6Гб и запускали оба архиватора на 8-ядерном сервере:
gzip test.txt ... done in ***25.1s***
## Обычный gzip
pigz test.txt ... done in **7.5s**
## Многопоточный pigz
pigz отработал в 4 раза быстрее
Есть и [https://github.com/klauspost/pgzip другие инструменты сжатия], которые используют современные процессоры намного эффективнее стандартного gzip’a.
Сегодня мы поговорим о том, как выбрать лучшие курсы Power BI в Украине, особенно для…
В 2023 году во всех крупнейших регионах конкуренция за вакансию выросла на 5–12%. Не исключением…
Unicorn Hunter/Talent Manager Лина Калиш создала бесплатный трекер поиска работы в Notion, систематизирующий все этапы…
Edtech-стартап Mate academy принял решение отправить своих работников в десятидневный отпуск – с 25 декабря…
Служба безопасности Украины задержала в Киеве 46-летнего программиста, который за деньги устанавливал шпионские программы и…
IT-специалист Джордан Катлер создал и выложил на Github подборку разнообразных ресурсов, которые помогут достичь уровня…