Zstandardzstd完全指南快速无损压缩、字典训练与多构建方案实战【免费下载链接】zstdZstandard - Fast real-time compression algorithm项目地址: https://gitcode.com/gh_mirrors/zs/zstd本篇指南以 Zstandard 项目根目录 README.md 为骨架系统讲解 zstd 的核心定位与性能特征、小数据场景下的字典训练--train三步走、从 Makefile 到 CMake/Meson/VCPKG/Conan 的全套构建与安装方案并结合仓库源码lib/README.md、programs/README.md、lib/zstd.h深入解释参数背后的实现原理。读完本文你将掌握 zstd 的选型依据、字典压缩实战流程以及如何按需裁剪库与 CLI 功能来构建最小体积或特定格式的二进制。Zstandard 是什么定位与核心特性Zstandard简称zstd是一种快速无损压缩算法瞄准zlib 级别速度 更高压缩率的实时压缩场景其背后是由 Huff0 与 FSE 库提供的极快熵编码阶段支撑。格式稳定、有标准可依zstd 的帧格式稳定并已固化为 RFC 8878目前已有多种独立实现。参考实现本仓库是 zstd 的参考实现提供采用BSD 或 GPLv2 双许可证见 LICENSE 与 COPYING的 C 语言库以及一个能够生产与解码.zst、.gz、.xz和.lz4文件的命令行工具。语言生态若你的项目使用其他编程语言可在 Zstandard 官网获取已知的语言移植与绑定列表。从当前仓库的 lib/zstd.h 源码可见库版本号为1.6.0ZSTD_VERSION_MAJOR 1 / MINOR 6 / RELEASE 0头文件同时说明常规压缩级别为 1 至ZSTD_maxCLevel()目前为 22其中 20的级别即 CLI 中的--ultra需要更多内存应谨慎使用库还支持负压缩级别进一步扩展速度与压缩率的取舍空间——级别越低速度越快代价是压缩率下降。性能基准速度与压缩率的权衡zstd 的官方基准数据源自项目 README.md在桌面级 Core i7-9700K CPU 4.9GHz、Ubuntu 24.04Linux 6.8.0-53-generic环境下使用 lzbench内存基准工具编译自 gcc 14.2.0对 Silesia 压缩测试集测得Compressor nameRatioCompressionDecompress.zstd 1.5.7 -12.896510 MB/s1550 MB/sbrotli 1.1.0 -12.883290 MB/s425 MB/szlib 1.3.1 -12.743105 MB/s390 MB/szstd 1.5.7 --fast12.439545 MB/s1850 MB/squicklz 1.5.0 -12.238520 MB/s750 MB/szstd 1.5.7 --fast42.146665 MB/s2050 MB/slzo1x 2.10 -12.106650 MB/s780 MB/slz4 1.10.02.101675 MB/s3850 MB/ssnappy 1.2.12.089520 MB/s1500 MB/slzf 3.6 -12.077410 MB/s820 MB/s说明以上数据为项目文档记录的参考基准仅适用于上述特定硬件与编译环境。可以看到--fast#负压缩级别以压缩率为代价换取更快的压缩与解压速度。zstd 还能以压缩速度为代价换取更强的压缩率速度与压缩率之间的取舍可通过小步长配置。解压速度在所有设置下基本保持恒定这一特性与 zlib、lzma 等大多数 LZ 系压缩算法一致。下列图表是项目在 Core i7-6700K 4.0GHz、Linux Debian 环境下使用 lzbenchgcc 7.3.0对 Silesia 测试集测得的可视化结果少数算法在更低速度下可获得更高压缩率落在图外更完整的慢速模式大图见 doc/images/DCspeed5.pngCompression Speed vs RatioDecompression Speedzstd 压缩速度与压缩率权衡图zstd 解压速度图小数据压缩的困境与字典训练模式上述图表适用于典型的大文件与流式场景数 MB 以上。小数据则是完全不同的视角数据量越小压缩难度越大。这并非 zstd 独有的问题而是所有压缩算法的共性——压缩算法从过去的数据中学习如何压缩未来的数据而新数据集开头没有任何过去可供参考。为解决这一困境zstd 提供训练模式training mode针对选定类型的数据调优算法。做法是向 zstd 提供若干样本每个文件视为一个样本训练结果保存在名为dictionary字典的文件中压缩与解压前都必须加载该字典。使用字典后小数据的压缩率会显著提升。训练的前提与边界训练有效的条件是一族小数据样本之间存在相关性字典越是针对特定数据效果越好不存在通用字典因此每种数据类型部署一个字典能获得最大收益。字典的增益主要体现在开头几 KB之后的压缩会逐步依赖已解码的内容来压缩文件其余部分。下面的图表数据来自官方文档引用的github-users样本集约 1 万条、每条约 1KB 的记录展示了小数据字典压缩的收益——压缩率的提升伴随着同时更快的压缩与解压速度Compression RatioCompression SpeedDecompression Speed字典压缩率对比字典压缩速度对比字典解压速度对比字典压缩三步走How To以命令行方式使用字典压缩仅需三步详见 programs/README.md 的 Dictionary builder in Command Line Interface 一节创建字典zstd --train FullPathToTrainingSet/* -o dictionaryName默认字典名为dictionary-o NAME指定名字。--train还支持指定算法与参数--train-cover[k#,d#,steps#,split#,shrink[#]]、--train-fastcover[k#,d#,f#,steps#,split#,accel#,shrink[#]]、--train-legacy[s#]默认选择性 9可用--maxdict#限制字典大小默认 112640 字节、--dictID#强制字典 ID默认随机。使用字典压缩zstd -D dictionaryName FILE使用字典解压zstd -D dictionaryName --decompress FILE.zst库侧对应的字典 API在库层面字典功能由 lib/dictBuilder 模块实现API 见 lib/zdict.h其依赖lib/common与lib/compress训练接口可通过ZDICT_trainFromBuffer等函数编程调用而压缩/解压侧则对应压缩上下文ZSTD_CCtx与字典对象ZSTD_CDict/ZSTD_DDict系列 API。仓库中的示例 examples/dictionary_compression.c 展示了标准用法用ZSTD_createCDict(dictBuffer, dictSize, cLevel)从字典文件创建压缩字典对象一次性加载、多次复用用ZSTD_compress_usingCDict(cctx, ...)在压缩时引用该字典该示例注释明确指出压缩函数会在头部写入字典 ID 与内容大小但默认不写校验和如需精细控制应使用高级 APIZSTD_CCtx_setParameter()、ZSTD_CCtx_refCDict()与ZSTD_compress2()。对应的解压示例见 examples/dictionary_decompression.cZSTD_createDDict()/ZSTD_decompress_usingDDict()完整示例索引见 examples/README.md。构建与安装八种主流方案make是该项目的主要构建系统也是参考实现其他构建系统会定期同步以保持兼容但可能存在细微漂移或功能差异。因此只要你的构建系统允许优先使用make。Makefile推荐在支持标准make或gmake的系统上于仓库根目录直接执行make即可在根目录生成zstdCLI同时把libzstd库生成到lib/根 Makefile 的default目标实际执行lib-release与zstd-release。其他常用目标make install安装 zstd CLI、库与 man 手册页make check运行zstd并在本平台测试其基本行为根 Makefile 中check目标委派给tests/的对应目标。该 Makefile 遵循 GNU 标准 Makefile 约定支持 staged installDESTDIR 分段安装、标准编译标志、目录变量与命令变量。进阶参数控制二进制生成与安装路径的专用标志在 lib/README.md针对libzstd库与 programs/README.md针对zstdCLI中有完整文档下文裁剪与定制一节会给出要点。CMake仓库根目录现在包含一个极简CMakeLists.txt转发到build/cmake因此可以用标准cmake -S .方式配置同时历史入口cmake -S build/cmake依然完全支持cmake -S . -B build-cmake cmake --build build-cmake默认CMAKE_BUILD_TYPE为Release。Universal2Fat构建可同时支持 Apple SiliconM1/M2与 Intel例如cmake -S . -B build-cmake-debug -G Ninja -DCMAKE_OSX_ARCHITECTURESx86_64;x86_64h;arm64 cd build-cmake-debug ninja sudo ninja installMesonMeson 工程位于 build/meson按该目录内的说明构建即可根 Makefile 的mesonbuild目标演示了meson setupninjameson testmeson install --destdir的完整流程。注意 Meson 默认构建类型为release。VCPKGWindows 依赖管理git clone https://github.com/Microsoft/vcpkg.git cd vcpkg ./bootstrap-vcpkg.sh ./vcpkg integrate install ./vcpkg install zstdConanC/C 包管理conan install --requireszstd/[*] --buildmissing可安装预编译二进制或从源码构建zstd 的 Conan recipe 由 Conan 维护者与社区贡献者保持更新。Visual StudioWindows进入 build 目录可找到更多选择VS2008 与 VS2010 工程VS2010 工程兼容 VS2012/2013/2015/2017VS_scripts无需打开 IDE直接用命令行脚本构建zstdCLI 与libzstd库现在更推荐用cmake 生成 Visual Studio 解决方案详细步骤见 build/README.md其中也说明了如何用 VS 打开解决方案、切换 Release/x64 以及使用 DLL 的链接配置。Buck 与 BazelBuck在仓库根执行buck build programs:zstd输出二进制位于buck-out/gen/programs/Bazel可通过 Bazel Central Repository 上的 zstd 模块集成进 Bazel 项目。库的模块化裁剪Modular buildlib/README.md 说明lib目录按功能拆分便于按需取舍lib/common是所有变体必选的公共目录压缩源码在lib/compress解压源码在lib/decompress两者互相独立可以只编压缩或只编解压lib/dictBuilder负责字典训练依赖 common compresslib/legacy提供旧版格式解码自 v0.1.0 起。默认ZSTD_LEGACY_SUPPORT0自 v1.6.0 起默认关闭ZSTD_LEGACY_SUPPORT2表示支持 v0.2.0 的旧格式 8等价于0v0.8.0 之后均为规范兼容帧。zstd 只解码旧格式无法生成旧格式调用make libzstd时可将ZSTD_LIB_COMPRESSION、ZSTD_LIB_DECOMPRESSION、ZSTD_LIB_DICTBUILDER、ZSTD_LIB_DEPRECATED置 0 来跳过相应功能关闭压缩也会连带关闭 dictBuilder瘦身设ZSTD_LIB_MINIFY1可裁剪可选组件并切换到省空间的编译标志还可通过HUF_FORCE_DECOMPRESS_X1、ZSTD_FORCE_DECOMPRESS_SEQUENCES_SHORT强制只编译一种实现或ZSTD_LIB_EXCLUDE_COMPRESSORS_DFAST_AND_UP1排除除最快策略外的压缩器、ZSTD_NO_INLINE、ZSTD_STRIP_ERROR_STRINGS等进一步减小体积多线程默认动态库多线程、静态库单线程可用make lib-mt/make lib-nomt强制统一启用多线程需定义ZSTD_MULTITHREAD并POSIX 下加-pthread编译与链接。CLI 进阶编译变量、环境变量与长距离匹配CLI 的多种目标与编译变量programs/README.md 记录了多种 CLI 变体目标zstd默认含字典构建与基准、zstd_nolegacy禁用旧格式、zstd-small最小体积无字典/基准/旧格式、zstd-compress仅压缩、zstd-decompress仅解压。常用make变量HAVE_THREAD多线程自动随 pthread 检测启用可置 0/1 强制开关HAVE_ZLIB/HAVE_LZMA/HAVE_LZ4对应.gz--formatgzip、.xz/.lzma、.lz4格式支持置 1 强制启用链接失败即报错防止功能静默丢失、置 0 禁用ZSTD_NOBENCH、ZSTD_NODICT、ZSTD_NOCOMPRESS、ZSTD_NODECOMPRESS分别去掉基准模块、字典构建、压缩或解压支持用于产出更小的二进制BACKTRACE1让 zstd 在运行时异常时输出堆栈回溯便于排查故障。Symlink 快捷方式通过特定名字的符号链接调用 zstd 会触发对应行为——zstdmt用满所有核、zcat/gzcat/zstdcat解压到标准输出、gzip/xz/lzma/lz4模拟对应工具默认删除源文件用--keep保留、unzstd/unlz4/ungz/unxz/unlzma对应解压等。环境变量为安全起见zstd刻意限制环境变量传参仅支持两个ZSTD_CLEVEL修改默认压缩级别正常范围 1–19与ZSTD_NBTHREADS压缩线程数0表示按本机 CPU 核数上限为ZSTDMT_NBWORKERS_MAX32 位 64、64 位 256。两者均可被命令行参数-#、-T#覆盖。典型场景是tar --zstd这类无法传参的调用。长距离匹配模式--long--long[#]针对远距离长匹配距离可达最大窗口128 MiB设计在保持压缩速度的同时提升此类文件的压缩率。开启后窗口设为 128 MiB压缩与解压内存占用都会增加速度取决于能否找到长匹配——长匹配少时压缩速度可能下降而长匹配多时解压速度通常提升。项目文档给出的理想用例四个 clang 版本打成的 tar约 245MB中zstd -1 --long压缩率从5.065升至17.426且解压速度近乎翻倍而在长匹配稀少的 Silesia 测试集上低级别下压缩速度会劣化而压缩率几乎不变——应按数据特征决定是否启用。完整命令行帮助CLI 支持参数聚合如-b1e18i1可合并-b1、-e18、-i1。完整选项可用-h/-H查看programs/README.md 收录了 v1.5.6 的完整帮助文本涵盖输出控制-o、-k/--keep、--rm、-c、压缩级别-#默认 3--ultra到 22--fast[#]负级别、多线程-T#、--auto-threads、完整性校验--[no-]check默认 XXH64 校验和、字典构建--train*、--maxdict、--dictID、基准-b#、-e#、-i#、-B#、-S、-D等。此外zstdgrep可直接对.zst文件执行 grep但不兼容字典压缩字典文件需先经zstdcat -D dictionary -qc -- file.zst | grep pattern管道处理。测试与质量保障快速冒烟测试make check无法使用 make 时可执行 tests/playTests.sh脚本需要环境变量$ZSTD_BIN与$DATAGEN_BIN分别指向zstd与datagen二进制。CI 测试体系详见 TESTING.md分为短/中/长三档短测试在每次提交与 PR 上覆盖全部支持架构x86、x86_64、ARM、AArch64、PowerPC、PowerPC64与多种 gcc/clang/g 版本编译中测试在dev分支上跑tests/playTests.sh --test-large-data、tests/fuzzer.c、tests/zstreamtest.c、tests/decodecorpus.c并叠加 UBsan/Asan/Msan/Tsan 与 valgrind长测试在release分支跑完整套件并验证zstd 能解码所有历史版本文件的兼容性。安全模糊测试zstd 持续接受 Google oss-fuzz 目录内提供了simple_round_trip、stream_round_trip、dictionary_round_trip等一批 fuzz 目标。生态状态与许可zstd 已在 Meta 及许多大型云基础设施中大规模部署用于各种格式与场景的海量数据压缩。许可方面zstd 以BSD 或 GPLv2 双许可证发布LICENSE / COPYING。社区贡献统一合并到dev分支不允许直接提交release详情见 CONTRIBUTING.md。小结从本文可以提炼出三条实战主线其一选型——基于官方基准表理解 zstd 在zlib 级速度 更高压缩率区间的位置并用--fast#负级别换取更快的速度其二小数据优化——用zstd --train三步走建立数据专属字典显著改善小文件的压缩率与速度其三工程落地——按平台选择 make/cmake/meson/vcpkg/conan/VS 等构建方式并借助 lib/README.md 的模块化宏与 programs/README.md 的编译变量裁剪出最小、最贴合业务形态的libzstd与zstd二进制。【免费下载链接】zstdZstandard - Fast real-time compression algorithm项目地址: https://gitcode.com/gh_mirrors/zs/zstd创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 Zstandard（zstd）完全指南：快速无损压缩、字典训练与多构建方案实战
Zstandardzstd完全指南快速无损压缩、字典训练与多构建方案实战【免费下载链接】zstdZstandard - Fast real-time compression algorithm项目地址: https://gitcode.com/gh_mirrors/zs/zstd本篇指南以 Zstandard 项目根目录 README.md 为骨架系统讲解 zstd 的核心定位与性能特征、小数据场景下的字典训练--train三步走、从 Makefile 到 CMake/Meson/VCPKG/Conan 的全套构建与安装方案并结合仓库源码lib/README.md、programs/README.md、lib/zstd.h深入解释参数背后的实现原理。读完本文你将掌握 zstd 的选型依据、字典压缩实战流程以及如何按需裁剪库与 CLI 功能来构建最小体积或特定格式的二进制。Zstandard 是什么定位与核心特性Zstandard简称zstd是一种快速无损压缩算法瞄准zlib 级别速度 更高压缩率的实时压缩场景其背后是由 Huff0 与 FSE 库提供的极快熵编码阶段支撑。格式稳定、有标准可依zstd 的帧格式稳定并已固化为 RFC 8878目前已有多种独立实现。参考实现本仓库是 zstd 的参考实现提供采用BSD 或 GPLv2 双许可证见 LICENSE 与 COPYING的 C 语言库以及一个能够生产与解码.zst、.gz、.xz和.lz4文件的命令行工具。语言生态若你的项目使用其他编程语言可在 Zstandard 官网获取已知的语言移植与绑定列表。从当前仓库的 lib/zstd.h 源码可见库版本号为1.6.0ZSTD_VERSION_MAJOR 1 / MINOR 6 / RELEASE 0头文件同时说明常规压缩级别为 1 至ZSTD_maxCLevel()目前为 22其中 20的级别即 CLI 中的--ultra需要更多内存应谨慎使用库还支持负压缩级别进一步扩展速度与压缩率的取舍空间——级别越低速度越快代价是压缩率下降。性能基准速度与压缩率的权衡zstd 的官方基准数据源自项目 README.md在桌面级 Core i7-9700K CPU 4.9GHz、Ubuntu 24.04Linux 6.8.0-53-generic环境下使用 lzbench内存基准工具编译自 gcc 14.2.0对 Silesia 压缩测试集测得Compressor nameRatioCompressionDecompress.zstd 1.5.7 -12.896510 MB/s1550 MB/sbrotli 1.1.0 -12.883290 MB/s425 MB/szlib 1.3.1 -12.743105 MB/s390 MB/szstd 1.5.7 --fast12.439545 MB/s1850 MB/squicklz 1.5.0 -12.238520 MB/s750 MB/szstd 1.5.7 --fast42.146665 MB/s2050 MB/slzo1x 2.10 -12.106650 MB/s780 MB/slz4 1.10.02.101675 MB/s3850 MB/ssnappy 1.2.12.089520 MB/s1500 MB/slzf 3.6 -12.077410 MB/s820 MB/s说明以上数据为项目文档记录的参考基准仅适用于上述特定硬件与编译环境。可以看到--fast#负压缩级别以压缩率为代价换取更快的压缩与解压速度。zstd 还能以压缩速度为代价换取更强的压缩率速度与压缩率之间的取舍可通过小步长配置。解压速度在所有设置下基本保持恒定这一特性与 zlib、lzma 等大多数 LZ 系压缩算法一致。下列图表是项目在 Core i7-6700K 4.0GHz、Linux Debian 环境下使用 lzbenchgcc 7.3.0对 Silesia 测试集测得的可视化结果少数算法在更低速度下可获得更高压缩率落在图外更完整的慢速模式大图见 doc/images/DCspeed5.pngCompression Speed vs RatioDecompression Speedzstd 压缩速度与压缩率权衡图zstd 解压速度图小数据压缩的困境与字典训练模式上述图表适用于典型的大文件与流式场景数 MB 以上。小数据则是完全不同的视角数据量越小压缩难度越大。这并非 zstd 独有的问题而是所有压缩算法的共性——压缩算法从过去的数据中学习如何压缩未来的数据而新数据集开头没有任何过去可供参考。为解决这一困境zstd 提供训练模式training mode针对选定类型的数据调优算法。做法是向 zstd 提供若干样本每个文件视为一个样本训练结果保存在名为dictionary字典的文件中压缩与解压前都必须加载该字典。使用字典后小数据的压缩率会显著提升。训练的前提与边界训练有效的条件是一族小数据样本之间存在相关性字典越是针对特定数据效果越好不存在通用字典因此每种数据类型部署一个字典能获得最大收益。字典的增益主要体现在开头几 KB之后的压缩会逐步依赖已解码的内容来压缩文件其余部分。下面的图表数据来自官方文档引用的github-users样本集约 1 万条、每条约 1KB 的记录展示了小数据字典压缩的收益——压缩率的提升伴随着同时更快的压缩与解压速度Compression RatioCompression SpeedDecompression Speed字典压缩率对比字典压缩速度对比字典解压速度对比字典压缩三步走How To以命令行方式使用字典压缩仅需三步详见 programs/README.md 的 Dictionary builder in Command Line Interface 一节创建字典zstd --train FullPathToTrainingSet/* -o dictionaryName默认字典名为dictionary-o NAME指定名字。--train还支持指定算法与参数--train-cover[k#,d#,steps#,split#,shrink[#]]、--train-fastcover[k#,d#,f#,steps#,split#,accel#,shrink[#]]、--train-legacy[s#]默认选择性 9可用--maxdict#限制字典大小默认 112640 字节、--dictID#强制字典 ID默认随机。使用字典压缩zstd -D dictionaryName FILE使用字典解压zstd -D dictionaryName --decompress FILE.zst库侧对应的字典 API在库层面字典功能由 lib/dictBuilder 模块实现API 见 lib/zdict.h其依赖lib/common与lib/compress训练接口可通过ZDICT_trainFromBuffer等函数编程调用而压缩/解压侧则对应压缩上下文ZSTD_CCtx与字典对象ZSTD_CDict/ZSTD_DDict系列 API。仓库中的示例 examples/dictionary_compression.c 展示了标准用法用ZSTD_createCDict(dictBuffer, dictSize, cLevel)从字典文件创建压缩字典对象一次性加载、多次复用用ZSTD_compress_usingCDict(cctx, ...)在压缩时引用该字典该示例注释明确指出压缩函数会在头部写入字典 ID 与内容大小但默认不写校验和如需精细控制应使用高级 APIZSTD_CCtx_setParameter()、ZSTD_CCtx_refCDict()与ZSTD_compress2()。对应的解压示例见 examples/dictionary_decompression.cZSTD_createDDict()/ZSTD_decompress_usingDDict()完整示例索引见 examples/README.md。构建与安装八种主流方案make是该项目的主要构建系统也是参考实现其他构建系统会定期同步以保持兼容但可能存在细微漂移或功能差异。因此只要你的构建系统允许优先使用make。Makefile推荐在支持标准make或gmake的系统上于仓库根目录直接执行make即可在根目录生成zstdCLI同时把libzstd库生成到lib/根 Makefile 的default目标实际执行lib-release与zstd-release。其他常用目标make install安装 zstd CLI、库与 man 手册页make check运行zstd并在本平台测试其基本行为根 Makefile 中check目标委派给tests/的对应目标。该 Makefile 遵循 GNU 标准 Makefile 约定支持 staged installDESTDIR 分段安装、标准编译标志、目录变量与命令变量。进阶参数控制二进制生成与安装路径的专用标志在 lib/README.md针对libzstd库与 programs/README.md针对zstdCLI中有完整文档下文裁剪与定制一节会给出要点。CMake仓库根目录现在包含一个极简CMakeLists.txt转发到build/cmake因此可以用标准cmake -S .方式配置同时历史入口cmake -S build/cmake依然完全支持cmake -S . -B build-cmake cmake --build build-cmake默认CMAKE_BUILD_TYPE为Release。Universal2Fat构建可同时支持 Apple SiliconM1/M2与 Intel例如cmake -S . -B build-cmake-debug -G Ninja -DCMAKE_OSX_ARCHITECTURESx86_64;x86_64h;arm64 cd build-cmake-debug ninja sudo ninja installMesonMeson 工程位于 build/meson按该目录内的说明构建即可根 Makefile 的mesonbuild目标演示了meson setupninjameson testmeson install --destdir的完整流程。注意 Meson 默认构建类型为release。VCPKGWindows 依赖管理git clone https://github.com/Microsoft/vcpkg.git cd vcpkg ./bootstrap-vcpkg.sh ./vcpkg integrate install ./vcpkg install zstdConanC/C 包管理conan install --requireszstd/[*] --buildmissing可安装预编译二进制或从源码构建zstd 的 Conan recipe 由 Conan 维护者与社区贡献者保持更新。Visual StudioWindows进入 build 目录可找到更多选择VS2008 与 VS2010 工程VS2010 工程兼容 VS2012/2013/2015/2017VS_scripts无需打开 IDE直接用命令行脚本构建zstdCLI 与libzstd库现在更推荐用cmake 生成 Visual Studio 解决方案详细步骤见 build/README.md其中也说明了如何用 VS 打开解决方案、切换 Release/x64 以及使用 DLL 的链接配置。Buck 与 BazelBuck在仓库根执行buck build programs:zstd输出二进制位于buck-out/gen/programs/Bazel可通过 Bazel Central Repository 上的 zstd 模块集成进 Bazel 项目。库的模块化裁剪Modular buildlib/README.md 说明lib目录按功能拆分便于按需取舍lib/common是所有变体必选的公共目录压缩源码在lib/compress解压源码在lib/decompress两者互相独立可以只编压缩或只编解压lib/dictBuilder负责字典训练依赖 common compresslib/legacy提供旧版格式解码自 v0.1.0 起。默认ZSTD_LEGACY_SUPPORT0自 v1.6.0 起默认关闭ZSTD_LEGACY_SUPPORT2表示支持 v0.2.0 的旧格式 8等价于0v0.8.0 之后均为规范兼容帧。zstd 只解码旧格式无法生成旧格式调用make libzstd时可将ZSTD_LIB_COMPRESSION、ZSTD_LIB_DECOMPRESSION、ZSTD_LIB_DICTBUILDER、ZSTD_LIB_DEPRECATED置 0 来跳过相应功能关闭压缩也会连带关闭 dictBuilder瘦身设ZSTD_LIB_MINIFY1可裁剪可选组件并切换到省空间的编译标志还可通过HUF_FORCE_DECOMPRESS_X1、ZSTD_FORCE_DECOMPRESS_SEQUENCES_SHORT强制只编译一种实现或ZSTD_LIB_EXCLUDE_COMPRESSORS_DFAST_AND_UP1排除除最快策略外的压缩器、ZSTD_NO_INLINE、ZSTD_STRIP_ERROR_STRINGS等进一步减小体积多线程默认动态库多线程、静态库单线程可用make lib-mt/make lib-nomt强制统一启用多线程需定义ZSTD_MULTITHREAD并POSIX 下加-pthread编译与链接。CLI 进阶编译变量、环境变量与长距离匹配CLI 的多种目标与编译变量programs/README.md 记录了多种 CLI 变体目标zstd默认含字典构建与基准、zstd_nolegacy禁用旧格式、zstd-small最小体积无字典/基准/旧格式、zstd-compress仅压缩、zstd-decompress仅解压。常用make变量HAVE_THREAD多线程自动随 pthread 检测启用可置 0/1 强制开关HAVE_ZLIB/HAVE_LZMA/HAVE_LZ4对应.gz--formatgzip、.xz/.lzma、.lz4格式支持置 1 强制启用链接失败即报错防止功能静默丢失、置 0 禁用ZSTD_NOBENCH、ZSTD_NODICT、ZSTD_NOCOMPRESS、ZSTD_NODECOMPRESS分别去掉基准模块、字典构建、压缩或解压支持用于产出更小的二进制BACKTRACE1让 zstd 在运行时异常时输出堆栈回溯便于排查故障。Symlink 快捷方式通过特定名字的符号链接调用 zstd 会触发对应行为——zstdmt用满所有核、zcat/gzcat/zstdcat解压到标准输出、gzip/xz/lzma/lz4模拟对应工具默认删除源文件用--keep保留、unzstd/unlz4/ungz/unxz/unlzma对应解压等。环境变量为安全起见zstd刻意限制环境变量传参仅支持两个ZSTD_CLEVEL修改默认压缩级别正常范围 1–19与ZSTD_NBTHREADS压缩线程数0表示按本机 CPU 核数上限为ZSTDMT_NBWORKERS_MAX32 位 64、64 位 256。两者均可被命令行参数-#、-T#覆盖。典型场景是tar --zstd这类无法传参的调用。长距离匹配模式--long--long[#]针对远距离长匹配距离可达最大窗口128 MiB设计在保持压缩速度的同时提升此类文件的压缩率。开启后窗口设为 128 MiB压缩与解压内存占用都会增加速度取决于能否找到长匹配——长匹配少时压缩速度可能下降而长匹配多时解压速度通常提升。项目文档给出的理想用例四个 clang 版本打成的 tar约 245MB中zstd -1 --long压缩率从5.065升至17.426且解压速度近乎翻倍而在长匹配稀少的 Silesia 测试集上低级别下压缩速度会劣化而压缩率几乎不变——应按数据特征决定是否启用。完整命令行帮助CLI 支持参数聚合如-b1e18i1可合并-b1、-e18、-i1。完整选项可用-h/-H查看programs/README.md 收录了 v1.5.6 的完整帮助文本涵盖输出控制-o、-k/--keep、--rm、-c、压缩级别-#默认 3--ultra到 22--fast[#]负级别、多线程-T#、--auto-threads、完整性校验--[no-]check默认 XXH64 校验和、字典构建--train*、--maxdict、--dictID、基准-b#、-e#、-i#、-B#、-S、-D等。此外zstdgrep可直接对.zst文件执行 grep但不兼容字典压缩字典文件需先经zstdcat -D dictionary -qc -- file.zst | grep pattern管道处理。测试与质量保障快速冒烟测试make check无法使用 make 时可执行 tests/playTests.sh脚本需要环境变量$ZSTD_BIN与$DATAGEN_BIN分别指向zstd与datagen二进制。CI 测试体系详见 TESTING.md分为短/中/长三档短测试在每次提交与 PR 上覆盖全部支持架构x86、x86_64、ARM、AArch64、PowerPC、PowerPC64与多种 gcc/clang/g 版本编译中测试在dev分支上跑tests/playTests.sh --test-large-data、tests/fuzzer.c、tests/zstreamtest.c、tests/decodecorpus.c并叠加 UBsan/Asan/Msan/Tsan 与 valgrind长测试在release分支跑完整套件并验证zstd 能解码所有历史版本文件的兼容性。安全模糊测试zstd 持续接受 Google oss-fuzz 目录内提供了simple_round_trip、stream_round_trip、dictionary_round_trip等一批 fuzz 目标。生态状态与许可zstd 已在 Meta 及许多大型云基础设施中大规模部署用于各种格式与场景的海量数据压缩。许可方面zstd 以BSD 或 GPLv2 双许可证发布LICENSE / COPYING。社区贡献统一合并到dev分支不允许直接提交release详情见 CONTRIBUTING.md。小结从本文可以提炼出三条实战主线其一选型——基于官方基准表理解 zstd 在zlib 级速度 更高压缩率区间的位置并用--fast#负级别换取更快的速度其二小数据优化——用zstd --train三步走建立数据专属字典显著改善小文件的压缩率与速度其三工程落地——按平台选择 make/cmake/meson/vcpkg/conan/VS 等构建方式并借助 lib/README.md 的模块化宏与 programs/README.md 的编译变量裁剪出最小、最贴合业务形态的libzstd与zstd二进制。【免费下载链接】zstdZstandard - Fast real-time compression algorithm项目地址: https://gitcode.com/gh_mirrors/zs/zstd创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考