4.5.2运行Qwen2.5-7B模型请将“软件资料\RK182X-AI-Acceleratorect\model\llm\Qwen2.5-7B\”目录下的所有文件拷贝至评估板文件系统。备注请确保用于拷贝Qwen2.5-7B模型的文件系统目录具备充足的剩余存储空间。Target#cd /userdata/model/llm/Qwen2.5-7B/图 51执行如下命令运行Qwen2.5-7B模型测试程序该程序在测试过程中会以随机生成的token序列作为测试样本重复进行3次提问最终统计并输出测试的性能。Target#rknn3_session_test_eval_perf Qwen2.5-7B.rknn Qwen2.5-7B.weight Qwen2.5-7B.tokenizer.gguf Qwen2.5-7B.embed.bin 1024 128 128 0xff图 52程序统计性能图 53由打印信息可得查看CPU使用率和NPU使用率图 54图 55由上图可以看到CPU使用率最高46%NPU使用率最高94%。4.5.3运行Qwen3-4B模型请将“软件资料\RK182X-AI-Acceleratorect\model\llm\Qwen3-4B\”目录下的所有文件拷贝至评估板文件系统。备注请确保用于拷贝Qwen3-4B模型的文件系统目录具备充足的剩余存储空间。Target#cd /userdata/model/llm/Qwen3-4B/图 56执行如下命令运行Qwen3-4B模型测试程序该程序在测试过程中会以随机生成的token序列作为测试样本重复进行3次提问最终统计并输出测试的性能。Target#rknn3_session_test_eval_perf Qwen3-4B.rknn Qwen3-4B.weight Qwen3-4B.tokenizer.gguf Qwen3-4B.embed.bin 1024 128 128 0xff图 57程序统计性能图 58由打印信息可得查看CPU使用率和NPU使用率图 59图 60由上图可以看到CPU使用率最高46%NPU使用率最高92%。4.5.4运行Qwen3-8B模型请将“软件资料\RK182X-AI-Acceleratorect\model\llm\Qwen3-8B\”目录下的所有文件拷贝至评估板文件系统。备注请确保用于拷贝Qwen3-8B模型的文件系统目录具备充足的剩余存储空间。Target#cd /userdata/model/llm/Qwen3-8B/图 61执行如下命令运行Qwen3-8B模型测试程序该程序在测试过程中会以随机生成的token序列作为测试样本重复进行3次提问最终统计并输出测试的性能。Target#rknn3_session_test_eval_perf Qwen3-8B.rknn Qwen3-8B.weight.ldtmp Qwen3-8B.tokenizer.gguf Qwen3-8B.embed.bin 1024 128 128 0xff图 62程序统计性能图 63由打印信息可得查看CPU使用率和NPU使用率图 64图 65由上图可以看到CPU使用率最高26%NPU使用率最高95%。五、案例编译进行案例编译前请先参考TL3588-EVM产品资料的《Ubuntu系统使用手册》完成应用交叉编译工具链配置。5.1编译rknn3_model_test_demo执行如下命令进入rknn3_model_test_demo案例目录。Host#cd /home/tronlong/RK3588/rk182x_sdk/rknn/rknn3-runtime/examples/rknn3_model_test_demoHost#ls图 66执行如下命令配置交叉编译环境并运行构建脚本build-linux.sh编译应用程序。Host#export GCC_COMPILER/home/tronlong/RK3588/rk3588_linux_release/ubuntu/sysroots/x86_64-linux/bin/gcc-linaro-10.2.1-2021.01-x86_64_aarch64-linux-gnu/bin/aarch64-linux-gnuHost#./build-linux.sh -t rk3588 -a aarch64 -b Release图 67编译完成后将在install/rknn3_model_test_Linux/目录下生成可执行文件。图 685.2编译rknn3_llm_test执行如下命令进入rknn3_llm_test案例目录。Host#cd /home/tronlong/RK3588/rk182x_sdk/rknn/rknn3-model-zoo/tools/rknn3_llm_testHost#ls图 69执行如下命令配置交叉编译环境并运行构建脚本build-linux.sh编译应用程序。Host#export GCC_COMPILER/home/tronlong/RK3588/rk3588_linux_release/ubuntu/sysroots/x86_64-linux/bin/gcc-linaro-10.2.1-2021.01-x86_64_aarch64-linux-gnu/bin/aarch64-linux-gnuHost#./build-linux.sh -t rk3588 -a aarch64 -b Release图 70若使用Ubuntu22.04版本资料基于rk3588_linux6.1_release_v1.4.0的开发环境则执行如下命令配置交叉编译环境再运行构建脚本编译应用程序。Host#export GCC_COMPILER/usr/bin/aarch64-linux-gnuHost#./build-linux.sh -t rk3588 -a aarch64 -b Release图 71编译完成后将在install/rknn3_llm_test_RK3588_Linux/目录下生成可执行文件。图 72