基于泛微E9的统一待办集成——使用消息队列配置

基于E9的统一待办集成——使用消息队列配置背景与挑战随着企业信息化建设不断深化接入统一待办平台的第三方异构系统从最初的3个激增至15个。作为统一待办集成枢纽原同步 RESTful 接口在业务高峰期如月末集中审批遭遇了严重的性能瓶颈接口调用峰值 QPS 飙升至 4500远超节点容器线程池处理上限超时率高达 20%频繁出现连接超时与消息丢失数据库连接池被打满活跃连接数长期维持在 100%CPU 使用率飙升 95%严重影响 OA 核心审批流程面对这一困境并未选择单纯增加节点的水平扩容方案——经压测发现受限于数据库锁竞争瓶颈增加节点对性能的提升有限。方案选型设计了基于消息队列的异步削峰填谷架构。在消息中间件选型上对比了 Kafka 与 RocketMQ维度KafkaRocketMQ吞吐量极高百万级/秒高十万级/秒可靠重试机制需自行实现原生支持事务消息有限支持原生支持延迟消息需自行实现支持 18 个延迟级别最终一致性保证较弱强结论考虑到待办状态必须保证最终一致性与绝对可靠投递最终选定RocketMQ作为消息中间件。配置步骤一、配置文件配置文件路径/ecology/WEB-INF/prop/ofsInteriorMqConfig.properties# 基础配置 # 是否启用MQ weaver.sendmessage.switch true # 是否使用雪花算法生成requestid weaver.snowflake.switch false # 选择MQ类型rabbitmq / kafka / activemq / rocketmq weaver.mq.type rocketmq # MQ队列前缀 weaver.mq.queuePrefix weaver_E9_queue # MQ同步队列数量 weaver.mq.queueCount 5 # RabbitMQ 配置 weaver.rabbitmq.host 10.10.27.184 weaver.rabbitmq.port 5672 weaver.rabbitmq.username test weaver.rabbitmq.password test weaver.rabbitmq.virtualhost / weaver.rabbitmq.exchange weaver_E9_exchange_topic # RocketMQ 配置 # 名称服务器地址多个地址用分号分隔例如 192.168.202.221:9876;192.168.202.222:9876 weaver.rocketmq.nameServer 10.201.7.89:9876 # Topic 名称 weaver.rocketmq.topic weaver_E9_topic # 生产者组 weaver.rocketmq.producer.group weaver_E9_producer_group # 消费者组 weaver.rocketmq.consumer.group weaver_E9_consumer_group # 消息标签过滤* 表示匹配所有 Tag weaver.rocketmq.tag * # 可选队列数量默认使用全局 queueCount # weaver.rocketmq.queueCount 5 # Kafka 配置 weaver.kafka.bootstrap-servers 10.10.27.184:9092 weaver.kafka.retries 3 weaver.kafka.groupid weaver_E9_consumer_group # ActiveMQ 配置 weaver.activemq.brokerurl tcp://10.10.27.184:61616二、安装 RocketMQ2.1 环境要求JDK 1.8Maven 3.264bit OSLinux / Windows2.2 下载与解压# 下载 RocketMQ以 4.9.4 版本为例wgethttps://archive.apache.org/dist/rocketmq/4.9.4/rocketmq-all-4.9.4-bin-release.zip# 解压unziprocketmq-all-4.9.4-bin-release.zipcdrocketmq-all-4.9.4-bin-release2.3 修改 JVM 参数按需调整编辑bin/runserver.shJAVA_OPT${JAVA_OPT}-server -Xms512m -Xmx512m -Xmn256m编辑bin/runbroker.shJAVA_OPT${JAVA_OPT}-server -Xms1g -Xmx1g -Xmn512m2.4 启动 NameServernohupshbin/mqnamesrv# 查看日志tail-f~/logs/rocketmqlogs/namesrv.log2.5 启动 Brokernohupshbin/mqbroker-n10.201.7.89:9876# 查看日志tail-f~/logs/rocketmqlogs/broker.log2.6 验证安装# 测试发送消息exportNAMESRV_ADDR10.201.7.89:9876shbin/tools.sh org.apache.rocketmq.example.quickstart.Producer# 测试消费消息shbin/tools.sh org.apache.rocketmq.example.quickstart.Consumer2.7 关闭服务shbin/mqshutdown brokershbin/mqshutdown namesrv三、安装 RocketMQ DashboardRocketMQ Dashboard 是官方提供的可视化管理控制台用于监控集群状态、查看消息轨迹。3.1 下载gitclone https://github.com/apache/rocketmq-dashboard.gitcdrocketmq-dashboard或直接下载已编译的 jar 包。3.2 修改配置编辑src/main/resources/application.ymlrocketmq:config:# NameServer 地址多个用分号分隔namesrvAddrs:-10.201.7.89:9876# 是否启用登录认证loginRequired:false# 管理员用户名/密码loginRequiredtrue 时生效# accessKey: admin# secretKey: adminserver:port:80803.3 编译打包mvn clean package-Dmaven.test.skiptrue3.4 启动# 前台启动java-jartarget/rocketmq-dashboard-1.0.0.jar# 后台启动nohupjava-jartarget/rocketmq-dashboard-1.0.0.jardashboard.log213.5 访问浏览器打开http://{服务器IP}:8080Dashboard 提供以下功能集群状态监控Broker、Topic、Consumer Group 运行状态消息查询按 Topic、Key、MessageId 检索消息消息轨迹追踪消息从生产到消费的完整链路消费者管理查看消费进度、TPS、延迟情况Topic 管理创建/删除 Topic查看订阅关系架构效果切换至 RocketMQ 异步架构后系统性能得到显著改善指标优化前优化后接口峰值 QPS4500削峰后稳定在 800超时率20% 0.1%数据库连接池占用100%40%CPU 使用率95%35%消息丢失率偶发0事务消息保障通过消息队列的削峰填谷能力将瞬时高并发请求平滑为后台异步消费彻底解耦了统一待办接收与第三方系统同步保障了 OA 核心审批流程的稳定性。