ARTICLE DETAIL

资讯详情

深耕网站视觉设计与运营推广的一线实战洞察。

Know Streaming V3.0 与 Logi-KM V2.x 新旧版本对比:设计理念、功能架构与核心能力演进详解

Know Streaming V3.0 与 Logi-KM V2.x 新旧版本对比:设计理念、功能架构与核心能力演进详解 后端消息队列运维可观测性【免费下载链接】KnowStreaming一站式云原生实时流数据平台通过0侵入、插件化构建企业级Kafka服务极大降低操作、存储和管理实时流数据门槛项目地址https://gitcode.com/gh_mirrors/kn/KnowStreaming点击查看免费下载本文基于 Know Streaming 开源仓库 docs/user_guide/新旧对比手册.md 展开系统梳理 Know Streaming V3.0 与其前身 Logi-KM V2.x 在产品定位、协议、功能架构与模块能力上的全面差异。读者可据此理解 V3.0 重构后的设计哲学0 侵入、插件化、GUI 化快速定位多集群管理、健康检查、Broker/Topic 配置、ACL 与 KafkaUser、消息测试企业版等核心模块的变更明细并结合仓库源码掌握健康检查、健康分等新能力的底层实现路径。一、版本背景产品名称与开源协议变更新旧版本对比首先体现在产品命名与开源协议上这一变更也标志着项目整体重构的决心项目版本名称开源协议Know StreamingV3.0Know StreamingAGPL 3.0Logi-KMV2.xLogi-KMApache License 2.0Know Streaming V3.0 采用了AGPL 3.0协议比 V2.x 的 Apache License 2.0 在网络服务场景下具有更强的传染性约束更强调使用即开源回馈的社区治理思路。开发者在使用 V3.0 时应注意协议变化带来的合规差异。二、全新的设计理念0 侵入、0 门槛的 Kafka 可视化管理原文档明确指出 V3.0 的核心设计理念是0 侵入、0 门槛前提下提供直观 GUI用于管理和观测 Apache Kafka®帮助用户降低 Kafka CLI 操作门槛轻松实现对原生 Kafka 集群的可管、可见、可掌控提升 Kafka 使用体验并降低管理成本海量集群一键接入无需对 Kafka 集群做任何改造即可实现深度纳管真正的0 侵入、插件化系统设计覆盖0.10.x ~ 3.x.x众多 Kafka 版本的无缝纳管。这一理念在仓库的模块划分中得到印证km-common公共模型与常量、km-core核心服务与指标计算、km-biz业务编排、km-persistenceMySQL / Elasticsearch / Kafka / JMX 多源持久化、km-restREST API 层、km-task定时任务与采集以及km-console前端控制台彼此解耦接入方只需提供集群连接信息系统即通过插件化的版本指标体系参见km-core/src/main/java/com/xiaojukeji/know/streaming/km/core/service/version/metrics/kafka/下按 Kafka 版本组织的ClusterMetricVersionItems、BrokerMetricVersionItems、TopicMetricVersionItems等完成多版本兼容适配。三、功能架构演进从管控系统到观测、健康、运维一体化V3.0 的功能架构相较 V2.x 发生了本质性扩展。原文档以两张架构图分别展示了两个版本的功能分层因原图为站外图片此处以文字还原其核心分层差异V2.x 功能架构以集群管理、Topic 管理、Consumer 管理、ACL 管理、系统管理等管控功能为核心架构更偏运维审批 配置管理模式V3.0 功能架构在 V2.x 管控能力之上新增了健康检查与健康分体系、关键指标统计与 GUI 展示、Load Rebalance企业版、消息测试企业版、KafkaUser 管理、配置变更记录等观测与自治能力功能架构从管理 Kafka升级为观测 管理 自治 Kafka。四、功能变更详解逐模块对比新增、优化与删除4.1 多集群管理变更类型明细增加健康监测体系、关键组件 指标 GUI 展示增加2.8.x 以上 Kafka 集群接入覆盖范围扩展至 0.10.x ~ 3.x删除逻辑集群、共享集群、Region 概念V3.0 简化了集群抽象模型删除了 V2.x 中逻辑集群 / 共享集群 / Region 的多层概念以物理集群ClusterPhy为唯一纳管单元降低理解与配置成本。4.2 Cluster 管理变更类型明细增加集群概览信息、集群配置变更记录增加Cluster 健康分健康检查规则支持自定义配置增加Cluster 关键指标统计和 GUI 展示支持自定义配置增加Cluster 层 I/O、Disk 的 Load Rebalance 功能支持定时均衡任务企业版删除限流、鉴权功能删除APPID 概念其中健康分是 V3.0 最具代表性的新能力。从源码看健康检查被建模为独立的配置分组 检查项 检查器体系配置分组ConfigGroupEnum.HEALTH(10, 健康检查及健康分)见 ConfigGroupEnum.java说明健康检查规则是一类可持久化、可自定义的集群级配置检查维度HealthCheckDimensionEnum定义了CLUSTER / BROKER / TOPIC / GROUP / ZOOKEEPER / CONNECT_CLUSTER / CONNECTOR / MIRROR_MAKER等维度见 HealthCheckDimensionEnum.java检查框架AbstractHealthCheckService以functionMapConcurrentHashMap注册各检查项函数统一通过checkAndGetResult(ClusterParam, BaseClusterHealthConfig)完成单资源检查见 AbstractHealthCheckService.java健康分聚合HealthStateServiceImpl.calClusterHealthMetrics将 Cluster、Broker、Topic、Group、Zookeeper、Connect、MirrorMaker 各维度的检查通过数 / 检查总数 / 健康状态聚合为集群级健康分并以各维度最大状态作为集群健康状态见 HealthStateServiceImpl.java。健康检查的配置与结果均通过 REST API 暴露给前端KafkaHealthController提供了clusters/{clusterPhyId}/health-detail健康检查详情支持按维度筛选、clusters/{clusterPhyId}/dimensions/{dimensionCode}/resources/{resName}/health-detail具体资源健康详情以及clusters/{clusterPhyId}/health-configs健康检查配置三组接口见 KafkaHealthController.java。前端在km-console/packages/layout-clusters-fe/src/pages/SingleClusterDetail/HealthySetting.tsx中通过getClusterHealthyConfigs拉取配置并以抽屉表单呈现健康设置页面支持按集群自定义健康规则。4.3 Broker 管理变更类型明细增加Broker 健康分增加Broker 关键指标统计和 GUI 展示支持自定义配置增加Broker 参数配置功能需重启生效增加Controller 变更记录增加Broker Datalogs 记录删除Leader Rebalance 功能删除Broker 优先副本选举Broker 参数配置功能在km-biz层由 BrokerConfigManager.java 及其实现 BrokerConfigManagerImpl.java 支撑前端对应BrokerDetail/Configuration.tsx与ConfigurationEdit.tsx页面需要注意的是Broker 级参数修改需要重启 Broker 后生效而 Topic 级参数修改可实时生效见下文。4.4 Topic 管理变更类型明细增加Topic 健康分增加Topic 关键指标统计和 GUI 展示支持自定义配置增加Topic 参数配置功能可实时生效增加Topic 批量迁移、Topic 批量扩缩副本功能增加查看系统 Topic 功能优化Partition 分布的 GUI 展示优化Topic Message 数据采样删除Topic 过期概念删除Topic 申请配额功能Topic 的批量迁移与批量扩缩副本能力在km-biz层由 OpTopicManager.java 及其实现 OpTopicManagerImpl.java 承载前端在km-console/packages/layout-clusters-fe/src/pages/TopicList/ExpandPartition.tsx扩分区与components/TopicJob/ReplicaMove.tsx、ReplicaChange.tsx副本迁移/变更中提供 GUI 操作入口配合 Job 模块的任务进度管理完成长耗时操作。4.5 Consumer 管理变更类型明细优化ConsumerGroup 展示形式增加 Consumer Lag 的 GUI 展示Consumer Lag消费滞后的 GUI 展示意味着 V3.0 将消费进度观测纳入核心体验前端ConsumerGroup/Detail.tsx、Consumers/ConsumerGroupDetail.tsx等页面均围绕 Group Topic 的 Lag 数据展开。4.6 ACL 管理变更类型明细增加原生 ACL GUI 配置功能可配置生产、消费、自定义多种组合权限增加KafkaUser 功能可自定义新增 KafkaUserACL 与 KafkaUser 在km-biz层分别由 KafkaAclManager.java 和 KafkaUserManager.java 提供前端对应SecurityACLs/EditDrawer.tsx与SecurityUsers/页面。V3.0 将 Kafka 原生 ACL 的生产 / 消费 / 自定义组合权限直接映射到 GUI 表单降低了安全策略的配置门槛。4.7 消息测试企业版变更类型明细增加生产者消息模拟器支持 Data、Flow、Header、Options 自定义配置企业版增加消费者消息模拟器支持 Data、Flow、Header、Options 自定义配置企业版该能力在仓库中体现为企业版扩展模块km-enterprise及相关企业版页面前端对应TestingProduce/生产测试含EditTable.tsx、CustomTextArea.tsx等自定义组件与TestingConsumer/消费测试含ConfigForm.tsx、Result.tsx、TaskTabs.tsx。原文档标注为企业版社区版不包含该功能。4.8 Job 模块变更类型明细优化Job 模块支持任务进度管理Job 模块支撑 Topic 批量迁移、扩缩副本、Load Rebalance企业版等长任务前端Jobs/目录中的ViewJobsProgress.tsx、TeskDetails.tsx、ExpandedRow.tsx即为任务进度与明细的 GUI 呈现。4.9 系统管理变更类型明细优化用户、角色管理体系支持自定义角色配置页面及操作权限优化审计日志信息删除多租户体系删除工单流程系统管理向轻量、自主方向演进删除多租户与工单流程同时将权限细化到页面 操作粒度用户角色管理在km-console/packages/config-manager-fe/src/pages/UserManage/RoleTabContent.tsx、UserTabContent.tsx、CheckboxGroupContainer.tsx中实现审计日志对应OperationLog/页面。五、源码视角V3.0 健康检查项全景可选配置的检查项清单为了让读者理解健康检查规则支持自定义配置的具体含义以下根据 HealthCheckNameEnum.java 梳理出 V3.0 内置的健康检查项每一项均归属于某检查维度并对应三种配置模型之一HealthCompareValueConfig阈值比较、HealthDetectedInLatestMinutesConfig最近 N 分钟检测窗口、HealthAmountRatioConfig数量/比率维度检查项configItem说明配置模型CLUSTERController集群 Controller 数正常可用性检查HealthCompareValueConfigBROKERRequestQueueSizeBroker RequestQueueSize 指标HealthCompareValueConfigBROKERNetworkProcessorAvgIdlePercentBroker NetworkProcessorAvgIdlePercent 指标HealthCompareValueConfigGROUPGroup Re-BalanceGroup re-balance 频率HealthDetectedInLatestMinutesConfigTOPICNoLeaderTopic 无 Leader 数HealthCompareValueConfigTOPICUnderReplicaTooLongTopic 未同步持续时间HealthDetectedInLatestMinutesConfigZOOKEEPERBrainSplitZK 脑裂可用性检查HealthCompareValueConfigZOOKEEPEROutstandingRequestsZK Outstanding 请求堆积数HealthAmountRatioConfigZOOKEEPERWatchCountZK WatchCount 数HealthAmountRatioConfigZOOKEEPERAliveConnectionsZK 连接数HealthAmountRatioConfigZOOKEEPERApproximateDataSizeZK 数据大小ByteHealthAmountRatioConfigZOOKEEPERSentRateZK 发包数HealthAmountRatioConfigCONNECT_CLUSTERTaskStartupFailurePercentageConnect 集群任务启动失败概率HealthCompareValueConfigCONNECTORConnectorFailedTaskCountConnector 失败状态的任务数量HealthCompareValueConfigCONNECTORConnectorUnassignedTaskCountConnector 未被分配的任务数量HealthCompareValueConfigMIRROR_MAKERMirrorMakerFailedTaskCountMirrorMaker 失败状态的任务数量HealthCompareValueConfigMIRROR_MAKERMirrorMakerUnassignedTaskCountMirrorMaker 未被分配的任务数量HealthCompareValueConfigMIRROR_MAKERTotalRecord-errorsMirrorMaker 消息处理错误次数HealthCompareValueConfigMIRROR_MAKERReplicationLatencyMsMaxMirrorMaker 消息复制最大延迟时间HealthCompareValueConfig检查项与健康检查框架解耦新增检查项只需在枚举中登记并在对应维度的HealthCheck*Service位于 km-core 健康检查目录中注册实现函数即可被健康分体系自动纳入这正是自定义配置 插件化设计的落点。六、新旧版本能力对照速查表能力维度Logi-KM V2.xKnow Streaming V3.0设计理念CLI 辅助型管控0 侵入、插件化、GUI 可视化Kafka 版本覆盖部分版本0.10.x ~ 3.x.x 无缝纳管集群模型逻辑集群 / 共享集群 / Region物理集群单一模型健康检查 / 健康分无Cluster / Broker / Topic / Group / ZK / Connect / MirrorMaker 全维度规则可自定义指标观测有限关键指标统计 GUI 展示 自定义配置Broker 配置无支持重启生效 Controller 变更记录 DatalogsTopic 配置无支持实时生效 批量迁移 / 扩缩副本ACL无原生 ACL GUI 配置 KafkaUser消息测试无生产 / 消费消息模拟器企业版均衡Leader Rebalance / 优先副本选举Load Rebalance企业版支持定时任务限流鉴权 / APPID有删除Topic 过期 / 配额申请有删除多租户 / 工单流程有删除系统管理基础用户体系自定义角色 页面/操作权限 审计日志优化七、总结与升级建议Know Streaming V3.0 相对 Logi-KM V2.x 是一次重构式升级核心脉络可概括为抽象模型简化删除逻辑集群、Region、APPID、多租户、工单等复杂概念观测能力增强健康分、关键指标 GUI、变更记录、审计日志操作方式 GUI 化Broker/Topic 参数配置、原生 ACL、批量迁移/扩缩副本。对于正在使用或评估该项目的读者从 V2.x 升级 V3.0 时需重点关注被删除能力限流、鉴权、APPID、多租户、工单、Topic 过期与配额的替代方案以及 AGPL 3.0 协议带来的合规要求部署后建议优先配置健康检查规则与指标展示项健康设置页面对应 HealthySetting.tsx充分利用 V3.0 的可管、可见、可掌控能力社区版与企业版的功能边界Load Rebalance、消息测试等标注为企业版需要在选型时一并确认。关联阅读仓库完整文档目录见 docs/其中 docs/user_guide/用户使用手册.md、docs/user_guide/页面无数据排查手册.md 可进一步了解 V3.0 的实际使用与排查方法健康检查与指标体系的核心源码位于 km-core/src/main/java/com/xiaojukeji/know/streaming/km/core/service/health/。赞分享后端消息队列运维可观测性【免费下载链接】KnowStreaming一站式云原生实时流数据平台通过0侵入、插件化构建企业级Kafka服务极大降低操作、存储和管理实时流数据门槛项目地址https://gitcode.com/gh_mirrors/kn/KnowStreaming点击查看免费下载相关推荐HunyuanImage-3.0版本更新日志v1.0到v3.0核心功能演进史HunyuanImage 3.0版本更新日志v1.0到v3.0核心功能演进史 HunyuanImage 3.0作为腾讯混元系列的旗舰多模态图像生成模型历经三人工智能大模型基础模型计算机视觉如何快速上手吉里吉里Z面向新手的完整开发入门教程如何快速上手吉里吉里Z面向新手的完整开发入门教程 吉里吉里ZKirikiri Z是一款强大的多媒体应用开发引擎广泛用于创建视觉小说、游戏和互动内容。本教游戏开发如何在iOS 15-17上使用roothide Bootstrap从TrollStore安装到插件注入完全教程如何在iOS 15 17上使用roothide Bootstrap从TrollStore安装到插件注入完全教程 roothide Bootstrap是一款功能移动开发应用安全逆向工程上一篇3个革新性协作功能让游戏开发者实现Godot AI无缝协作开发下一篇移动AI助手新纪元ChatterUI本地化部署与多场景实践指南创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
返回列表