StarRocks 3.0 版本发布说明深度解读存算分离架构、存储与查询引擎的演进v3.0.0–v3.0.9【免费下载链接】starrocksThe worlds fastest open query engine for sub-second analytics both on and off the data lakehouse. With the flexibility to support nearly any scenario, StarRocks provides best-in-class performance for multi-dimensional analytics, real-time analytics, and ad-hoc queries. A Linux Foundation project.项目地址: https://gitcode.com/GitHub_Trending/st/starrocks本文基于 StarRocks 仓库中的官方发布说明文档 docs/en/release_notes/release-3.0.md系统梳理 3.0 系列从 3.0.0 到 3.0.9 的完整功能演进以 3.0.0 GA 引入的存算分离shared-data架构为主线覆盖存储引擎、数据湖分析、RBAC 权限体系、物化视图与查询引擎的重要改进并结合当前仓库源码FE 配置、BE 配置、会话变量与聚合函数实现逐项验证各参数的定义与默认值帮助你在升级、回退和日常运维中做出有依据的技术决策。1. 3.0.0 GA奠定存算分离架构的基座版本发布日期2023 年 4 月 28 日。3.0.0 是 StarRocks 3.0 系列的首个 GA 版本也是整个系列的技术分水岭它首次引入存算分离架构同时完成了权限体系RBAC、物化视图改写能力、Presto/Trino 方言兼容等多条产品线的重大升级。1.1 系统架构存储与计算解耦shared-data3.0 版本支持将数据持久化到 S3 兼容的对象存储从而获得三个核心收益资源隔离计算节点BE/CN与存储介质解耦可独立扩缩容降低成本存储成本从本地盘转向对象存储弹性伸缩计算资源可按负载快速伸缩。本地磁盘被用作热数据缓存Cache Data从源码结构和官方描述看当本地磁盘缓存命中时新存算分离架构的查询性能与经典存算一体shared-nothing架构相当。上图即为两种集群形态的架构对比左侧 Classic ClusterShared-nothing中每个 BE 同时承担执行引擎与存储引擎、持有 Local Data右侧 Elastic ClusterShared-data中 BE 仅持有 Cache Data数据统一落到 S3/HDFS。1.2 存储引擎与数据接入3.0.0支持AUTO_INCREMENT属性提供全局唯一 ID简化数据管理支持自动分区Automatic Partitioning与分区表达式Partitioning Expressions让分区创建更易用、更灵活主键表Primary Key Table支持更完整的UPDATE与DELETE语法包括 CTE 和多表引用为 Broker Load 和 INSERT INTO 作业新增Load Profile可通过 load profile 查看加载作业详情用法与分析查询 Profile 相同。1.3 数据湖分析3.0.0【Preview】支持 Presto/Trino 兼容方言Presto/Trino 的 SQL 可被自动改写为 StarRocks 的 SQL 模式通过系统变量sql_dialect控制3.0.4 起进一步支持trino方言下表别名的不区分大小写【Preview】支持 JDBC Catalog可对 MySQL 等外部库建外部表支持使用SET CATALOG在当前会话中手动切换 Catalog。1.4 权限与安全全新 RBAC 权限体系提供具备完整 RBAC 能力的新权限系统支持角色继承与默认角色提供更丰富的权限管理对象和更细粒度的权限新增权限相关 SQL 语句SET DEFAULT ROLE、SET ROLE、SHOW ROLES、SHOW USERS。1.5 查询引擎3.0.0更多涉及 Join 的查询可以享受查询缓存Query Cache例如新增支持 Broadcast Join 与 Bucket Shuffle Join 场景支持全局 UDFGlobal UDFs动态自适应并行度系统可自动调整pipeline_dop参数以匹配查询并行度。1.6 SQL 参考新增能力3.0.0除权限语句外3.0.0 还新增了一批函数能力半结构化数据分析函数map_apply、map_from_arraysarray_agg支持ORDER BY窗口函数LEAD/LAG支持IGNORE NULLS字符串函数replace、hex_decode_binary、hex_decode_string加密函数base64_decode_binary、base64_decode_string数学函数sinh、cosh、tanh实用函数current_role。1.7 改进汇总3.0.0部署更新了 Docker 镜像及相关 Docker 部署文档至 3.0 版本。存储引擎与数据接入数据接入支持更多 CSV 参数SKIP_HEADER、TRIM_SPACE、ENCLOSE、ESCAPE适用于 Stream Load、Broker Load、Routine Load主键表中主键与排序键解耦建表时可在ORDER BY中单独指定排序键优化了主键表在大批量写入、部分列更新、持久化主键索引等场景下的内存占用支持创建异步 INSERT 任务SUBMIT TASK。物化视图改写能力优化支持 View Delta Join、Outer Join、Cross Join 的改写优化了带分区的 Union 改写构建能力增强支持 CTE、select *、Union优化SHOW MATERIALIZED VIEWS返回信息支持批量添加 MV 分区提升 MV 构建时加分区效率。查询引擎所有算子均已支持Pipeline 引擎非 Pipeline 代码将在后续版本移除改进大查询定位Big Query Positioning并新增大查询日志SHOW PROCESSLIST支持查看 CPU 与内存信息优化 Outer Join Reorder优化 SQL 解析阶段的错误提示提供更准确的错误定位。数据湖分析优化元数据统计收集支持使用SHOW CREATE TABLE查看外部 CatalogHive、Iceberg、Hudi、Delta Lake托管表的建表语句。1.8 Bug Fixes3.0.0部分源码文件 license header 中的 URL 无法访问SELECT 查询期间可能返回未知错误支持SHOW/SET CHARACTER加载数据超过字段长度时返回的错误信息不正确支持show full fields from table分区裁剪导致 MV 改写失败CREATE MATERIALIZED VIEW中含count(distinct)且作用于 DISTRIBUTED BY 列时 MV 改写失败物化视图使用 VARCHAR 列作为分区列时 FE 无法启动窗口函数LEAD/LAG对IGNORE NULLS处理不正确添加临时分区与自动分区创建冲突。1.9 行为变更3.0.0新 RBAC 系统兼容旧权限与角色但GRANT、REVOKE等语句语法发生变更SHOW MATERIALIZED VIEW更名为SHOW MATERIALIZED VIEWS新增保留关键字AUTO_INCREMENT、CURRENT_ROLE、DEFERRED、ENCLOSE、ESCAPE、IMMEDIATE、PRIVILEGES、SKIP_HEADER、TRIM_SPACE、VARBINARY。1.10 升级与回退注意事项v2.5 ↔ v3.0支持从 v2.5 升级到 v3.0或从 v3.0 回退到 v2.5。理论上也支持更早版本直接升级但官方建议先升级到 v2.5 再升级到 v3.0以确保系统可用性。BDBJEv3.0 升级了 BDB 库且 BDBJE 不可回退。回退后仍须使用 v3.0 的 BDB 库操作步骤将 FE 包替换为 v2.5 包后把 v3.0 的fe/lib/starrocks-bdb-je-18.3.13.jar复制到 v2.5 的fe/lib目录删除fe/lib/je-7.*.jar。权限系统升级到 v3.0 后默认使用新 RBAC 权限系统此时只能回退到 v2.5。回退后需执行ALTER SYSTEM CREATE IMAGE创建新镜像并等待其同步到所有 Follower FE否则部分回退操作可能失败该命令自 2.5.3 起支持。2. 3.0.93.0 系列的最终版本发布日期2024 年 1 月 2 日。3.0.9 是 3.0 系列功能与稳定性打磨的收官版本新增了近似分位数函数、rowset 数量指标并对主键表、Bitmap、Compaction 等做了大量优化。2.1 New Features新增聚合函数 percentile_disc新增指标max_tablet_rowset_num用于设置允许的最大 rowset 数量帮助发现潜在的 Compaction 问题、降低 “too many versions” 错误的出现频率。在源码中该指标定义于 storage_metrics.h并在 tablet_manager.cpp 中参与检查逻辑。2.2 Improvements会话变量sql_mode新增取值GROUP_CONCAT_LEGACY用于兼容 v2.5 之前group_concat的实现逻辑。从源码结构看该模式位定义在 SqlModeHelper.javaMODE_GROUP_CONCAT_LEGACY 1L 36并在SQL_MODE_SET中注册使用 JDK 时默认 GC 算法为 G1information_schema中be_tablets视图新增INDEX_DISK字段记录持久化索引的磁盘占用字节MySQL 外部表及 JDBC Catalog 外部表的查询支持在 WHERE 子句中使用关键字支持对自动分区表的指定分区执行更新指定分区不存在时返回错误SHOW DATA返回的主键表大小现在包含.cols文件部分列更新与生成列相关和持久化索引文件的大小优化主键表在所有 rowset 上执行 Compaction 时的持久化索引更新性能减少磁盘读 I/OWHERE 子句中 LIKE 右侧字符串不含%或_时LIKE 算子被转换为算子优化主键表 Compaction Score 计算逻辑使其取值范围与其他三类表更一致SHOW ROUTINE LOAD结果新增各分区消费消息的时间戳优化若干 Bitmap 相关操作性能嵌套循环 Join 优化、bitmap_xor函数优化、Bitmap 支持 Copy on Write 以降低内存消耗。2.3 Behavior Change新增会话变量enable_materialized_view_for_insert控制物化视图是否改写INSERT INTO SELECT中的查询默认falseFE 配置项enable_new_publish_mechanism从动态参数改为静态参数修改后需重启 FE 生效。从源码结构看当前仓库 Config.java 中该项为静态字段第 4023 行附近与 3.0.9 的行为变更记录一致垃圾文件trash files默认保留期从 3 天改为 1 天。2.4 Parameter Change以下三个参数组在 3.0.9 中新增本文同时给出当前仓库源码中的定义位置便于查证会话变量Session Variables参数默认值说明源码位置cbo_decimal_cast_string_stricttrue控制 CBO 中 DECIMAL 转 STRING 的方式true为 v2.5 起的严格转换按 scale 截断并补 0false为 v2.5 前逻辑处理所有有效数字SessionVariable.javatransaction_read_only/tx_read_only—指定事务访问模式兼容 MySQL 5.7.20SessionVariable.javaFE 参数参数默认值说明源码位置routine_load_unstable_threshold_second3600当前仓库Routine Load 稳定性判定阈值与 3.0.9 新增的分区消费时间戳配合使用Config.javahttp_worker_threads_num0FE HTTP 服务器处理请求的线程数设为 0 或负数时实际线程数为 CPU 核心数的 2 倍Config.javadefault_mv_refresh_immediatetrue物化视图创建后是否立即刷新Config.javaBE 参数参数默认值说明源码位置enable_stream_load_verbose_logfalse为true时记录 Stream Load 作业的 HTTP 请求与响应便于排查问题config.hpindex_major_compaction_limit_per_disk1限制单盘 Compaction 最大并发度解决 Compaction 导致的磁盘 I/O 不均衡问题config.hobject_storage_connect_timeout_ms-13.0.9 发布值与对象存储建立 socket 连接的超时时长-1表示使用 SDK 默认超时config.hobject_storage_request_timeout_ms-13.0.9 发布值与对象存储建立 HTTP 连接的超时时长-1表示使用 SDK 默认超时config.h需要注意从源码结构看当前仓库中object_storage_request_timeout_ms的默认值已调整为10000毫秒并作为starlet_fslib_s3client_request_timeout_ms的别名存在说明该默认值在后续版本中发生了变化本文按 3.0.9 发布说明记录其当时的默认值。2.5 Bug Fixes3.0.9某些场景下使用 Catalog 读取 ORC 外部表可能导致 BE 崩溃数据损坏时创建持久化索引可能导致 BE 崩溃添加 Bitmap 索引后 BE 偶发崩溃重放副本操作失败可能导致 FE 崩溃FE 参数recover_with_empty_tablet设为true时可能导致 FE 崩溃哈希 Join 期间查询失败导致 BE 崩溃存算一体集群中查询 Iceberg 或 Hive 表可能导致 BE 崩溃修复 “get_applied_rowsets failed, tablet updates is in error state: tablet:18849 actual row size changed after compaction” 错误执行show proc /statistic可能死锁enable_collect_query_detail_info设为true后 FE 性能骤降向开启持久化索引的主键表写入大量数据可能报错从 v2.4 或更早版本升级后 Compaction Score 可能异常升高通过 MariaDB ODBC 驱动查询INFORMATION_SCHEMA时schemata视图的CATALOG_NAME列仅返回 nullFE 因加载的异常数据崩溃且无法重启Schema Change 执行期间 Stream Load 处于PREPARED状态时作业待加载的部分源数据丢失HDFS 存储路径末尾包含两个及以上斜杠/时HDFS 备份恢复失败ALTER TABLE添加的partition_live_number属性不生效array_distinct函数偶发导致 BE 崩溃刷新物化视图时可能死锁全局 Runtime Filter 在特定场景下可能导致 BE 崩溃bitmap_to_string可能因数据类型溢出返回错误结果。3. 3.0.1–3.0.8中间版本的逐版演进3.1 版本 3.0.82023 年 11 月 17 日改进INFORMATION_SCHEMA的COLUMNS视图可显示 ARRAY、MAP、STRUCT 列。Bug Fixes执行show proc /current_queries;的同时有新查询开始执行时 BE 可能崩溃高频向指定了排序键的主键表持续加载数据时可能出现 Compaction 失败Broker Load 作业带过滤条件时某些情况下数据加载期间 BE 可能崩溃执行SHOW GRANTS时报告未知错误cast()函数目标类型与原类型相同时特定数据类型可能导致 BE 崩溃information_schema.columns视图中 BINARY/VARBINARY 的DATA_TYPE与COLUMN_TYPE显示为unknown长期高频向开启持久化索引的主键表加载数据可能导致 BE 崩溃启用 Query Cache 时查询结果不正确集群重启后恢复表的数据可能与备份前不一致执行 RESTORE 的同时发生 Compaction 可能导致 BE 崩溃。3.2 版本 3.0.72023 年 10 月 18 日改进窗口函数COVAR_SAMP、COVAR_POP、CORR、VARIANCE、VAR_SAMP、STD、STDDEV_SAMP现在支持ORDER BY子句与 Window 子句写入主键表的加载作业 Publish 阶段由异步改为同步作业结束后数据立即可查DECIMAL 类型查询发生十进制溢出时返回错误而非 NULL含无效注释的 SQL 命令执行结果与 MySQL 保持一致单分区列 RANGE 分区或表达式分区的表包含分区列表达式的 SQL 谓词也可用于分区裁剪。Bug Fixes并发创建和删除库表在某些情况下导致表找不到、进而加载失败使用 UDF 可能导致内存泄漏ORDER BY含聚合函数时返回 “java.lang.IllegalStateException: null”使用多级 Hive Catalog 查询存储在腾讯云 COS 中的数据时结果不正确ARRAYSTRUCT类型数据中 STRUCT 部分子字段缺失时填充默认值导致数据长度错误并引发 BE 崩溃升级 Berkeley DB Java Edition 版本以规避安全漏洞对主键表并发执行 truncate 与加载时抛 “java.lang.NullPointerException”Schema Change 执行时间过长时因指定版本的 tablet 被 GC 导致失败使用 CloudCanal 向NOT NULL且无默认值的列加载数据时报 “Unsupported dataFormat value is : \N”存算分离集群中information_schema.COLUMNS不记录表键信息导致 Flink Connector 加载后无法执行 DELETE升级过程中列类型同步升级如 Decimal 到 Decimal v3时特定表的 Compaction 可能导致 BE 崩溃使用 Flink Connector 高并发加载且 HTTP 线程与 Scan 线程均达上限时加载作业被意外挂起调用 libcurl 时 BE 崩溃向主键表添加 BITMAP 类型列时出错。3.3 版本 3.0.62023 年 9 月 12 日行为变更使用group_concat函数时必须使用SEPARATOR关键字声明分隔符。New Features聚合函数group_concat支持DISTINCT关键字与ORDER BY子句分区数据可随时间自动冷化不支持 LIST 分区。改进支持 WHERE 子句中所有复合谓词与所有表达式的隐式类型转换可用会话变量enable_strict_type开启或关闭默认false统一了 FE 与 BE 之间字符串转整数的逻辑。Bug Fixesenable_orc_late_materialization为true时Hive Catalog 查询 ORC 文件中的 STRUCT 数据返回意外结果通过 Hive Catalog 查询时 WHERE 子句指定分区列与 OR 运算符导致结果不正确RESTful API 动作show_data对云原生表返回的值不正确数据存储在 Azure Blob Storage 的存算分离集群回退到 3.0 并建表后 FE 无法启动即使已授权用户在 Iceberg Catalog 中查询表时仍无权限SHOW FULL COLUMNS返回的 BITMAP 或 HLL 类型列Default字段值不正确使用ADMIN SET FRONTEND CONFIG修改 FE 动态参数max_broker_load_job_concurrency不生效物化视图刷新期间修改其刷新策略可能导致 FE 启动失败执行select count(distinct(intdouble)) from table_name返回unknown error主键表恢复后重启 BE 出现元数据错误与不一致。3.4 版本 3.0.52023 年 8 月 16 日New Features支持聚合函数COVAR_SAMP、COVAR_POP、CORR支持窗口函数COVAR_SAMP、COVAR_POP、CORR、VARIANCE、VAR_SAMP、STD、STDDEV_SAMP。改进xxx too many versions xxx错误信息增加更多提示动态分区进一步支持以年为分区单位建表使用表达式分区及INSERT OVERWRITE覆盖指定分区时分区字段不区分大小写。Bug FixesFE 中表级扫描统计不准确导致查询与加载指标失真修改分区表排序键后查询结果不稳定数据恢复后 tablet 版本在 BE 与 FE 之间不一致创建 Colocation 表未指定分桶数时被推断为 0导致新增分区失败INSERT INTO SELECT结果集为空时SHOW LOAD状态误报CANCELEDsub_bitmap函数输入非 BITMAP 类型时 BE 可能崩溃更新AUTO_INCREMENT列时 BE 可能崩溃物化视图 Outer Join 与 Anti Join 改写错误平均行大小估算不准导致主键部分更新占用过多内存激活非活动物化视图可能导致 FE 崩溃查询无法改写到 Hudi Catalog 外部表创建的物化视图Hive 表删除并手动更新元数据缓存后数据仍可查询同步调用手动刷新异步物化视图导致information_schema.task_runs出现多条 INSERT OVERWRITE 记录LabelCleaner 线程阻塞导致 FE 内存泄漏。3.5 版本 3.0.42023 年 7 月 18 日New Feature即使查询与物化视图使用不同类型的 Join查询也可被改写。改进优化异步物化视图手动刷新支持REFRESH MATERIALIZED VIEW WITH SYNC MODE语法同步调用刷新任务查询字段不在 MV 输出列中但在 MV 谓词中时查询仍可被改写命中 MVsql_dialect设为trino时表别名不区分大小写information_schema.tables_config表新增table_id字段可关联be_tablets查询 tablet 所属库表名。Bug Fixes含sum聚合的查询改写为单表 MV 时类型推断问题可能导致sum()值不正确存算分离集群中SHOW PROC查看 tablet 信息时出错STRUCT 中 CHAR 数据长度超过上限时 INSERT 挂起INSERT INTO SELECT带 FULL JOIN 时部分数据行未返回ALTER TABLE修改default.storage_medium表属性时报 “Unknown table property”Broker Load 加载空文件时报错下线 BEDecommissioning偶尔挂起。3.6 版本 3.0.32023 年 6 月 28 日改进StarRocks 外部表的元数据同步改为在数据加载时进行分区自动创建的表执行INSERT OVERWRITE时可指定分区详见自动分区能力优化向非分区表添加分区时的错误信息。Bug FixesParquet 文件含复杂数据类型时 min/max filter 取错字段库或表已删除时加载任务仍在排队FE 重启有小概率导致 BE 崩溃enable_profile为true时加载与查询作业偶发冻结存活 BE 少于 3 个的集群执行INSERT OVERWRITE时错误信息不准确。3.7 版本 3.0.22023 年 6 月 13 日改进查询经异步物化视图改写后UNION 查询中的谓词可下推优化表的自动 tablet 分布策略移除 NetworkTime 对系统时钟的依赖修复各服务器系统时钟不一致导致的 NetworkTime 错误。Bug Fixes数据加载与 Schema Change 并发时 Schema Change 可能挂起会话变量pipeline_profile_level设为0时查询报错cloud_native_storage_type设为S3时 CREATE TABLE 报错未使用密码时 LDAP 认证也能成功加载作业涉及的表不存在时CANCEL LOAD失败。升级说明若系统中存在名为starrocks的数据库升级前请使用ALTER DATABASE RENAME改名因为starrocks是存放权限信息的新增默认系统库名。3.8 版本 3.0.12023 年 6 月 1 日New Features【Preview】支持将大算子的中间计算结果溢写Spill到磁盘降低大算子的内存消耗详见仓库文档 docs/en/administration/spill_to_disk.md 对应的 Spill to disk 主题Routine Load 支持加载 Avro 数据支持 Microsoft Azure Storage含 Azure Blob Storage 与 Azure Data Lake Storage。改进存算分离集群支持使用 StarRocks 外部表与另一个 StarRocks 集群同步数据Information Schema 新增load_tracking_logs记录最近的加载错误CREATE TABLE语句忽略特殊字符。Bug Fixes主键表的SHOW CREATE TABLE返回信息不正确Routine Load 作业期间 BE 可能崩溃创建分区表时指定不支持的属性触发空指针异常NPESHOW TABLE STATUS返回信息不完整。升级说明与 3.0.2 相同若系统已有名为starrocks的数据库升级前请先ALTER DATABASE RENAME。4. 源码定位指南在仓库中查证 3.0 新参数与新特性以下内容帮助你在当前仓库中定位 3.0 系列发布说明提到的关键改动验证参数定义与实际默认值。4.1 FE 配置项fe/fe-core/src/main/java/com/starrocks/common/Config.javahttp_worker_threads_numHTTP 服务线程数默认 00 或负数时取 CPU 核数 2 倍enable_new_publish_mechanism新版 Publish 机制开关3.0.9 起为静态参数修改需重启 FE其执行载体为 PublishVersionDaemon.java 等事务发布组件default_mv_refresh_immediate建 MV 后立即刷新默认trueroutine_load_unstable_threshold_secondRoutine Load 不稳定阈值当前仓库默认 3600 秒。4.2 BE 配置项be/src/common/config.henable_stream_load_verbose_log默认false记录 Stream Load 的 HTTP 请求/响应pindex_major_compaction_limit_per_disk默认1限制每盘持久化索引 Major Compaction 并发缓解盘间 I/O 不均object_storage_connect_timeout_ms/object_storage_request_timeout_ms对象存储连接与请求超时配置后者同时作为starlet_fslib_s3client_request_timeout_ms的别名。对应的参数说明文档可参考 FE 参数文档 与 BE 参数文档。4.3 会话变量与 sql_modecbo_decimal_cast_string_strict、enable_materialized_view_for_insert、enable_strict_type等会话变量统一定义在 SessionVariable.java 中sql_mode新增取值GROUP_CONCAT_LEGACY的实现位于 SqlModeHelper.java以独立模式位bit 36表示可与 MySQL 兼容模式叠加使用。4.4 percentile_disc 的实现3.0.9 新增的percentile_disc函数在 BE 侧实现于 percentile_cont.h、aggregator.cpp 与 aggregate_resolver_others.cpp 等文件中函数注册在 FE 侧 FunctionSet.java 中声明并有对应测试覆盖 aggregate_test.cpp 与 AnalyzeAggregateTest.java。其用法文档见 percentile_disc 函数文档。4.5 max_tablet_rowset_num 指标该指标在 BE 侧由 storage_metrics.h 定义、storage_metrics.cpp 更新配合 tablet_manager.cpp 中的 rowset 数量检查用于在写入侧提前发现 Compaction 滞后问题监控告警的用法可参考 告警文档。5. 运维升级要点小结升级路径推荐 v2.5 → v3.0升级到 v3.0 后 RBAC 默认启用回退只能回 v2.5且必须先处理 BDBJE jar保留starrocks-bdb-je-18.3.13.jar、删除je-7.*.jar命名冲突自 3.0.1 起用户库不应再占用starrocks这一默认系统库名行为差异需评估group_concat强制SEPARATOR、enable_new_publish_mechanism静态化、trash 文件保留期缩短为 1 天、新增 10 个保留关键字3.0.0、enable_materialized_view_for_insert默认关闭 MV 对 INSERT 的改写等对象存储用户3.0.9 起可通过object_storage_connect_timeout_ms/object_storage_request_timeout_ms显式控制对象存储超时注意当前仓库默认值已演进为10000ms实际取值以所部署版本的配置为准存算分离落地3.0.0 的 shared-data 架构使数据可持久化到 S3 兼容对象存储并以本地盘做热数据缓存这是后续 3.1 版本云原生能力的基础规划架构时应重点评估缓存命中率与对象存储带宽。【免费下载链接】starrocksThe worlds fastest open query engine for sub-second analytics both on and off the data lakehouse. With the flexibility to support nearly any scenario, StarRocks provides best-in-class performance for multi-dimensional analytics, real-time analytics, and ad-hoc queries. A Linux Foundation project.项目地址: https://gitcode.com/GitHub_Trending/st/starrocks创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 StarRocks 3.0 版本发布说明深度解读：存算分离架构、存储与查询引擎的演进（v3.0.0–v3.0.9）
StarRocks 3.0 版本发布说明深度解读存算分离架构、存储与查询引擎的演进v3.0.0–v3.0.9【免费下载链接】starrocksThe worlds fastest open query engine for sub-second analytics both on and off the data lakehouse. With the flexibility to support nearly any scenario, StarRocks provides best-in-class performance for multi-dimensional analytics, real-time analytics, and ad-hoc queries. A Linux Foundation project.项目地址: https://gitcode.com/GitHub_Trending/st/starrocks本文基于 StarRocks 仓库中的官方发布说明文档 docs/en/release_notes/release-3.0.md系统梳理 3.0 系列从 3.0.0 到 3.0.9 的完整功能演进以 3.0.0 GA 引入的存算分离shared-data架构为主线覆盖存储引擎、数据湖分析、RBAC 权限体系、物化视图与查询引擎的重要改进并结合当前仓库源码FE 配置、BE 配置、会话变量与聚合函数实现逐项验证各参数的定义与默认值帮助你在升级、回退和日常运维中做出有依据的技术决策。1. 3.0.0 GA奠定存算分离架构的基座版本发布日期2023 年 4 月 28 日。3.0.0 是 StarRocks 3.0 系列的首个 GA 版本也是整个系列的技术分水岭它首次引入存算分离架构同时完成了权限体系RBAC、物化视图改写能力、Presto/Trino 方言兼容等多条产品线的重大升级。1.1 系统架构存储与计算解耦shared-data3.0 版本支持将数据持久化到 S3 兼容的对象存储从而获得三个核心收益资源隔离计算节点BE/CN与存储介质解耦可独立扩缩容降低成本存储成本从本地盘转向对象存储弹性伸缩计算资源可按负载快速伸缩。本地磁盘被用作热数据缓存Cache Data从源码结构和官方描述看当本地磁盘缓存命中时新存算分离架构的查询性能与经典存算一体shared-nothing架构相当。上图即为两种集群形态的架构对比左侧 Classic ClusterShared-nothing中每个 BE 同时承担执行引擎与存储引擎、持有 Local Data右侧 Elastic ClusterShared-data中 BE 仅持有 Cache Data数据统一落到 S3/HDFS。1.2 存储引擎与数据接入3.0.0支持AUTO_INCREMENT属性提供全局唯一 ID简化数据管理支持自动分区Automatic Partitioning与分区表达式Partitioning Expressions让分区创建更易用、更灵活主键表Primary Key Table支持更完整的UPDATE与DELETE语法包括 CTE 和多表引用为 Broker Load 和 INSERT INTO 作业新增Load Profile可通过 load profile 查看加载作业详情用法与分析查询 Profile 相同。1.3 数据湖分析3.0.0【Preview】支持 Presto/Trino 兼容方言Presto/Trino 的 SQL 可被自动改写为 StarRocks 的 SQL 模式通过系统变量sql_dialect控制3.0.4 起进一步支持trino方言下表别名的不区分大小写【Preview】支持 JDBC Catalog可对 MySQL 等外部库建外部表支持使用SET CATALOG在当前会话中手动切换 Catalog。1.4 权限与安全全新 RBAC 权限体系提供具备完整 RBAC 能力的新权限系统支持角色继承与默认角色提供更丰富的权限管理对象和更细粒度的权限新增权限相关 SQL 语句SET DEFAULT ROLE、SET ROLE、SHOW ROLES、SHOW USERS。1.5 查询引擎3.0.0更多涉及 Join 的查询可以享受查询缓存Query Cache例如新增支持 Broadcast Join 与 Bucket Shuffle Join 场景支持全局 UDFGlobal UDFs动态自适应并行度系统可自动调整pipeline_dop参数以匹配查询并行度。1.6 SQL 参考新增能力3.0.0除权限语句外3.0.0 还新增了一批函数能力半结构化数据分析函数map_apply、map_from_arraysarray_agg支持ORDER BY窗口函数LEAD/LAG支持IGNORE NULLS字符串函数replace、hex_decode_binary、hex_decode_string加密函数base64_decode_binary、base64_decode_string数学函数sinh、cosh、tanh实用函数current_role。1.7 改进汇总3.0.0部署更新了 Docker 镜像及相关 Docker 部署文档至 3.0 版本。存储引擎与数据接入数据接入支持更多 CSV 参数SKIP_HEADER、TRIM_SPACE、ENCLOSE、ESCAPE适用于 Stream Load、Broker Load、Routine Load主键表中主键与排序键解耦建表时可在ORDER BY中单独指定排序键优化了主键表在大批量写入、部分列更新、持久化主键索引等场景下的内存占用支持创建异步 INSERT 任务SUBMIT TASK。物化视图改写能力优化支持 View Delta Join、Outer Join、Cross Join 的改写优化了带分区的 Union 改写构建能力增强支持 CTE、select *、Union优化SHOW MATERIALIZED VIEWS返回信息支持批量添加 MV 分区提升 MV 构建时加分区效率。查询引擎所有算子均已支持Pipeline 引擎非 Pipeline 代码将在后续版本移除改进大查询定位Big Query Positioning并新增大查询日志SHOW PROCESSLIST支持查看 CPU 与内存信息优化 Outer Join Reorder优化 SQL 解析阶段的错误提示提供更准确的错误定位。数据湖分析优化元数据统计收集支持使用SHOW CREATE TABLE查看外部 CatalogHive、Iceberg、Hudi、Delta Lake托管表的建表语句。1.8 Bug Fixes3.0.0部分源码文件 license header 中的 URL 无法访问SELECT 查询期间可能返回未知错误支持SHOW/SET CHARACTER加载数据超过字段长度时返回的错误信息不正确支持show full fields from table分区裁剪导致 MV 改写失败CREATE MATERIALIZED VIEW中含count(distinct)且作用于 DISTRIBUTED BY 列时 MV 改写失败物化视图使用 VARCHAR 列作为分区列时 FE 无法启动窗口函数LEAD/LAG对IGNORE NULLS处理不正确添加临时分区与自动分区创建冲突。1.9 行为变更3.0.0新 RBAC 系统兼容旧权限与角色但GRANT、REVOKE等语句语法发生变更SHOW MATERIALIZED VIEW更名为SHOW MATERIALIZED VIEWS新增保留关键字AUTO_INCREMENT、CURRENT_ROLE、DEFERRED、ENCLOSE、ESCAPE、IMMEDIATE、PRIVILEGES、SKIP_HEADER、TRIM_SPACE、VARBINARY。1.10 升级与回退注意事项v2.5 ↔ v3.0支持从 v2.5 升级到 v3.0或从 v3.0 回退到 v2.5。理论上也支持更早版本直接升级但官方建议先升级到 v2.5 再升级到 v3.0以确保系统可用性。BDBJEv3.0 升级了 BDB 库且 BDBJE 不可回退。回退后仍须使用 v3.0 的 BDB 库操作步骤将 FE 包替换为 v2.5 包后把 v3.0 的fe/lib/starrocks-bdb-je-18.3.13.jar复制到 v2.5 的fe/lib目录删除fe/lib/je-7.*.jar。权限系统升级到 v3.0 后默认使用新 RBAC 权限系统此时只能回退到 v2.5。回退后需执行ALTER SYSTEM CREATE IMAGE创建新镜像并等待其同步到所有 Follower FE否则部分回退操作可能失败该命令自 2.5.3 起支持。2. 3.0.93.0 系列的最终版本发布日期2024 年 1 月 2 日。3.0.9 是 3.0 系列功能与稳定性打磨的收官版本新增了近似分位数函数、rowset 数量指标并对主键表、Bitmap、Compaction 等做了大量优化。2.1 New Features新增聚合函数 percentile_disc新增指标max_tablet_rowset_num用于设置允许的最大 rowset 数量帮助发现潜在的 Compaction 问题、降低 “too many versions” 错误的出现频率。在源码中该指标定义于 storage_metrics.h并在 tablet_manager.cpp 中参与检查逻辑。2.2 Improvements会话变量sql_mode新增取值GROUP_CONCAT_LEGACY用于兼容 v2.5 之前group_concat的实现逻辑。从源码结构看该模式位定义在 SqlModeHelper.javaMODE_GROUP_CONCAT_LEGACY 1L 36并在SQL_MODE_SET中注册使用 JDK 时默认 GC 算法为 G1information_schema中be_tablets视图新增INDEX_DISK字段记录持久化索引的磁盘占用字节MySQL 外部表及 JDBC Catalog 外部表的查询支持在 WHERE 子句中使用关键字支持对自动分区表的指定分区执行更新指定分区不存在时返回错误SHOW DATA返回的主键表大小现在包含.cols文件部分列更新与生成列相关和持久化索引文件的大小优化主键表在所有 rowset 上执行 Compaction 时的持久化索引更新性能减少磁盘读 I/OWHERE 子句中 LIKE 右侧字符串不含%或_时LIKE 算子被转换为算子优化主键表 Compaction Score 计算逻辑使其取值范围与其他三类表更一致SHOW ROUTINE LOAD结果新增各分区消费消息的时间戳优化若干 Bitmap 相关操作性能嵌套循环 Join 优化、bitmap_xor函数优化、Bitmap 支持 Copy on Write 以降低内存消耗。2.3 Behavior Change新增会话变量enable_materialized_view_for_insert控制物化视图是否改写INSERT INTO SELECT中的查询默认falseFE 配置项enable_new_publish_mechanism从动态参数改为静态参数修改后需重启 FE 生效。从源码结构看当前仓库 Config.java 中该项为静态字段第 4023 行附近与 3.0.9 的行为变更记录一致垃圾文件trash files默认保留期从 3 天改为 1 天。2.4 Parameter Change以下三个参数组在 3.0.9 中新增本文同时给出当前仓库源码中的定义位置便于查证会话变量Session Variables参数默认值说明源码位置cbo_decimal_cast_string_stricttrue控制 CBO 中 DECIMAL 转 STRING 的方式true为 v2.5 起的严格转换按 scale 截断并补 0false为 v2.5 前逻辑处理所有有效数字SessionVariable.javatransaction_read_only/tx_read_only—指定事务访问模式兼容 MySQL 5.7.20SessionVariable.javaFE 参数参数默认值说明源码位置routine_load_unstable_threshold_second3600当前仓库Routine Load 稳定性判定阈值与 3.0.9 新增的分区消费时间戳配合使用Config.javahttp_worker_threads_num0FE HTTP 服务器处理请求的线程数设为 0 或负数时实际线程数为 CPU 核心数的 2 倍Config.javadefault_mv_refresh_immediatetrue物化视图创建后是否立即刷新Config.javaBE 参数参数默认值说明源码位置enable_stream_load_verbose_logfalse为true时记录 Stream Load 作业的 HTTP 请求与响应便于排查问题config.hpindex_major_compaction_limit_per_disk1限制单盘 Compaction 最大并发度解决 Compaction 导致的磁盘 I/O 不均衡问题config.hobject_storage_connect_timeout_ms-13.0.9 发布值与对象存储建立 socket 连接的超时时长-1表示使用 SDK 默认超时config.hobject_storage_request_timeout_ms-13.0.9 发布值与对象存储建立 HTTP 连接的超时时长-1表示使用 SDK 默认超时config.h需要注意从源码结构看当前仓库中object_storage_request_timeout_ms的默认值已调整为10000毫秒并作为starlet_fslib_s3client_request_timeout_ms的别名存在说明该默认值在后续版本中发生了变化本文按 3.0.9 发布说明记录其当时的默认值。2.5 Bug Fixes3.0.9某些场景下使用 Catalog 读取 ORC 外部表可能导致 BE 崩溃数据损坏时创建持久化索引可能导致 BE 崩溃添加 Bitmap 索引后 BE 偶发崩溃重放副本操作失败可能导致 FE 崩溃FE 参数recover_with_empty_tablet设为true时可能导致 FE 崩溃哈希 Join 期间查询失败导致 BE 崩溃存算一体集群中查询 Iceberg 或 Hive 表可能导致 BE 崩溃修复 “get_applied_rowsets failed, tablet updates is in error state: tablet:18849 actual row size changed after compaction” 错误执行show proc /statistic可能死锁enable_collect_query_detail_info设为true后 FE 性能骤降向开启持久化索引的主键表写入大量数据可能报错从 v2.4 或更早版本升级后 Compaction Score 可能异常升高通过 MariaDB ODBC 驱动查询INFORMATION_SCHEMA时schemata视图的CATALOG_NAME列仅返回 nullFE 因加载的异常数据崩溃且无法重启Schema Change 执行期间 Stream Load 处于PREPARED状态时作业待加载的部分源数据丢失HDFS 存储路径末尾包含两个及以上斜杠/时HDFS 备份恢复失败ALTER TABLE添加的partition_live_number属性不生效array_distinct函数偶发导致 BE 崩溃刷新物化视图时可能死锁全局 Runtime Filter 在特定场景下可能导致 BE 崩溃bitmap_to_string可能因数据类型溢出返回错误结果。3. 3.0.1–3.0.8中间版本的逐版演进3.1 版本 3.0.82023 年 11 月 17 日改进INFORMATION_SCHEMA的COLUMNS视图可显示 ARRAY、MAP、STRUCT 列。Bug Fixes执行show proc /current_queries;的同时有新查询开始执行时 BE 可能崩溃高频向指定了排序键的主键表持续加载数据时可能出现 Compaction 失败Broker Load 作业带过滤条件时某些情况下数据加载期间 BE 可能崩溃执行SHOW GRANTS时报告未知错误cast()函数目标类型与原类型相同时特定数据类型可能导致 BE 崩溃information_schema.columns视图中 BINARY/VARBINARY 的DATA_TYPE与COLUMN_TYPE显示为unknown长期高频向开启持久化索引的主键表加载数据可能导致 BE 崩溃启用 Query Cache 时查询结果不正确集群重启后恢复表的数据可能与备份前不一致执行 RESTORE 的同时发生 Compaction 可能导致 BE 崩溃。3.2 版本 3.0.72023 年 10 月 18 日改进窗口函数COVAR_SAMP、COVAR_POP、CORR、VARIANCE、VAR_SAMP、STD、STDDEV_SAMP现在支持ORDER BY子句与 Window 子句写入主键表的加载作业 Publish 阶段由异步改为同步作业结束后数据立即可查DECIMAL 类型查询发生十进制溢出时返回错误而非 NULL含无效注释的 SQL 命令执行结果与 MySQL 保持一致单分区列 RANGE 分区或表达式分区的表包含分区列表达式的 SQL 谓词也可用于分区裁剪。Bug Fixes并发创建和删除库表在某些情况下导致表找不到、进而加载失败使用 UDF 可能导致内存泄漏ORDER BY含聚合函数时返回 “java.lang.IllegalStateException: null”使用多级 Hive Catalog 查询存储在腾讯云 COS 中的数据时结果不正确ARRAYSTRUCT类型数据中 STRUCT 部分子字段缺失时填充默认值导致数据长度错误并引发 BE 崩溃升级 Berkeley DB Java Edition 版本以规避安全漏洞对主键表并发执行 truncate 与加载时抛 “java.lang.NullPointerException”Schema Change 执行时间过长时因指定版本的 tablet 被 GC 导致失败使用 CloudCanal 向NOT NULL且无默认值的列加载数据时报 “Unsupported dataFormat value is : \N”存算分离集群中information_schema.COLUMNS不记录表键信息导致 Flink Connector 加载后无法执行 DELETE升级过程中列类型同步升级如 Decimal 到 Decimal v3时特定表的 Compaction 可能导致 BE 崩溃使用 Flink Connector 高并发加载且 HTTP 线程与 Scan 线程均达上限时加载作业被意外挂起调用 libcurl 时 BE 崩溃向主键表添加 BITMAP 类型列时出错。3.3 版本 3.0.62023 年 9 月 12 日行为变更使用group_concat函数时必须使用SEPARATOR关键字声明分隔符。New Features聚合函数group_concat支持DISTINCT关键字与ORDER BY子句分区数据可随时间自动冷化不支持 LIST 分区。改进支持 WHERE 子句中所有复合谓词与所有表达式的隐式类型转换可用会话变量enable_strict_type开启或关闭默认false统一了 FE 与 BE 之间字符串转整数的逻辑。Bug Fixesenable_orc_late_materialization为true时Hive Catalog 查询 ORC 文件中的 STRUCT 数据返回意外结果通过 Hive Catalog 查询时 WHERE 子句指定分区列与 OR 运算符导致结果不正确RESTful API 动作show_data对云原生表返回的值不正确数据存储在 Azure Blob Storage 的存算分离集群回退到 3.0 并建表后 FE 无法启动即使已授权用户在 Iceberg Catalog 中查询表时仍无权限SHOW FULL COLUMNS返回的 BITMAP 或 HLL 类型列Default字段值不正确使用ADMIN SET FRONTEND CONFIG修改 FE 动态参数max_broker_load_job_concurrency不生效物化视图刷新期间修改其刷新策略可能导致 FE 启动失败执行select count(distinct(intdouble)) from table_name返回unknown error主键表恢复后重启 BE 出现元数据错误与不一致。3.4 版本 3.0.52023 年 8 月 16 日New Features支持聚合函数COVAR_SAMP、COVAR_POP、CORR支持窗口函数COVAR_SAMP、COVAR_POP、CORR、VARIANCE、VAR_SAMP、STD、STDDEV_SAMP。改进xxx too many versions xxx错误信息增加更多提示动态分区进一步支持以年为分区单位建表使用表达式分区及INSERT OVERWRITE覆盖指定分区时分区字段不区分大小写。Bug FixesFE 中表级扫描统计不准确导致查询与加载指标失真修改分区表排序键后查询结果不稳定数据恢复后 tablet 版本在 BE 与 FE 之间不一致创建 Colocation 表未指定分桶数时被推断为 0导致新增分区失败INSERT INTO SELECT结果集为空时SHOW LOAD状态误报CANCELEDsub_bitmap函数输入非 BITMAP 类型时 BE 可能崩溃更新AUTO_INCREMENT列时 BE 可能崩溃物化视图 Outer Join 与 Anti Join 改写错误平均行大小估算不准导致主键部分更新占用过多内存激活非活动物化视图可能导致 FE 崩溃查询无法改写到 Hudi Catalog 外部表创建的物化视图Hive 表删除并手动更新元数据缓存后数据仍可查询同步调用手动刷新异步物化视图导致information_schema.task_runs出现多条 INSERT OVERWRITE 记录LabelCleaner 线程阻塞导致 FE 内存泄漏。3.5 版本 3.0.42023 年 7 月 18 日New Feature即使查询与物化视图使用不同类型的 Join查询也可被改写。改进优化异步物化视图手动刷新支持REFRESH MATERIALIZED VIEW WITH SYNC MODE语法同步调用刷新任务查询字段不在 MV 输出列中但在 MV 谓词中时查询仍可被改写命中 MVsql_dialect设为trino时表别名不区分大小写information_schema.tables_config表新增table_id字段可关联be_tablets查询 tablet 所属库表名。Bug Fixes含sum聚合的查询改写为单表 MV 时类型推断问题可能导致sum()值不正确存算分离集群中SHOW PROC查看 tablet 信息时出错STRUCT 中 CHAR 数据长度超过上限时 INSERT 挂起INSERT INTO SELECT带 FULL JOIN 时部分数据行未返回ALTER TABLE修改default.storage_medium表属性时报 “Unknown table property”Broker Load 加载空文件时报错下线 BEDecommissioning偶尔挂起。3.6 版本 3.0.32023 年 6 月 28 日改进StarRocks 外部表的元数据同步改为在数据加载时进行分区自动创建的表执行INSERT OVERWRITE时可指定分区详见自动分区能力优化向非分区表添加分区时的错误信息。Bug FixesParquet 文件含复杂数据类型时 min/max filter 取错字段库或表已删除时加载任务仍在排队FE 重启有小概率导致 BE 崩溃enable_profile为true时加载与查询作业偶发冻结存活 BE 少于 3 个的集群执行INSERT OVERWRITE时错误信息不准确。3.7 版本 3.0.22023 年 6 月 13 日改进查询经异步物化视图改写后UNION 查询中的谓词可下推优化表的自动 tablet 分布策略移除 NetworkTime 对系统时钟的依赖修复各服务器系统时钟不一致导致的 NetworkTime 错误。Bug Fixes数据加载与 Schema Change 并发时 Schema Change 可能挂起会话变量pipeline_profile_level设为0时查询报错cloud_native_storage_type设为S3时 CREATE TABLE 报错未使用密码时 LDAP 认证也能成功加载作业涉及的表不存在时CANCEL LOAD失败。升级说明若系统中存在名为starrocks的数据库升级前请使用ALTER DATABASE RENAME改名因为starrocks是存放权限信息的新增默认系统库名。3.8 版本 3.0.12023 年 6 月 1 日New Features【Preview】支持将大算子的中间计算结果溢写Spill到磁盘降低大算子的内存消耗详见仓库文档 docs/en/administration/spill_to_disk.md 对应的 Spill to disk 主题Routine Load 支持加载 Avro 数据支持 Microsoft Azure Storage含 Azure Blob Storage 与 Azure Data Lake Storage。改进存算分离集群支持使用 StarRocks 外部表与另一个 StarRocks 集群同步数据Information Schema 新增load_tracking_logs记录最近的加载错误CREATE TABLE语句忽略特殊字符。Bug Fixes主键表的SHOW CREATE TABLE返回信息不正确Routine Load 作业期间 BE 可能崩溃创建分区表时指定不支持的属性触发空指针异常NPESHOW TABLE STATUS返回信息不完整。升级说明与 3.0.2 相同若系统已有名为starrocks的数据库升级前请先ALTER DATABASE RENAME。4. 源码定位指南在仓库中查证 3.0 新参数与新特性以下内容帮助你在当前仓库中定位 3.0 系列发布说明提到的关键改动验证参数定义与实际默认值。4.1 FE 配置项fe/fe-core/src/main/java/com/starrocks/common/Config.javahttp_worker_threads_numHTTP 服务线程数默认 00 或负数时取 CPU 核数 2 倍enable_new_publish_mechanism新版 Publish 机制开关3.0.9 起为静态参数修改需重启 FE其执行载体为 PublishVersionDaemon.java 等事务发布组件default_mv_refresh_immediate建 MV 后立即刷新默认trueroutine_load_unstable_threshold_secondRoutine Load 不稳定阈值当前仓库默认 3600 秒。4.2 BE 配置项be/src/common/config.henable_stream_load_verbose_log默认false记录 Stream Load 的 HTTP 请求/响应pindex_major_compaction_limit_per_disk默认1限制每盘持久化索引 Major Compaction 并发缓解盘间 I/O 不均object_storage_connect_timeout_ms/object_storage_request_timeout_ms对象存储连接与请求超时配置后者同时作为starlet_fslib_s3client_request_timeout_ms的别名。对应的参数说明文档可参考 FE 参数文档 与 BE 参数文档。4.3 会话变量与 sql_modecbo_decimal_cast_string_strict、enable_materialized_view_for_insert、enable_strict_type等会话变量统一定义在 SessionVariable.java 中sql_mode新增取值GROUP_CONCAT_LEGACY的实现位于 SqlModeHelper.java以独立模式位bit 36表示可与 MySQL 兼容模式叠加使用。4.4 percentile_disc 的实现3.0.9 新增的percentile_disc函数在 BE 侧实现于 percentile_cont.h、aggregator.cpp 与 aggregate_resolver_others.cpp 等文件中函数注册在 FE 侧 FunctionSet.java 中声明并有对应测试覆盖 aggregate_test.cpp 与 AnalyzeAggregateTest.java。其用法文档见 percentile_disc 函数文档。4.5 max_tablet_rowset_num 指标该指标在 BE 侧由 storage_metrics.h 定义、storage_metrics.cpp 更新配合 tablet_manager.cpp 中的 rowset 数量检查用于在写入侧提前发现 Compaction 滞后问题监控告警的用法可参考 告警文档。5. 运维升级要点小结升级路径推荐 v2.5 → v3.0升级到 v3.0 后 RBAC 默认启用回退只能回 v2.5且必须先处理 BDBJE jar保留starrocks-bdb-je-18.3.13.jar、删除je-7.*.jar命名冲突自 3.0.1 起用户库不应再占用starrocks这一默认系统库名行为差异需评估group_concat强制SEPARATOR、enable_new_publish_mechanism静态化、trash 文件保留期缩短为 1 天、新增 10 个保留关键字3.0.0、enable_materialized_view_for_insert默认关闭 MV 对 INSERT 的改写等对象存储用户3.0.9 起可通过object_storage_connect_timeout_ms/object_storage_request_timeout_ms显式控制对象存储超时注意当前仓库默认值已演进为10000ms实际取值以所部署版本的配置为准存算分离落地3.0.0 的 shared-data 架构使数据可持久化到 S3 兼容对象存储并以本地盘做热数据缓存这是后续 3.1 版本云原生能力的基础规划架构时应重点评估缓存命中率与对象存储带宽。【免费下载链接】starrocksThe worlds fastest open query engine for sub-second analytics both on and off the data lakehouse. With the flexibility to support nearly any scenario, StarRocks provides best-in-class performance for multi-dimensional analytics, real-time analytics, and ad-hoc queries. A Linux Foundation project.项目地址: https://gitcode.com/GitHub_Trending/st/starrocks创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考