Doris内核3.0.6版本能力地图
本章节介绍CloudTable Doris 3.0.6版本存算分离支持的内核特性，请参见表1、表2。
- 使用说明介绍：
- 可以使用：经过产品团队质量加固和充分测试。
- 受限使用：需要客户基于业务场景在测试环境进行充分测试后，确保业务稳定运行后可在生产环境中使用。
- 不建议使用：社区能力不够成熟，存在一些可靠性问题。不建议使用的特性，可参考表2 不建议使用特性列表中的“使用建议”。
- 能力说明：
- 自研：由产品团队自研的易用性、性能、DFX等内核引擎特性，如缓存加速优化、checkpointer优化。
- 质量加固：产品团队基于社区开源能力，对已知bug和客户的需求，进行质量加固和充分测试。
- 纯开源：能力和开源社区版本能力保持一致，未进行质量加固。
一级特性 | 二级特性 | 三级特性 | 使用说明 | 使用建议 |
|---|---|---|---|---|
数据表设计 | 数据划分 | 表索引 | 可以使用 | - |
表分桶 | 可以使用 | - | ||
表分区 | 受限使用 | 建议使用的动态分区类型包括：dynamic partition、range分区、list分区和手动分区。 不建议使用auto partition进行自动分区，因为该方法存在一些社区尚未解决的问题，且其数据划分不够合理。 | ||
数据类型 | 基本字段类型 | 可以使用 | - | |
复合字段类型 | 受限使用 | 建议使用variant类型。 | ||
压缩算法 | 可以使用 | - | ||
数据模型 | Duplicate明细模型 | 可以使用 | - | |
Unique主键模型 | 可以使用 | - | ||
Aggregate聚合模型 | 可以使用 | - | ||
同步物化视图 | 可以使用 | - | ||
异步物化视图 | 受限使用 | 多表物化视图在存算分离版本中仍存在许多未修复的开源问题，包括新增的多表物化视图透明改写能力的增强，该功能目前仍受限使用。 | ||
数据操作 | DML | 表数据的增删改查操作 | 可以使用 | - |
Load类型任务管理 | 可以使用 | - | ||
DDL | 数据库表索引视图的增删改查 | 可以使用 | - | |
函数 | 可以使用 | - | ||
资源管理 | 可以使用 | - | ||
SQL函数 | 自有函数 | 可以使用 | - | |
自定义UDF | 可以使用 | - | ||
辅助命令 | HELP命令 | 可以使用 | - | |
Show命令 | 可以使用 | - | ||
数据导入 | Stream Load | 可以使用 | - | |
Broker Load | 可以使用 | - | ||
Routine Load | 受限使用 | 推荐使用flink导入，从Kafka导入数据。 使用限制：安全模式不支持kafka。 | ||
Insert into select | 可以使用 | - | ||
Insert into values | 可以使用 | - | ||
数据导出 | 数据导出export | 可以使用 | - | |
查询结果集导出insert into outfile | 可以使用 | - | ||
数据更新及删除 | 主键模型表中的Sequence列 | 可以使用 | - | |
主键模型表中的Upsert | 可以使用 | - | ||
Load任务中数据的批量删除和更新 | 可以使用 | - | ||
湖仓能力 | 多源Catalog | Hive Catalog | 可以使用 | - |
Hudi Catalog | 可以使用 | - | ||
Paimon | 受限使用 | 未进行任何质量加固，且开源存在较多未解决问题，建议充分测试后投产使用。 | ||
Iceberg | 受限使用 | 未进行任何质量加固，且开源存在较多未解决问题，建议充分测试后投产使用。 | ||
JDBC Catalog | 受限使用 | 可以使用经过质量加固的MySQL、PostgreSQL类型的JDBC目录，其他JDBC类型建议充分测试后投产使用。 | ||
Connector | Flink Connector | 可以使用 | - | |
Spark Connector | 受限使用 | 不支持date/datetime类型以及复合类型的查询，其他基础类型均支持。 | ||
资源负载能力 | compaction | base compaction、cumulative compaction、vertical compaction | 可以使用 | - |
慢查询/审计日志表 | - | 可以使用 | - | |
数据负载均衡 | - | 可以使用 | - | |
多租户与资源隔离 | Workload Group | 受限使用 | 推荐Compute Group。 | |
Compute Group | 可以使用 | - | ||
原生页面 | 原生UI | - | 受限使用 | 建议在调试，运维场景使用，禁止用于生产业务。 |
3.0.x新增变化 | 存算分离 | 新增FDB和MetaService服务 | 可以使用 | - |
Storage Vault管理及应用 | 可以使用 | - | ||
Compute Group计算组管理及应用 | 可以使用 | - | ||
湖仓一体 | 外部表SQL拦截 | 受限使用 | SQL拦截功能（SQL Block Rule）现在支持外部表。 | |
数据操作 | 半结构化Variant读写 | 受限使用 | 使用Variant分析Json数据仍存在许多未解决的开源问题。对于固定格式的Json，且字段类型为基本类型、非超长数据的表格，可以受限使用。除此之外，不建议使用。 | |
倒排索引增强，增加了对Array类型的支持 | 可以使用 | - | ||
新增函数 | 可以使用 | - | ||
其他 | 函数类 | 受限使用 | 支持Java UDTF。 | |
资源隔离 | 可以使用 | - | ||
自研增强 | 慢查询 | - | 可以使用 | - |
审计日志表 | - | 可以使用 | - | |
checkpointer优化 | - | 可以使用 | - | |
存算分离优化 | 短路径下推性能加速 | 可以使用 | - | |
Cache缓存命中度提升 | 可以使用 | - | ||
存算分离缓存盘均衡及健康检测 | 可以使用 | - | ||
安全可靠性 | 通信链路通道加密 | 可以使用 | - | |
支持UDF标准路径及沙箱策略 | 可以使用 | - | ||
Doris元数据容错加载 | 可以使用 | - | ||
审计日志 | 入库任务审计能力增强 | 可以使用 | - |
一级特性 | 二级特性 | 三级特性 | 使用说明 | 使用建议 |
|---|---|---|---|---|
数据表设计 | 数据模型 | 外表物化视图 | 不建议使用 | 例如对hive外表的物化视图，存在诸多开源BUG和受限操作，能力不完善。 |
数据操作 | 数据导入 | MySQL Load | 不建议使用 | 推荐Stream Load |
备份恢复和迁移 | Backup & restore | 不支持 | 备份恢复和迁移仅支持存算一体架构。 | |
CCR集群间数据同步 | 不支持 | CCR集群间数据同步仅支持存算一体架构。 | ||
高并发导入优化 | Group Commit | 不建议使用 | 高并发导入Group Commit功能在Doris 3.0.x版本中不稳定，不建议使用该功能。 | |
资源负载能力 | Arrow Flight | - | 不建议使用 | Doris 2.1版本引入了高性能的新接口，目前仅进行了安全加固。然而，社区中存在较多未解决的问题，因此，非必要不建议使用。 |
冷热分离 | - | 不支持 | 冷热分离是存算一体架构下降低存储成本的方案，存算分离架构不涉及。 | |
多租户与资源隔离 | Resource Group | 不建议使用 | 推荐Compute Group。 | |
湖仓能力 | 湖仓一体 | 数据回写数据湖功能 | 不建议使用 | Doris 3.0.6版本增加了Hive、Iceberg数据回写功能、Insert Overwrite支持Iceberg表不成熟，且开源存在诸多限制和问题。 |
新增多种数据源连接器connector | 不建议使用 | Delta Lake、Kudu、BigQuery、Kafka等多种Connector的适配不成熟，开源存在诸多限制和问题。 | ||
ES Catalog | 不建议使用 | 支持ES Catalog，将Elasticsearch中的nested或object类型映射为Doris的JSON类型。在ES外部源场景中，由于开源字段类型映射不全，仍存在较多未解决的开源问题。 | ||
新增多种数据源Catalog | 不建议使用 | 包括MaxCompute、Delta Lake、BigQuery、Kudu、Elasticsearch、JDBC、MySQL JDBC、PostgreSQL JDBC、Oracle JDBC、SQL Server JDBC、IBM Db2 JDBC、Clickhouse JDBC、SAP HANA JDBC、Oceanbase JDBC在内的多种场景，这些多为非主流场景，且开源社区中存在较多未解决的问题。 | ||
其他 | 显式事务（begin..commit..rollback） | 不建议使用 | 显式事务支持对INSERT INTO SELECT、DELETE和UPDATE操作提供显式事务；显式多事务调用时，任务异常回滚的代价较高，且存在未解决的开源问题。 |
