Doris内核3.0.6版本能力地图
本章节介绍CloudTable Doris 3.0.6版本存算分离支持的内核特性，请参见表1、表2。
- 使用说明介绍：
- 可以使用：经过产品团队质量加固和充分测试。
- 受限使用：需要客户基于业务场景在测试环境进行充分测试后，确保业务稳定运行后可在生产环境中使用。
- 不建议使用：社区能力不够成熟，存在一些可靠性问题。不建议使用的特性，可参考表2 不建议使用特性列表中的“使用建议”。
- 能力说明：
- 自研：由产品团队自研的易用性、性能、DFX等内核引擎特性，如缓存加速优化、checkpointer优化。
- 质量加固：产品团队基于社区开源能力，对已知bug和客户的需求，进行质量加固和充分测试。
- 纯开源：能力和开源社区版本能力保持一致，未进行质量加固。
|
一级特性 |
二级特性 |
三级特性 |
使用说明 |
使用建议 |
|---|---|---|---|---|
|
数据表设计 |
数据划分 |
表索引 |
可以使用 |
- |
|
表分桶 |
可以使用 |
- |
||
|
表分区 |
受限使用 |
建议使用的动态分区类型包括：dynamic partition、range分区、list分区和手动分区。 不建议使用auto partition进行自动分区，因为该方法存在一些社区尚未解决的问题，且其数据划分不够合理。 |
||
|
数据类型 |
基本字段类型 |
可以使用 |
- |
|
|
复合字段类型 |
受限使用 |
建议使用variant类型。 |
||
|
压缩算法 |
可以使用 |
- |
||
|
数据模型 |
Duplicate明细模型 |
可以使用 |
- |
|
|
Unique主键模型 |
可以使用 |
- |
||
|
Aggregate聚合模型 |
可以使用 |
- |
||
|
同步物化视图 |
可以使用 |
- |
||
|
异步物化视图 |
受限使用 |
多表物化视图在存算分离版本中仍存在许多未修复的开源问题，包括新增的多表物化视图透明改写能力的增强，该功能目前仍受限使用。 |
||
|
数据操作 |
DML |
表数据的增删改查操作 |
可以使用 |
- |
|
Load类型任务管理 |
可以使用 |
- |
||
|
DDL |
数据库表索引视图的增删改查 |
可以使用 |
- |
|
|
函数 |
可以使用 |
- |
||
|
资源管理 |
可以使用 |
- |
||
|
SQL函数 |
自有函数 |
可以使用 |
- |
|
|
自定义UDF |
可以使用 |
- |
||
|
辅助命令 |
HELP命令 |
可以使用 |
- |
|
|
Show命令 |
可以使用 |
- |
||
|
数据导入 |
Stream Load |
可以使用 |
- |
|
|
Broker Load |
可以使用 |
- |
||
|
Routine Load |
受限使用 |
推荐使用flink导入，从Kafka导入数据。 使用限制：安全模式不支持kafka。 |
||
|
Insert into select |
可以使用 |
- |
||
|
Insert into values |
可以使用 |
- |
||
|
数据导出 |
数据导出export |
可以使用 |
- |
|
|
查询结果集导出insert into outfile |
可以使用 |
- |
||
|
数据更新及删除 |
主键模型表中的Sequence列 |
可以使用 |
- |
|
|
主键模型表中的Upsert |
可以使用 |
- |
||
|
Load任务中数据的批量删除和更新 |
可以使用 |
- |
||
|
湖仓能力 |
多源Catalog |
Hive Catalog |
可以使用 |
- |
|
Hudi Catalog |
可以使用 |
- |
||
|
Paimon |
受限使用 |
未进行任何质量加固，且开源存在较多未解决问题，建议充分测试后投产使用。 |
||
|
Iceberg |
受限使用 |
未进行任何质量加固，且开源存在较多未解决问题，建议充分测试后投产使用。 |
||
|
JDBC Catalog |
受限使用 |
可以使用经过质量加固的MySQL、PostgreSQL类型的JDBC目录，其他JDBC类型建议充分测试后投产使用。 |
||
|
Connector |
Flink Connector |
可以使用 |
- |
|
|
Spark Connector |
受限使用 |
不支持date/datetime类型以及复合类型的查询，其他基础类型均支持。 |
||
|
资源负载能力 |
compaction |
base compaction、cumulative compaction、vertical compaction |
可以使用 |
- |
|
慢查询/审计日志表 |
- |
可以使用 |
- |
|
|
数据负载均衡 |
- |
可以使用 |
- |
|
|
多租户与资源隔离 |
Workload Group |
受限使用 |
推荐Compute Group。 |
|
|
Compute Group |
可以使用 |
- |
||
|
原生页面 |
原生UI |
- |
受限使用 |
建议在调试，运维场景使用，禁止用于生产业务。 |
|
3.0.x新增变化 |
存算分离 |
新增FDB和MetaService服务 |
可以使用 |
- |
|
Storage Vault管理及应用 |
可以使用 |
- |
||
|
Compute Group计算组管理及应用 |
可以使用 |
- |
||
|
湖仓一体 |
外部表SQL拦截 |
受限使用 |
SQL拦截功能（SQL Block Rule）现在支持外部表。 |
|
|
数据操作 |
半结构化Variant读写 |
受限使用 |
使用Variant分析Json数据仍存在许多未解决的开源问题。对于固定格式的Json，且字段类型为基本类型、非超长数据的表格，可以受限使用。除此之外，不建议使用。 |
|
|
倒排索引增强，增加了对Array类型的支持 |
可以使用 |
- |
||
|
新增函数 |
可以使用 |
- |
||
|
其他 |
函数类 |
受限使用 |
支持Java UDTF。 |
|
|
资源隔离 |
可以使用 |
- |
||
|
自研增强 |
慢查询 |
- |
可以使用 |
- |
|
审计日志表 |
- |
可以使用 |
- |
|
|
checkpointer优化 |
- |
可以使用 |
- |
|
|
存算分离优化 |
短路径下推性能加速 |
可以使用 |
- |
|
|
Cache缓存命中度提升 |
可以使用 |
- |
||
|
存算分离缓存盘均衡及健康检测 |
可以使用 |
- |
||
|
安全可靠性 |
通信链路通道加密 |
可以使用 |
- |
|
|
支持UDF标准路径及沙箱策略 |
可以使用 |
- |
||
|
Doris元数据容错加载 |
可以使用 |
- |
||
|
审计日志 |
入库任务审计能力增强 |
可以使用 |
- |
|
一级特性 |
二级特性 |
三级特性 |
使用说明 |
使用建议 |
|---|---|---|---|---|
|
数据表设计 |
数据模型 |
外表物化视图 |
不建议使用 |
例如对hive外表的物化视图，存在诸多开源BUG和受限操作，能力不完善。 |
|
数据操作 |
数据导入 |
MySQL Load |
不建议使用 |
推荐Stream Load |
|
备份恢复和迁移 |
Backup & restore |
不支持 |
备份恢复和迁移仅支持存算一体架构。 |
|
|
CCR集群间数据同步 |
不支持 |
CCR集群间数据同步仅支持存算一体架构。 |
||
|
高并发导入优化 |
Group Commit |
不建议使用 |
高并发导入Group Commit功能在Doris 3.0.x版本中不稳定，不建议使用该功能。 |
|
|
资源负载能力 |
Arrow Flight |
- |
不建议使用 |
Doris 2.1版本引入了高性能的新接口，目前仅进行了安全加固。然而，社区中存在较多未解决的问题，因此，非必要不建议使用。 |
|
冷热分离 |
- |
不支持 |
冷热分离是存算一体架构下降低存储成本的方案，存算分离架构不涉及。 |
|
|
多租户与资源隔离 |
Resource Group |
不建议使用 |
推荐Compute Group。 |
|
|
湖仓能力 |
湖仓一体 |
数据回写数据湖功能 |
不建议使用 |
Doris 3.0.6版本增加了Hive、Iceberg数据回写功能、Insert Overwrite支持Iceberg表不成熟，且开源存在诸多限制和问题。 |
|
新增多种数据源连接器connector |
不建议使用 |
Delta Lake、Kudu、BigQuery、Kafka等多种Connector的适配不成熟，开源存在诸多限制和问题。 |
||
|
ES Catalog |
不建议使用 |
支持ES Catalog，将Elasticsearch中的nested或object类型映射为Doris的JSON类型。在ES外部源场景中，由于开源字段类型映射不全，仍存在较多未解决的开源问题。 |
||
|
新增多种数据源Catalog |
不建议使用 |
包括MaxCompute、Delta Lake、BigQuery、Kudu、Elasticsearch、JDBC、MySQL JDBC、PostgreSQL JDBC、Oracle JDBC、SQL Server JDBC、IBM Db2 JDBC、Clickhouse JDBC、SAP HANA JDBC、Oceanbase JDBC在内的多种场景，这些多为非主流场景，且开源社区中存在较多未解决的问题。 |
||
|
其他 |
显示事务(begin..commit..rollback) |
不建议使用 |
显式事务支持对INSERT INTO SELECT、DELETE和UPDATE操作提供显式事务；显式多事务调用时，任务异常回滚的代价较高，且存在未解决的开源问题。 |
