最佳实践

数据模型选择

Doris数据模型上目前分为三类：AGGREGATE KEY，UNIQUE KEY，DUPLICATE KEY。三种模型中数据都是按KEY进行排序。

• Aggregate模型。

  Aggregate模型可以通过预聚合，极大地降低聚合查询时所需扫描的数据量和查询的计算量，非常适合有固定模式的报表类查询场景。但是该模型对count( * ) 查询很不友好。同时因为固定了Value列上的聚合方式，在进行其他类型的聚合查询时，需要考虑语意正确性。

  Aggregate Key相同时，新旧记录进行聚合，目前支持的聚合函数有SUM，MIN，MAX，REPLACE。

  CREATE TABLE site_visit
  (
      siteid      INT,
      city        SMALLINT,
      username    VARCHAR(32),
      pv BIGINT   SUM DEFAULT '0'
  )
  AGGREGATE KEY(siteid, city, username)
  DISTRIBUTED BY HASH(siteid) BUCKETS 10;

• Unique模型。

  Unique模型针对需要唯一主键约束的场景，Unique key相同时，新记录覆盖旧记录，可以保证主键唯一性约束。适用于有更新需求的分析业务。目前Unique key实现上和Aggregate key的 REPLACE聚合方法一样，二者本质上相同。但是无法利用ROLLUP等预聚合带来的查询优势（因为本质是REPLACE，没有SUM这种聚合方式）。

  CREATE TABLE sales_order
  (
      orderid     BIGINT,
      status      TINYINT,
      username    VARCHAR(32),
      amount      BIGINT DEFAULT '0'
  )
  UNIQUE KEY(orderid)
  DISTRIBUTED BY HASH(orderid) BUCKETS 10;

• Duplicate模型。

  Duplicate模型相同的行不会合并，适合任意维度的Ad-hoc查询。虽然无法利用预聚合的特性，但是不受聚合模型的约束，可以发挥列存模型的优势（列裁剪、向量执行等）。

  CREATE TABLE session_data
  (
      visitorid   SMALLINT,
      sessionid   BIGINT,
      visittime   DATETIME,
      city        CHAR(20),
      province    CHAR(20),
      ip          varchar(32),
      brower      CHAR(20),
      url         VARCHAR(1024)
  )
  DUPLICATE KEY(visitorid, sessionid)
  DISTRIBUTED BY HASH(sessionid, visitorid) BUCKETS 10;

大宽表与Star Schema

业务方建表时, 为了和前端业务适配, 往往不对维度信息和指标信息加以区分, 而将Schema定义成大宽表，这种操作对于数据库其实不是那么友好，我们更建议用户采用星型模型。

• Schema中字段数比较多, 聚合模型中可能key列比较多, 导入过程中需要排序的列会增加。
• 维度信息更新会反应到整张表中，而更新的频率直接影响查询的效率。

使用过程中，建议用户尽量使用Star Schema区分维度表和指标表。频繁更新的维度表也可以放在MySQL外部表中。而如果只有少量更新, 可以直接放在Doris中。在Doris中存储维度表时，可对维度表设置更多的副本，提升Join的性能。