对接DataArts Studio开发CloudTable Doris SQL脚本

操作场景

数据治理中心DataArts Studio提供了一站式数据治理平台，可以实现与CloudTable服务的对接，从而提供统一的数据集成、数据开发服务，方便企业对全部数据进行管控。

此章节介绍对接DataArts Studio开发CloudTable Doris SQL脚本的操作步骤。操作流程如下：

• 步骤一：购买CloudTable Doris集群
• 步骤二：DataArts Studio资源环境配置
• 步骤三：创建CloudTable Doris数据连接
• 步骤四：开发Doris SQL脚本

步骤一：购买CloudTable Doris集群

1. 登录表格存储服务控制台。
2. 单击页面右上角的“购买集群”，配置参数，具体请参见创建Doris集群。
3. 单击“立即购买”，确认配置信息，并单击“提交”。
4. 返回“集群管理”页面，可查看创建的Doris集群。

步骤二：DataArts Studio资源环境配置

购买DataArts Studio实例

1. 登录DataArts Studio服务控制台，购买DataArts Studio实例。

   配置以下参数，其他参数保持默认即可，具体操作请参考购买DataArt Studio实例。

   DataArts Studio实例虚拟私有云、子网、安全组信息和Doris集群保持一致。

2. 单击“立即购买”，确认配置信息，并单击“提交”。
3. 进入DataArts Studio实例概览信息页面，选择“空间管理 > 创建工作空间”，创建一个工作空间（可选）。

   DataArts Studio实例中系统会默认创建一个默认的工作空间“default”，并赋予用户为管理员角色。您可以使用默认的工作空间，也可以在“空间管理”页签中创建一个新的工作空间。

   具体操作请参考创建简单模式工作空间。

购买CDM集群（可选）

非免费版的DataArts Studio实例赠送的数据集成集群，可以作为管理中心数据连接的Agent代理使用，如果购买了非免费版的DataArts Studio实例。忽略此步骤。

4. 登录云数据迁移服控制台，创建CDM集群。
5. 单击“购买云数据迁移服务”，按照以下参数配置。

   表1 CDM集群参数

   参数	取值
   当前区域	与CloudTable选择在同一个区域。
   可用区	根据实际情况选择。
   集群名称	CDM-demo。集群名称在4位到64位之间，必须以字母开头，可以包含字母、数字、中划线或者下划线，不能包含其他的特殊字符。
   实例类型	根据用户实际需求选择规格，建议规格在16U以上。
   虚拟私有云	与CloudTable Doris选择同一个VPC。
   子网	与CloudTable Doris选择同一个子网。
   安全组	与CloudTable Doris选择同一个安全组。
   企业项目	default

6. 单击“立即购买”，核对参数无误，单击“提交”。
7. 回到CDM管理控制台的“集群管理”页面，集群创建成功后状态为“可运行”状态，单击集群操作列的“绑定弹性IP”。
8. 勾选可用的弹性IP，单击“确”。如果没有弹性IP，需要跳转到弹性IP界面，购买弹性IP。

步骤三：创建CloudTable Doris数据连接

1. 在DataArts Studio实例概览信息页面，选择当前工作空间下的“管理中心”。
   图1 管理中心
   
2. 在数据连接界面中选择“创建数据连接”，创建一个“Doris”类型的数据连接。
   图2 创建Doris连接
   

   表2 CloudTable Doris数据连接参数

   参数	描述
   数据连接名称	数据连接的名称，只能包含字母、数字、下划线和中划线，且长度不超过100个字符。
   适用组件	选择此连接适用的组件。勾选组件后，才能在相应组件内使用本连接。
   Doris类型	CloudTable Doris
   FE IP	Doris集群FE节点的IP，可以填写一个或多个IP。如果有多个ip用“,”分隔，例如: 127.0.0.1,127.0.0.2。 获取方法： 登录表格存储服务控制台。 单击目标集群“集群名称 > 详情”，进入详情页，在“FE节点”模块处获取FE节点IP地址。
   端口	MySQL协议端口9030。
   KMS加密密钥	通过KMS加解密数据源认证信息，选择KMS中的任一默认密钥或自定义密钥即可。
   绑定Agent	CDM集群作为网络代理，必须和Doris集群网络互通才可以成功创建Doris连接，为确保两者网络互通，CDM集群必须和Doris集群处于相同的区域、可用区，且使用同一个VPC和子网，安全组规则需允许两者网络互通。 选择步骤二：DataArts Studio资源环境配置中创建的CDM集群。
   驱动程序名称	驱动程序名称，目前支持MySQL jdbc驱动，驱动名为：com.mysql.jdbc.Driver。
   驱动文件路径	驱动文件在OBS上的路径。需要您自行到官网下载.jar格式驱动并上传至OBS中。 MySQL驱动下载地址。建议5.1.48版本及以上版本，如果低于5.1.48版本则连接会报错“The db user or password invalid”。
   用户名	连接Doris集群的用户。
   密码	创建Doris集群时创建的密码。

3. 参数配置完成后，单击“测试 ”，测试连通性成功，单击“保存”。

步骤四：开发Doris SQL脚本

1. 在DataArts Studio实例概览信息页面，选择当前工作空间下的“数据开发”。
   图3 数据开发
   
2. 在“脚本开发”页面中的“脚本”目录上右键，选择“新建Doris SQL脚本”。
   

   “新建Doris SQL脚本”该功能为受限商用阶段，如需使用请提交工单申请开通。

3. 在编辑器中输入SQL语句。
   创建数据库。

   CREATE DATABASE demo;

   使用数据库。

   USE demo;

   创建数据表。

   CREATE TABLE IF NOT EXISTS demo.example_tbl
   (
       `user_id` LARGEINT NOT NULL COMMENT "用户id",
       `date` DATE NOT NULL COMMENT "数据插入日期时间",
       `city` VARCHAR(20) COMMENT "用户所在城市"
   )
   AGGREGATE KEY(`user_id`, `date`, `city`)
   DISTRIBUTED BY HASH(`user_id`) BUCKETS 1
   PROPERTIES (
       "replication_allocation" = "tag.location.default:3"
   );

4. 脚本开发完成后，设置开发区右上角的参数，单击画布上方的“运行”，查看脚本执行情况。
   • 数据库连接：选择步骤三：创建CloudTable Doris数据连接中创建的CloudTable Doris连接。
   • 数据库：选择CloudTable Doris集群中数据库。
5. 脚本开发完成后，选择“保存”脚本。
   图4 开发Doris SQL脚本