开发批处理单任务SQL作业

前提条件

• 已创建作业，详情请参见新建作业。
• 当前用户已锁定该作业，否则需要通过“抢锁”锁定作业后才能继续开发作业。新建或导入作业后默认被当前用户锁定，详情参见编辑锁定功能。

开发SQL脚本

1. 参考访问DataArts Studio实例控制台，登录DataArts Studio管理控制台。
2. 在DataArts Studio控制台首页，选择对应工作空间的“数据开发”模块，进入数据开发页面。
3. 在数据开发主界面的左侧导航栏，选择“数据开发 > 作业开发”。
4. 在作业目录中，双击单任务模式作业名称，进入作业开发页面。
5. 在SQL编辑器右侧，单击“基本信息”，可以配置作业的基本信息、属性和高级信息等。单任务SQL作业的基本信息如表1所示，属性如表2所示，高级信息如表3所示。

   表1 作业基本信息

   参数	说明
   责任人	自动匹配创建作业时配置的作业责任人，此处支持修改。
   执行用户	当“作业调度身份是否可配置”设置为“是”，该参数可见。 执行作业的用户。如果输入了执行用户，则作业以执行用户身份执行；如果没有输入执行用户，则以提交作业启动的用户身份执行。 说明： 配置执行用户调度功能当前需申请白名单后才能使用。如需使用该特性，请联系客服或技术支持人员。
   作业委托	当“作业调度身份是否可配置”设置为“是”，该参数可见。 配置委托后，作业执行过程中，以委托的身份与其他服务交互。
   作业优先级	自动匹配创建作业时配置的作业优先级，此处支持修改。
   实例超时时间	配置作业实例的超时时间，设置为0或不配置时，该配置项不生效。如果您为作业设置了异常通知，当作业实例执行时间超过超时时间，将触发异常通知，发送消息给用户，作业不会中断，继续运行。
   实例超时是否忽略等待时间	配置实例超时是否忽略等待时间。 如果勾选上，表示实例运行时等待时间不会被计入超时时间，可前往默认项设置修改此策略。 如果未选上，表示实例运行时等待时间会被计入超时时间。
   自定义字段	配置自定义字段的参数名称和参数值。
   作业标签	配置作业的标签，用以分类管理作业。 单击“新增”，可给作业重新添加一个标签。也可选择管理作业标签中已配置的标签。

   表2 批处理单任务SQL作业属性信息

   属性	说明
   DLI SQL属性
   DLI数据目录	选择DLI的数据目录。 在DLI默认的数据目录dli。 在DLI所绑定的LakeFormation已创建元数据catalog。
   数据库名称	选择数据库。 DLI数据目录如果选择DLI默认的数据目录dli，表示为DLI的数据库和数据表。 DLI数据目录如果选择DLI所绑定的LakeFormation已创建元数据catalog，表示为LakeFormation的数据库和数据表。
   队列名称	默认选择SQL脚本中设置的DLI队列，支持修改。 如需新建资源队列，请参考以下方法： 单击，进入DLI的“队列管理”页面新建资源队列。 前往DLI管理控制台进行新建。
   是否记录脏数据	单击选择节点是否记录脏数据。 是：记录脏数据 否：不记录脏数据
   DLI环境变量	环境变量配置项需要以"hoodie."或"dli.sql."或"dli.ext."或"dli.jobs."或"spark.sql."或"spark.scheduler.pool"开头。 环境变量为dli.sql.autoBroadcastJoinThreshold时，值只能为整数，环境变量为dli.sql.shuffle.partitions时，值只能为正整数。 环境变量的key为dli.sql.shuffle.partitions或dli.sql.autoBroadcastJoinThreshold时，不能包含><符号。 如果作业和脚本中同时配置了同名的参数，作业中配置的值会覆盖脚本中的值。 说明： 在非调度场景的DLI SQL脚本运行和DLI SQL单任务作业测试运行时，系统会默认开启以下四个配置参数： spark.sql.adaptive.enabled（启用AQE，使Spark能够根据正在处理的数据的特征动态优化查询的执行计划，可以通过减少需要处理的数据量来提高性能。） spark.sql.adaptive.join.enabled（启用AQE用于连接操作，可以通过根据正在处理的数据动态选择最佳连接算法来提高性能。） spark.sql.adaptive.skewedJoin.enabled（启用AQE用于倾斜的连接操作，可以通过自动检测倾斜的数据并相应地优化连接算法来提高性能） spark.sql.mergeSmallFiles.enabled（启用合并小文件功能，可以通过将小文件合并成较大的文件来提高性能，可以减少处理许多小文件的时间，并通过减少需要从远程存储中读取的文件数量来提高数据本地性。） 如果不使用的话，可以手动配置相关参数进行关闭，参数值设置为false。
   DWS SQL属性
   数据连接	选择数据连接。
   数据库	选择数据库。
   脏数据表	SQL脚本中定义的脏数据表名称。 脏数据属性用户不能编辑，自动从SQL脚本内容中关联推荐。
   匹配规则	设置java正则表达式，匹配DWS SQL结果内容，比如表达式为(?<=\()(-*\d+?)(?=,)， 匹配对应SQL结果为 (1,"error message") ，匹配到的结果为 "1"。
   失败匹配值	当匹配成功的内容等于设置值时，该节点执行失败。
   RDS SQL属性
   数据连接	选择数据连接。
   数据库	选择数据库。
   Spark SQL属性
   MRS作业名称	MRS的作业名称。系统同时支持按照作业名称自动填入。 未设置MRS作业名称且选择直连模式时，节点名称只能由英文字母、数字、中划线和下划线组成。最大只能输入64个字符，不能包含中文字符。 说明： 如果选择MRS API连接方式的数据连接，不支持设置作业名称。
   数据连接	选择数据连接。
   MRS资源队列	选择已创建好的MRS资源队列。 说明： 您需要先在数据安全服务队列权限功能中，配置对应的队列后，才能在此处选择到已配置的队列。当有多处同时配置了资源队列时，此处配置的资源队列为最高优先级。
   数据库	选择数据库。MRS API连接方式下不支持选择数据库。
   运行程序参数	配置运行参数。 举例如下： 参数配置为--queue，参数值配置为default_cr，该示例表示配置了MRS集群的指定队列。同时在MRS集群的作业管理下，在操作的“更多 > 查看详情”里面可以查看该作业的详细信息。 说明： 为本次执行的作业配置相关优化参数（例如线程、内存、CPU核数等），用于优化资源使用效率，提升作业的执行性能。Spark代理连接不支持该配置。 在MRS API连接模式下，单算子作业Spark SQL支持程序运行参数。
   Hive SQL属性
   MRS作业名称	MRS的作业名称。系统同时支持按照作业名称自动填入。 未设置MRS作业名称且选择直连模式时，节点名称只能由英文字母、数字、中划线和下划线组成。最大只能输入64个字符，不能包含中文字符。
   数据连接	选择数据连接。
   数据库	选择数据库。
   MRS资源队列	选择已创建好的MRS资源队列。
   运行程序参数	配置运行参数。 举例如下： 参数配置为--hiveconf，参数值配置为mapreduce.job.queuename=default_cr，该示例表示配置了MRS集群的指定队列。同时在MRS集群的作业管理下，在操作的“更多 > 查看详情”里面可以查看该作业的详细信息。 说明： 为本次执行的作业配置相关优化参数（例如线程、内存、CPU核数等），用于优化资源使用效率，提升作业的执行性能。Hive代理连接不支持该配置。 在MRS API连接模式下，单算子作业Hive SQL支持程序运行参数。
   Doris SQL属性
   数据连接	选择数据连接。
   数据库	选择数据库。

   表3 高级参数

   参数	是否必选	说明
   节点状态轮询时间（秒）	是	设置轮询时间（1~60秒），每隔x秒查询一次节点是否执行完成。 节点运行过程中，根据设置的节点状态轮询时间查询节点是否执行完成。
   节点执行的最长时间	是	设置节点执行的超时时间，如果节点配置了重试，在超时时间内未执行完成，该节点将会再次重试。
   失败重试	是	节点执行失败后，是否重新执行节点。 是：重新执行节点，请配置以下参数。 超时重试 最大重试次数 重试间隔时间（秒） 否：默认值，不重新执行节点。 说明： 如果作业节点配置了重试，并且配置了超时时间，该节点执行超时后，系统支持再重试。 当节点运行超时导致的失败不会重试时，您可前往“默认项设置”修改此策略。 当“失败重试”配置为“是”才显示“超时重试”。
   当前节点失败后，后续节点处理策略	是	当前节点执行失败后，后续节点的处理策略： 终止当前作业执行计划：终止当前作业运行，当前作业实例状态显示为“失败”。如果是周期调度作业，后续周期调度会正常运行。 忽略失败，作业结果设为成功：忽略当前节点失败，当前作业实例状态显示为“运行成功”。如果是周期调度作业，后续周期调度会正常运行。

6. 在SQL编辑器中输入SQL语句，支持输入多条SQL语句。
   

   • SQL语句之间以“;”分隔。如果其它地方使用“;”，请通过“\”进行转义。例如：

     select 1;
     select * from a where b="dsfa\;";  --example 1\;example 2.

   • RDS SQL当前不支持begin ... commit事务语法，若有需要，请使用start transaction ... commit事务语法。
   • 脚本内容大小不能超过16MB。
   • 使用SQL语句获取的系统日期和通过数据库工具获取的系统日期是不一样，查询结果存到数据库是以YYYY-MM-DD格式，而页面显示查询结果是经过转换后的格式。
   • 当前用户提交Spark SQL脚本到MRS时，默认提交至其绑定的租户队列（绑定队列即用户绑定的租户类型角色所对应的队列）中运行。当绑定多个队列时，系统会优先根据内部排序选择队列进行提交；如果需要给该用户使用固定一个队列进行提交， 可以登录FusionInsight Manager界面，在"租户资源 > 动态资源计划 > 全局用户策略"中给该用户配置默认队列，详细操作请参见管理全局用户策略。
   • Spark SQL、Hive SQL脚本支持语法检查。单击“语法检查”，SQL语句校验完成后，可以在下方查看语法校验结果。
   为了方便脚本开发，数据开发模块提供了如下能力：

   • 脚本编辑器支持使用如下快捷键，以提升脚本开发效率。
     • F8：运行
     • F9：停止
     • Ctrl + /：注释或解除注释光标所在行或代码块
     • Ctrl + Z：撤销
     • Ctrl + F：查找
     • Ctrl + Shift + R：替换
     • Ctrl + X：剪切
     • Ctrl + S：保存
     • Alt + 鼠标拖动：列模式编辑，修改一整块内容
     • Ctrl + 鼠标点选：多列模式编辑，多行缩进
     • Shift + Ctrl + K：删除当前行
     • Ctrl + →或Ctrl + ←：向右或向左按单词移动光标
     • Ctrl + Home或Ctrl + End：移至当前文件的最前或最后
     • Home或End：移至当前行最前或最后
     • Ctrl + Shift + L：鼠标双击相同的字符串后，为所有相同的字符串添加光标，实现批量修改
     • Ctrl + D：删除一行
     • Shift + Ctrl + U：解锁
     • Ctrl + Alt + K：同词选择
     • Ctrl + B：格式化
     • Ctrl + Shift + Z：重做
     • Ctrl + Enter：执行所选行/选中内容
     • Ctrl + Alt + F：标记
     • Ctrl + Shift + K：查找上一个
     • Ctrl + K：查找下一个
     • Ctrl + Backspace：删除左侧单词
     • Ctrl + Delete：删除右侧单词
     • Alt + Backspace：删除至行首
     • Alt + Delete：删除至行尾
     • Alt + Shift-Left：选择行首
     • Alt + Shift-Right：选择行尾
   • 支持系统函数功能。

     单击编辑器右侧的“函数”，显示该数据连接类型支持的函数，您可以双击函数到编辑器中使用。

   • 支持脚本参数。

     在SQL语句中直接写入脚本参数，然后在编辑器右侧的“参数”处选择“更新脚本参数”。也可以直接配置该作业脚本的参数与常量。

     脚本示例如下，其中str1是参数名称，只支持英文字母、数字、“-”、“_”、“<”和“>”，最大长度为16字符，且参数名称不允许重名。

     select ${str1} from data;

   • 支持可视化读取数据表生成SQL语句功能。

     单击编辑器右侧的“数据表”，显示当前数据库或schema下的所有表，可以根据您的需要勾选数据表和对应的列名，在右下角单击“生成SQL语句”，生成的SQL语句需要您手动格式化。

7. （可选）在编辑器上方，单击“格式化”，格式化SQL语句。
8. 在编辑器上方，单击“运行”。如需单独执行某部分SQL语句，请选中SQL语句再运行。SQL语句运行完成后，在编辑器下方可以查看脚本的执行历史、执行结果。
   

   • 您可以单击“查看日志”，进入查看日志界面查看日志的详细信息记录。
   • 查看脚本执行结果时，双击任意一行的一个字段，可以查看该行的结果详情，支持复制字段名称。
   • 脚本执行历史结果可以进行权限管控，可设置为“仅自己可见”或“所有用户可见”，默认配置项请参见脚本执行历史展示。
9. 在编辑器上方，单击“保存”，保存该作业。

配置作业参数

单击编辑器右侧的“参数”，展开配置页面，配置如表4所示的参数。

单击“作业参数预览”页签，展开预览页面，配置如表5所示的参数。

在作业参数预览中，如果作业参数配置存在语法异常情况系统会给出提示信息。

如果参数配置了依赖作业实际运行时产生的数据，参数预览功能中无法模拟此类数据，则该数据不展示。

质量监控

对已编排好的单任务作业关联质量作业，当前暂不支持单任务Data Migration作业和单任务的实时作业。

质量监控支持并行和串行两种方式。单击画布右侧“质量监控”页签，展开配置页面，配置如表6所示的参数。

数据表

支持Hive SQL、Spark SQL、DLI SQL、DWS SQL、Doris SQL和RDS SQL单任务批处理作业可以查看右侧的数据表，单击表名前面的单选框，可以查看该数据的列名、字段类型和描述。

图1 查看数据表

调测并保存作业

作业配置完成后，请执行以下操作：

1. 单击画布上方的运行按钮，运行作业。
   

   用户可以查看该作业的运行日志，单击“查看日志”可以进入查看日志界面查看日志的详细信息记录。

2. 运行完成后，单击画布上方的保存按钮，保存作业的配置信息。

   保存后，在右侧的版本里面，会自动生成一个保存版本，支持版本回滚。保存版本时，一分钟内多次保存只记录一次版本。对于中间数据比较重要时，可以通过“新增版本”按钮手动增加保存版本。

下载或转储脚本执行结果

引用字符和转义字符使用示例

• 引用字符和转义字符使用说明：
  • 引用字符：用于识别分割字段，默认值：英文双引号（"）。
  • 转义字符：在导出结果中如果需要包含特殊字符，如引号本身，可以使用转义字符（反斜杠 \ ）来表示。默认值：英文反斜杠（\）。
    1. 假设两个quote_char之间的数据内容存在第三个quote_char，则在第三个quote_char前加上escape_char，从而避免字段内容被分割。
    2. 假设数据内容中原本就存在escape_char，则在这个原有的escape_char前再加一个escape_char，避免原来的那个字符起到转义作用。
• 应用示例：

  

  在进行转储时，如果引用字符和转义字符不填，如下图所示。

  

  下载的.csv用excel打开以后如下图所示，是分成两行的。

  

  在转储时，如果引用字符和转义字符都填写，比如，引用字符和转义字符都填英文双引号（"），则下载以后查看结果如下图所示。

  

模板

在开发Hive SQL、Spark SQL单任务作业时，系统支持可以引用脚本模板。创建模板的详细操作请参见配置模板，脚本模板的使用场景指导请参见引用脚本模板和参数模板的使用介绍。同时，系统提供了多个Hive SQL、Spark SQL的公共模板，便于用户在开发常用的SQL语句时进行参考。