或对象存储服务（OBS）中的Hadoop数据提供快速，交互式SQL查询。除了使用相同的统一存储平台之外，Impala还使用与Apache Hive相同的元数据，SQL语法（Hive SQL），ODBC驱动程序和用户界面（Hue中的Impala查询UI）。这为实时或面向批处理的查询提

查看更多 →

abc /add 弹性云服务器创建成功后，您可以使用新创建的用户名和密码登录弹性云服务器。 案例5 该样例介绍如何通过实例自定义数据注入，为Linux弹性云服务器更新系统软件包，并且开启httpd相关服务。注入成功后，您的弹性云服务器就可以使用httpd服务了。 实例自定义数据注入示例：

查看更多 →

Flink是一个批处理和流处理结合的统一计算框架，其核心是一个提供了数据分发以及并行化计算的流数据处理引擎。它的最大亮点是流处理，是业界最顶级的开源流处理引擎。 Flink最适合的应用场景是低时延的数据处理（Data Processing）场景：高并发pipeline处理数据，时延毫秒级，且兼具可靠性。

查看更多 →

缩小batch大小后，QPS上升，实例总体性能为什么会下降 问题现象 用户原来的batch_size设置的是100，单行大概为400Byte。由于batch_size达到5KB后会触发告警，所以修改batch_size为10。但是为了保证总体写入性能，QPS会达到原来的10倍，然而实际修改后总体性能却出现下降。

查看更多 →

度为1～128个字符。 子作业名称 是 选择需要调用的子作业名称。 说明： 您只能选择已存在的批处理作业名称，此批处理作业不能为作业本身，并且该批处理作业为不包含Sub Job节点的作业。 子作业参数名称 是/否 当节点属性中子作业参数配置为空时，子作业使用自身参数变量执行。父作业的“子作业参数名称”不显现。

查看更多 →

当您有如下需求时，可以考虑使用实例自定义数据注入功能来配置裸金属服务器： 通过脚本简化裸金属服务器配置 通过脚本初始化系统 已有脚本，在创建裸金属服务器时一并上传至服务器 其他可以使用脚本完成的操作 使用限制 Linux： 用于创建裸金属服务器的镜像安装了Cloud-init组件。 用户数据大小限制：小于等于32KB。

查看更多 →

中最新记录。 数据处理方式：“按字节数”和“按批处理”。 表1 数据处理方式介绍 数据处理方式 说明 按字节数 需配置“最大字节数”，每次触发时获取记录的最大字节数。只有当分区中单条记录小于该值，才能被获取。设置范围：0KB-4MB。 按批处理 需配置“批处理大小”，单次拉取的最

查看更多 →

V2.0考试覆盖：大数据应用开发总指导、大数据主流技术、大数据场景化解决方案（离线批处理、实时检索、实时流处理、融合数仓）、大数据应用开发流程等内容。 知识点 大数据应用开发总指导 5% 大数据离线批处理场景化解决方案 20% 大数据实时检索场景化解决方案 25% 大数据实时流计算场景化解决方案

查看更多 →

怎样将OBS表映射为 DLI 的分区表？ 场景概述 用户使用Flink SQL作业时，需要创建OBS分区表，用于后续进行批处理。 操作步骤 该示例将car_info数据，以day字段为分区字段，parquet为编码格式，转储数据到OBS。更多内容请参考《 数据湖探索 Flink SQL语法参考》。

查看更多 →

当游标作为存储过程的返回值时，如果使用JDBC调用该存储过程，返回的游标将不可用。 存储过程不能和普通SQL在同一条语句中执行。 执行批处理 用一条预处理语句处理多条相似的数据，数据库只创建一次执行计划，节省了语句的编译和优化时间。可以按如下步骤执行： 调用Connection的prep

查看更多 →

当游标作为存储过程的返回值时，如果使用JDBC调用该存储过程，返回的游标将不可用。 存储过程不能和普通SQL在同一条语句中执行。 执行批处理 用一条预处理语句处理多条相似的数据，数据库只创建一次执行计划，节省了语句的编译和优化时间。可以按如下步骤执行： 调用Connection的prep

查看更多 →

开发作业前，您可以通过图1了解数据开发模块作业开发的基本流程。 图1 作业开发流程 新建作业：当前提供两种作业类型：批处理和实时处理，分别应用于批量数据处理和实时连接性数据处理，其中批处理作业还支持Pipeline和单节点作业两种模式，具体请参见新建作业。 开发作业：基于新建的作业，进行作业

查看更多 →

”，且长度为1～128个字符。 作业类型 选择作业的类型。 批处理作业：按调度计划定期处理批量数据，主要用于实时性要求低的场景。批作业是由一个或多个节点组成的流水线，以流水线作为一个整体被调度。被调度触发后，任务执行一段时间必须结束，即任务不能无限时间持续运行。 批处理作业可以配置作业级别的调度任务，即以

查看更多 →

yaml -i %%a echo/ ) pause 图2 批处理文件说明 如果执行NGS批量任务时需要变更不同的原始数据、参考基因序列、测序平台、文件前缀等，请参考上述批处理文件示例，将需要变更的数据补充完整。 .bat批处理文件需要和命令行工具放在同一路径下，同时，命令行工具需为登录状态。

查看更多 →

状态就会被保存下来。 可以通过token_num = step * batch_size * sequence公式进行预估。其中： token_num：已训练的数据量。 step：已完成的训练步数。 batch_size：每个训练步骤中使用的样本数据量。 sequence：每个数据样本中的Token数量。

查看更多 →

通过索引来缩短访问时延。 处理有效负载 识别出必须要处理的数据，排除对其他数据的重复处理。在一项处理数据的操作中，并非所有的处理数据都是必须处理的，可以通过分析，识别出必须处理的数据。可以有多种方式，来减轻负载的方法，如增量处理、变化通知等。 增量处理 变化通知 有效减负的反模式

查看更多 →

。 控制台操作请参考《 数据湖 探索用户指南》。API操作请参考《数据湖探索API参考》>《创建批处理作业》。 创建Spark作业完成后，在控制台单击右上角“执行”提交作业，页面显示“批处理作业提交成功”说明Spark作业提交成功，可以在Spark作业管理页面查看提交的作业的状态和日志。

查看更多 →

作业开发 作业开发流程 新建作业 开发Pipeline作业 开发批处理单任务SQL作业 开发实时处理单任务 MRS Flink SQL作业 开发实时处理单任务MRS Flink Jar作业 开发实时处理单任务DLI Spark作业 调度作业 提交版本 发布作业任务 （可选）管理作业

查看更多 →

CTI返回通用错误码 表1 CTI返回通用错误码 错误结果码 说明 120000 接口错误 120001 批处理最大个数为500 120002 配置已经存在 120003 配置不存在 120004 已经达到最大数 120005 配置项校验失败 120006 线程达到最大个数 父主题：

查看更多 →

查询权限点信息（API名称：findFuncPrivByFuncPrivNo） 按角色查询权限（API名称：findFuncByRoleNo） 角色批处理（API名称：batchRole） 角色权限点配置（API名称：grantRoleFuncPriv） 查询角色列表分页（API名称：findPagedRoleList）

查看更多 →

DIS、 CDM 、OBS、DWS、RDS、CloudTable 图2 车企数字化服务转型 大数据ETL处理 运营商大数据分析 运营商数据体量在PB~EB级，其数据种类多，有结构化的基站信息数据，非结构化的消息通信数据，同时对数据的时效性有很高的要求，DLI服务提供批处理、流处理等多模引擎，打破数据孤岛进行统一的数据分析。

查看更多 →