中软国际数据治理专业服务解决方案实践

，每日自动分析。 当分析任务结束后，单击分析列表“操作”列的“查看”，您可以查询当前实例不同数据类型的大Key分析结果。 单击分析列表“操作”列的“下载”或“删除”，也可以下载或删除分析结果。 大Key分析结果显示数据大小最大的前100条Key记录（string类型显示20条，l

查看更多 →

查找子资产的父所有者信息 根据子资产的集合标识和资产编号查询其父所有者的信息。 调用方法 OwnerOfChild(childCollectionIndex, childTokenId string)(string,string,string,error) 参数说明 参数 类型 说明

查看更多 →

查找子资产的父所有者信息 根据子资产的集合标识和资产编号查询其父所有者的信息。 调用方法 public ParentInfo ownerOfChild(String childCollectionIndex, String childTokenId) throws Exception

查看更多 →

查找子资产的父所有者信息 根据子资产的集合标识和资产编号查询其父所有者的信息。 调用方法 public function ownerOfChild(string $childCollectionIndex, string $childTokenId) throws Exception

查看更多 →

client, batch_queue_name, batch_job_info): try: batch_job = dli_client.submit_spark_batch_job(batch_queue_name, batch_job_info)

查看更多 →

rtition个数。 任务容易出现内存溢出：部分数据分片较大，单个task处理数据过大，或者executor中并行度不足，单个task内存不足导致。此时应减少executor数量，增大数据分片。 数据量少，但小文件数量多：减少数据分片，在reduce算子后执行coalesce算子，以减少task数量，减少cpu负载。

查看更多 →

查询作业实例列表 功能介绍 查询作业实例列表。 对于配置了周期调度或事件触发调度的批处理作业，触发一次运行就会生产一个作业实例。如果实时作业里面包含了配置周期调度或事件触发调度节点，可以通过此接口查询节点所关联的子作业的实例列表，参数jobName格式为[实时作业名称]_[节点名称]。

查看更多 →

作业开发支持细粒度权限管控，在数据安全模块对数据开发作业目录权限管控策略进行配置。 开发作业前，您可以通过图1了解数据开发模块作业开发的基本流程。 图1 作业开发流程 新建作业：当前提供两种作业类型：批处理和实时处理，分别应用于批量数据处理和实时连接性数据处理，其中批处理作业还支持Pipel

查看更多 →

您只能选择已存在的批处理作业名称，此批处理作业不能为作业本身，并且该批处理作业为不包含Sub Job节点的作业。 子作业参数名称 是/否 当节点属性中子作业参数配置为空时，子作业使用自身参数变量执行。父作业的“子作业参数名称”不显现。 当节点属性中子作业参数配置了数据时，子作业将使用

查看更多 →

考试内容 华为大数据开发高级工程师认证HCIP-Big Data Developer V2.0考试覆盖：大数据应用开发总指导、大数据主流技术、大数据场景化解决方案（离线批处理、实时检索、实时流处理、融合数仓）、大数据应用开发流程等内容。 知识点 大数据应用开发总指导 5% 大数据离线批处理场景化解决方案

查看更多 →

场景概述 用户使用Flink SQL作业时，需要创建OBS分区表，用于后续进行批处理。 操作步骤 该示例将car_info数据，以day字段为分区字段，parquet为编码格式，转储数据到OBS。更多内容请参考《数据湖探索Flink SQL语法参考》。 1 2 3 4 5 6

查看更多 →

调用PreparedStatement的close方法关闭预编译语句对象。 1 pstmt.close(); 在实际的批处理过程中，通常不终止批处理程序的执行，否则会降低数据库的性能。因此在批处理程序时，应该关闭自动提交功能，每几行提交一次。关闭自动提交功能的语句为：conn.setAutoCommit(false);

查看更多 →

调用PreparedStatement的close方法关闭预编译语句对象。 1 pstmt.close(); 在实际的批处理过程中，通常不终止批处理程序的执行，否则会降低数据库的性能。因此在批处理程序时，应该关闭自动提交功能，每几行提交一次。关闭自动提交功能的语句为：conn.setAutoCommit(false);

查看更多 →

区中最新记录。 数据处理方式：“按字节数”和“按批处理”。 表1 数据处理方式介绍 数据处理方式 说明 按字节数 需配置“最大字节数”，每次触发时获取记录的最大字节数。只有当分区中单条记录小于该值，才能被获取。设置范围：0KB-4MB。 按批处理 需配置“批处理大小”，单次拉取的

查看更多 →

atch_id} 查询所有批处理作业 listAllBatchJobs - GET /v2.0/{project_id}/batches 查询批处理作业详情 - - GET /v2.0/{project_id}/batches/{batch_id} 查询批处理作业状态 getStateBatchJob

查看更多 →

创建队列：在弹性资源池中添加队列。 上传分组资源：上传Spark作业所需的资源包。 查询组内资源包：确认上传的资源包是否正确。 创建批处理作业：创建并提交Spark批处理作业。 查询批处理作业状态：查看批处理作业状态。 查询批处理作业日志：查看批处理作业日志。 操作步骤 创建弹性资源池elastic_pool_dli

查看更多 →

项目编号，获取方法请参见项目ID和账号ID。 job_name 是 String 作业名称。 如果要查询指定批处理作业的实例列表，job_name就是批处理作业名称； 如果要查询实时作业下某个节点关联的子作业，job_name格式为[实时作业名称]_[节点名称]。 min_plan_time

查看更多 →

日志的时间。 批处理消息最大值 Kafka允许的最大批处理大小，如果启用消息压缩，则表示压缩后的最大批处理大小。 如果增加“批处理消息最大值”的值，且存在消费者版本早于0.10.2，此时消费者的“fetch size”值也必须增加，以便消费者可以获取增加后的批处理大小。 描述 Topic的描述信息。

查看更多 →

调用聚合服务时提示“查找不到该企业用户” 问题描述 调用数字主线引擎中的聚合服务时，提示“查找不到该企业用户”。 图1 报错信息 可能原因 调用服务时，使用了未授权数字主线引擎数据权限的IAM用户的token。 解决方法 请为该IAM用户授权数字主线引擎的数据权限，详细操作请参考授权用户权限。

查看更多 →

在“作业监控”里面查看作业执行结果。 图2 查看被依赖作业的执行结果 创建一个周期调度的天任务作业。（每天07:15执行的天任务作业） 在数据开发主界面的左侧导航栏，选择“数据开发 > 作业开发”。 在作业目录中，右键单击目录名称，选择“新建作业”，创建一个批处理的Pipeline

查看更多 →

如何查找Maven构建中正确的构建包路径 新建Maven构建任务，在“Maven构建”构建步骤后增加“上传软件包到软件发布库”构建步骤。 配置构建包路径，填写任意路径并保存。 执行构建任务，在日志中找到BUILD SUCCESS信息。 往上几行找到形如“/target/****.war”的信息，即为准确的构建包路径。

查看更多 →