中软国际数据治理专业服务解决方案实践

通过数据开发使用参数传递灵活调度 CDM 作业 如果CDM作业接收来自数据开发作业配置的参数，则在数据开发模块可以使用诸如EL表达式传递动态参数来调度CDM作业。 本示例介绍的参数传递功能仅支持CDM 2.8.6版本及以上集群。 本示例以执行迁移Oracle数据到 MRS Hive的C

查看更多 →

如何设置页面间参数传递 AstroCanvas开发中，可通过设置组件的事件和动作属性来实现组件与组件、组件与页面之间的交互。在组件的交互响应事件中，可通过“页面跳转”响应动作传递页面参数。当跳转页面时，当前页面参数会传入到打开的页面中，支持自定义传参为固定值，也可绑定页面级全局变量。

查看更多 →

API传参是否支持传递操作符？ API传参不支持传递操作符。 API传参传递的只是参数，操作符是固定的，多个参数可使用in(${})方式。 父主题： 数据服务

查看更多 →

自定义函数中提供了可选的open(FunctionContext context)方法，FunctionContext具备参数传递功能，自定义配置项通过此对象来传递。自定义函数的参数传递操作步骤如下： 在Flink OpenSource SQL编辑页面右侧自定义配置中添加参数pipeline.g

查看更多 →

自定义函数中提供了可选的open(FunctionContext context)方法，FunctionContext具备参数传递功能，自定义配置项通过此对象来传递。自定义函数的参数传递操作步骤如下： 在Flink OpenSource SQL编辑页面右侧自定义配置中添加参数pipeline.g

查看更多 →

通过数据开发使用参数传递灵活调度CDM作业 如果CDM作业接收来自数据开发作业配置的参数，则在数据开发模块可以使用诸如EL表达式传递动态参数来调度CDM作业。 本示例介绍的参数传递功能仅支持CDM 2.8.6版本及以上集群。 本示例以执行迁移Oracle数据到MRS Hive的C

查看更多 →

对于非body位置的参数，请在原始JSON文件对应Key的大括号中，以"参数名称":"参数值"的格式成对填入各参数及其值，同一大括号中每对数据之间以","隔开，最后一对数据与“}”之间不需要再加","； 对于body位置的参数，在 API Explorer 页面填写其“Body”中各参数的值，填写完

查看更多 →

当每条记录需要查表，如果是Driver端用广播方式传递的数据，数据结构优先采用set/map而不是Iterator，因为Set/Map的查询速率接近O(1)，而Iterator是O(n)。 数据倾斜 当数据发生倾斜（某一部分数据量特别大），虽然没有GC（Garbage Colle

查看更多 →

当每条记录需要查表，如果是Driver端用广播方式传递的数据，数据结构优先采用set/map而不是Iterator，因为Set/Map的查询速率接近O(1)，而Iterator是O(n)。 数据倾斜 当数据发生倾斜（某一部分数据量特别大），虽然没有GC（Gabage Collec

查看更多 →

当每条记录需要查表，如果是Driver端用广播方式传递的数据，数据结构优先采用set/map而不是Iterator，因为Set/Map的查询速率接近O(1)，而Iterator是O(n)。 数据倾斜 当数据发生倾斜（某一部分数据量特别大），虽然没有GC（Gabage Collec

查看更多 →

已完成新建数据库的操作。 使用案例 创建SQL脚本 在数据开发主界面的左侧导航栏，选择“数据开发 > 脚本开发”。 创建一个SQL脚本。本案例以MRS SPARK SQL为例。 选择已创建好的数据连接和数据库。 编写SQL脚本，从源表table1这张数据表里面获取最大时间值数据。 select

查看更多 →

如何实现传递拆线原因码给指定业务接口？ 有时候，业务需要我们在呼叫拆线时调用指定的接口，上报拆线原因码等信息。实现这个功能的要点，除了在接口管理定义指定的接口，还需要做一个异常流程，以及通过一个全局变量记录流程拆线的原因。 首先，需要明确一下呼叫拆线原因的分类。从呼叫参与主体角度可以分为三类：

查看更多 →

预取值设置太小可能会损害性能，RabbitMQ会一直在等待获得发送消息的权限。 预取值设置太大可能会导致从队列中取出大量消息传递给一个消费者，而使其他消费者处于空闲状态。另外还需要考虑消费者的配置，消费者在处理消息时会将所有消息保存在内存中，太大的预取值会对消费者的性能产生负面影响，甚至可能会导致消费者崩溃。

查看更多 →

如何通过调用Agent API将变量传递到工作流？ 创建Agent时配置变量，如图1所示，具体操作请参见创建并发布Agent。 图1 配置变量 在配置工作流时，选择引入变量，根据Agent中定义的变量类型（一般变量或敏感变量）来设置工作流的入参，如图2所示，具体操作请参见创建工作流。

查看更多 →

ipt Edition 5.1规范。 函数后端支持的脚本大小最大为32KB。 数据后端开发要求： 若数据后端执行语句查询获取的数据量较大，建议携带offset和limit参数进行分页，避免因响应数据太大导致响应超时。使用方式如下： select * from table01 limit

查看更多 →

不同类型的操作系统间进行数据传递和操作，需要注意什么？ 建议将数据文件格式转换后再执行导入。 windows系统转换成类unix系统的文件格式： dos2unix {filename} 类unix系统转换成windows系统的文件格式： unix2dos {filename} 父主题： 数据备份/导出/迁移

查看更多 →

接口自动化用例中前后步骤如何传递变量 问题现象 在编写接口测试自动化脚本过程中，前后步骤如何传递变量？ 例如：要测试接口B，该接口有一个入参orderNumber，它的值来源于接口A的响应体中number属性的值，并且该值是动态变化的，如何把接口A响应体number属性的值动态传递给接口B的orderNumber参数？

查看更多 →

主车重新启动的时间是否太大。 本设计认为在绿灯状态下， 如果前方没有行人和引导车的情况下， 主车在停止线前20m范围内发生停车行为， 则绿灯前直接通行不通过。 当交通灯由红灯变为绿灯后， 如果主车重新启动的时间大于一定阈值（本设计取3s）， 则绿灯后重新启动时间太大。 该指标关联的内置可视化时间序列数据为：暂无。

查看更多 →

用户授权没传递userid，怎么做唯一性校验？ 可以使用tenantId+userName做唯一性校验。 父主题： 开发相关

查看更多 →

STDIN导入数据 这种方式适合数据写入量不太大， 并发度不太高的场景。 用户可以使用以下方式通过COPY FROM STDIN语句直接向 GaussDB (DWS)写入数据。 通过键盘输入向GaussDB(DWS)写入数据。 通过JDBC驱动的CopyManager接口从文件或者数据库向G

查看更多 →

HBase集群写入数据大小不能超过多少？ 问题现象 HBase集群大规模并行写入数据时，写入数据到一半卡住，无法写入数据。 原因分析 数据迁移单个请求写入数据太大，导致报错。 处理方法 建议单次写入不超过2M，单条不超过200k。 父主题： 数据读写类

查看更多 →