中软国际数据治理专业服务解决方案实践

partitionColumn 否 String 抽取分区字段，依据此字段将作业分割为多个任务并发执行，例如：“id”。 fromJobConfig.usePartition 否 Boolean 从Oracle导出数据时，支持从分区表的各个分区并行抽取数据。启用该功能时，可以通过下面的“fromJobConfig

查看更多 →

通过 DLI 跨源写DWS表，非空字段出现空值异常 问题现象 客户在DWS建表，然后在DLI创建跨源连接读写该表，突然出现如下异常，报错信息显示DLI向该表某非空字段写入了空值，因为非空约束存在导致作业出错。 报错信息如下： DLI.0999: PSQLException: ERROR:

查看更多 →

partitionColumn 否 String 抽取分区字段，依据此字段将作业分割为多个任务并发执行，例如：“id”。 fromJobConfig.usePartition 否 Boolean 从Oracle导出数据时，支持从分区表的各个分区并行抽取数据。启用该功能时，可以通过下面的“fromJobConfig

查看更多 →

https://cdnjs.cloudflare.com/ajax/libs/react/17.0.2/umd/react.development.js https://cdnjs.cloudflare.com/ajax/libs/react-dom/17.0.2/umd/react-dom

查看更多 →

thriftServer.useHdfsCollect参数设置为true时，将结果数据保存到HDFS中，但JobHistory原生页面上Job的描述信息无法正常关联到对应的SQL语句，同时spark-beeline命令行中回显的Execution ID为null，为解决JD BCS erver OOM问题，同时显示信息正确，建议选择

查看更多 →

thriftServer.useHdfsCollect参数设置为true时，将结果数据保存到HDFS中，但JobHistory原生页面上Job的描述信息无法正常关联到对应的SQL语句，同时spark-beeline命令行中回显的Execution ID为null，为解决JDB CS erver OOM问题，同时显示信息正确，建议选择

查看更多 →

为了简化配置，此处没有把脚本封装为公共接口，实际使用时业务应该使用公共接口进行封装，以便实现更细粒度的权限控制。 以jQuery的ajax方法为例，代码示例如下： var url = "/u-route/baas/script/v1.0/run/cube__download"; context.$utils.getCSRFToken()

查看更多 →

通过Spark-sql创建Hudi表或者Hive表，未插入数据前，查询表统计信息为空 问题 通过spark-sql创建Hudi表或者Hive表，未插入数据之前，查询表统计信息都为空。 解决方法 可以通过以下两种方式生成： 手动通过analyze命令，触发统计信息收集。如果没有插入数据，analyze命令执行完之后，再通过desc

查看更多 →

L协议，需要配置为SASL_PLAINTEXT。 sasl.kerberos.service.name 服务名 Kafka集群运行，所使用的Kerberos用户名（需配置为kafka）。 key.serializer 消息Key值序列化类 指定消息Key值序列化方式。 value

查看更多 →

L协议，需要配置为SASL_PLAINTEXT。 sasl.kerberos.service.name 服务名 Kafka集群运行，所使用的Kerberos用户名（需配置为kafka）。 key.serializer 消息Key值序列化类 指定消息Key值序列化方式。 value

查看更多 →

L协议，需要配置为SASL_PLAINTEXT。 sasl.kerberos.service.name 服务名 Kafka集群运行，所使用的Kerberos用户名（需配置为kafka）。 key.serializer 消息Key值序列化类 指定消息Key值序列化方式。 value

查看更多 →

L协议，需要配置为SASL_PLAINTEXT。 sasl.kerberos.service.name 服务名 Kafka集群运行，所使用的Kerberos用户名（需配置为kafka）。 key.serializer 消息Key值序列化类 指定消息Key值序列化方式。 value

查看更多 →

数据源为Hive时支持哪些数据格式？ 云数据迁移服务支持从Hive数据源读写的数据格式包括SequenceFile、TextFile、ORC、Parquet。 父主题： 功能类

查看更多 →

数据源为Hive时支持哪些数据格式？ 云数据迁移服务支持从Hive数据源读写的数据格式包括SequenceFile、TextFile、ORC、Parquet。 父主题： 数据集成

查看更多 →

String 分区过滤条件。最小长度为0，最大长度为256。 partition_values 否 Array 分区的值列表。最小元素数为0，最大元素数为1000。 limit 否 Integer 查询返回条数。默认值为500。最小值为1，最大值为1000。 marker 否 String

查看更多 →

法从仿真器和AD算法按帧接收数据，每接收一帧数据，就调用一次评测函数，在最后仿真结束时将评测结果写成评测pb文件。 实时评测的实现包括如下几个步骤： 代码内实现与仿真器的通信，实时接收仿真器的帧数据，也可同时接收仿真器和AD算法的数据。 处理每帧数据，不断更新评测结果。 仿真结束

查看更多 →

'FAIL' String 在序列化地图数据的空键时指定处理模式。当前支持的值为“FAIL”、“DROP”和“LITERAL”：选项“FAIL”将在遇到带有空键的地图时抛出异常。选项“DROP”将删除地图数据的空键条目。选项“LITERAL”将替换空带字符串文字的键。字符串文字由

查看更多 →

*.runtimeconfig.json文件的名称为程序集的名称。 文件内容中的version为项目属性中的目标框架的版本号，2.0则为2.0.0 ，2.1则为2.1.0。 将文件打包为netcoreapp2.0.zip压缩包。 压缩包文件名称可随意，但是一定为.zip格式。 测试示例

查看更多 →

'FAIL' String 在序列化地图数据的空键时指定处理模式。当前支持的值为“FAIL”、“DROP”和“LITERAL”：选项“FAIL”将在遇到带有空键的地图时抛出异常。选项“DROP”将删除地图数据的空键条目。选项“LITERAL”将替换空带字符串文字的键。字符串文字由

查看更多 →

本次返回的对象个数。最小值为0，最大值为2000。 next_marker String 下一页查询地址。当不存在下一页，则值为null，当值为null时，响应Body无该参数。 previous_marker String 上一页查询地址。当不存在上一页，则值为null，当值为null时，响应Body无该参数。

查看更多 →

开发Spark应用程序时，优化RDD的数据结构。 使用原始类型数组替代集合类，如可使用fastutil库。 避免嵌套结构。 Key尽量不要使用String。 开发Spark应用程序时，建议序列化RDD。 RDD做cache时默认是不序列化数据的，可以通过设置存储级别来序列化RDD减小内存。例如：

查看更多 →