中软国际数据治理专业服务解决方案实践

数据准备与处理 数据准备使用流程 创建ModelArts数据集 导入数据到ModelArts数据集 处理ModelArts数据集中的数据 标注ModelArts数据集中的数据 发布ModelArts数据集中的数据版本 分析ModelArts数据集中的数据特征 导出ModelArts数据集中的数据

查看更多 →

返回值类型：与入参column_name数据类型相同。 脱敏函数可以覆盖常见敏感信息的脱敏场景，推荐用户优先使用脱敏函数创建脱敏策略。 数据脱敏函数的使用方法，请参考数据脱敏。 自定义脱敏函数 支持用户使用PL/PGSQL语言自定义脱敏函数。 自定义脱敏函数需要严格遵循如下要求： 返回值与脱敏列类型一致。

查看更多 →

使用DSL加工函数处理日期时间 处理日期时间，将方便您对日志后续查询与可视化展示。本文档主要介绍使用函数进行日期时间数据类型转换和日期时间偏移。 概念解释 数据类型转换和转换函数 日期时间对象和Unix时间戳的相互转换 日期时间字符串和Unix时间戳的相互转换 日期时间对象和日期时间字符串的相互转换

查看更多 →

字符处理函数和操作符 GaussDB 提供的字符处理函数和操作符主要用于字符串与字符串、字符串与非字符串之间的连接，以及字符串的模式匹配操作。注意：字符串处理函数除了length相关函数，其他函数和操作符不支持大于1GB clob作为参数。 bit_length(string) 描述：字符串的位数。

查看更多 →

返回值类型：与入参column_name数据类型相同。 脱敏函数可以覆盖常见敏感信息的脱敏场景，推荐用户优先使用脱敏函数创建脱敏策略。 数据脱敏函数的使用方法，请参考数据脱敏中的示例。 自定义脱敏函数 支持用户使用PL/PGSQL语言自定义脱敏函数。 自定义脱敏函数需要严格遵循如下要求： 返回值与脱敏列类型一致。

查看更多 →

答：LiteOS 系统不支持 system 函数执行相关操作，在使用 system 函数进行功能调用的地方，可以直接调用该功能接口函数实现功能调用。

查看更多 →

时间、日期处理函数和操作符 时间/日期操作符 时间/日期函数 EXTRACT date_part date_format time_format 父主题： 函数和操作符

查看更多 →

通过函数API开放数据 前提条件 确保业务系统所在网络与ROMA Connect的网络互通。 若通过公网互通，ROMA Connect实例需绑定弹性IP。 确保业务系统的数据库为ROMA Connect支持的数据源类型。 函数API支持的数据源请参见服务集成支持的数据源。 准备一

查看更多 →

动态数据脱敏函数 该函数为内部功能调用函数。 creditcardmasking(col text, letter char default 'x') 描述：将col字符串后四位之前的数字使用letter替换。 参数：待替换的字符串、替换字符。 返回值类型：text 示例： 1 2

查看更多 →

数据库对象函数 数据库对象尺寸函数 数据库对象位置函数 分区管理函数 排序规则版本函数 冷热表用户函数 父主题： 函数和操作符

查看更多 →

数据库对象函数 数据库对象尺寸函数 数据库对象尺寸函数计算数据库对象使用的实际磁盘空间。 pg_column_size(any) 描述：存储一个指定的数值需要的字节数（可能压缩过）。 返回值类型：int 备注：pg_column_size显示用于存储某个独立数据值的空间。 1 2

查看更多 →

动态数据脱敏函数 该函数为内部功能调用函数。 creditcardmasking(col text, letter char default 'x') 描述：将col字符串后四位之前的数字使用letter替换。 参数：待替换的字符串、替换字符。 返回值类型：text 示例： 1 2

查看更多 →

敏感数据发现函数 gs_sensitive_data_discovery(scan_target text, scan_classifier text) 描述：扫描目标数据，返回统计的扫描结果。 参数： scan_target：指定扫描对象，取值必须是schema、table或c

查看更多 →

开发数据预处理作业 数据预处理通常被用于评估/训练作业场景。本文以使用训练数据训练预处理作业，然后再将预处理方法应用于评估/预测数据为例进行说明。 训练数据预处理作业 评估/预测数据预处理 前提条件 已提前准备好训练数据，和评估/预测数据。 数据预处理作业选择的结构化数据集（包括

查看更多 →

时间、日期处理函数和操作符 时间/日期操作符 时间/日期函数 EXTRACT date_part date_format time_format 父主题： 函数和操作符

查看更多 →

时间、日期处理函数和操作符 时间/日期操作符 时间/日期函数 EXTRACT date_part date_format time_format 父主题： 函数和操作符

查看更多 →

处理ModelArts数据集中的数据 数据处理场景介绍 创建ModelArts数据校验任务 创建ModelArts数据清洗任务 创建ModelArts数据选择任务 创建ModelArts数据增强任务 管理和查看数据处理任务 父主题： 数据准备与处理

查看更多 →

数据处理(OT应用) IoT边缘云服务为应用提供总线对接能力、设备命令下发能力。IoTEdge对应用的日志、数据存储目录进行统一配置，应用相关设置通过环境变量传递给应用。 App从输入点接收来自总线的设备数据上报，对数据进行处理，将处理后的数据通过输出点发送到总线。 App也可以

查看更多 →

步骤2：数据开发处理 本步骤通过BI报表原始数据，分析10大用户关注最多的产品和10大用户评价最差的商品，然后通过作业定期调度执行并将结果每日导出到表中，以支撑信息分析。 分析10大用户关注最多的产品 在 DataArts Studio 控制台首页，选择对应工作空间的“数据开发”模块，进入数据开发页面。

查看更多 →

avg_rating desc limit 10 图2 脚本（top_rating_movie） 关键参数说明： 数据连接：步骤4中创建的DWS数据连接。 数据库：步骤6中创建的数据库。 脚本调试无误后，单击“保存并提交版本”提交该脚本，脚本名称为“top_rating_movie”。在后续开发并调度作业引用该脚本。

查看更多 →

算子数据处理规则 在Loader导入或导出数据的任务中，每个算子对于原始数据中NULL值、空字符串定义了不同的处理规则；在算子中无法正确处理的数据，将成为脏数据，无法导入或导出。 在转换步骤中，算子数据处理规则请参见下表。 表1 数据处理规则一览表 转换步骤 规则描述 CS V文件输入

查看更多 →