中软国际数据治理专业服务解决方案实践

应用中提供准确的预测结果。 应用与部署：当大模型训练完成并通过验证后，进入应用阶段。主要包括以下几个方面： 模型优化与部署：将训练好的大模型部署到生产环境中，可能通过云服务或 本地服务器 进行推理服务。此时要考虑到模型的响应时间和并发能力。 模型监控与迭代：部署后的模型需要持续监控其

查看更多 →

数据安全与隐私 使用OCR服务，是否会保存用户数据

查看更多 →

解析与更新JSON数据 本文介绍如何使用数据加工对包含JSON对象的日志进行解析与更新。 场景一：展开和提取JSON对象 日志中包含JSON对象时，您可以通过e_json函数展开和提取对象。 示例：指定字段名精确提取JSON对象值，例如展开data字段值中的第一层键值对。 原始日志

查看更多 →

关联属性与数据标准 功能介绍 关联属性与数据标准。 调用方法 请参见如何调用API。 URI PUT /v2/{project_id}/design/standards/attribute 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项

查看更多 →

使用数据工程构建科学计算大模型数据集 科学计算大模型支持接入的数据集类型 盘古科学计算大模型仅支持接入气象类数据集，该数据集格式要求请参见气象类数据集格式要求。 构建科学计算大模型训练数据要求 构建科学计算大模型进行训练的数据要求见表1。 表1 科学计算大模型训练数据要求 模型类别

查看更多 →

ntpdate修改时间导致HDFS出现大量丢块 问题背景与现象 用ntpdate修改了集群时间，修改时未停止集群，修改后HDFS进入安全模式，无法启动。 退出安全模式后启动，hfck检查丢了大概1 TB数据。 原因分析 查看NameNode原生页面发现有大量的块丢失。 图1 块丢失 查看原生页面Datanode

查看更多 →

发现和处理Redis大Key热Key 大Key和热Key的定义 大Key和热Key场景较多，没有非常明确的边界，需要根据实际业务判断。 名词 定义 大Key 大Key可以分为两种情况： Key的Value占用存储空间较大。一般单个String类型的Key大小达到10KB，或者集合

查看更多 →

您需要在云数据库RDS服务控制台，创建一个MySQL数据库实例，用于模拟原始数据源。建议创建MySQL数据库时，相关网络参数与 DataArts Studio 实例中的 CDM 集群的所在区域、虚拟私有云、子网、安全组保持一致，默认内网互通，否则还需手动打通MySQL数据库与CDM集群的网络。二者的企业项目也应保持一致。

查看更多 →

严格控制每张表的索引个数，建议3个以内。 大量数据导入前先将索引删除，导入完成后再重新建索引。 场景9：行存大表首次查询 某业务场景出现备DN持续catchup，IO压力大，观察某个SQL等待视图在wait wal sync。 排查业务发现某查询语句执行时间较长，执行kill命令后恢复。 触发因素：行存表大量数据入库后，首次查询触发page

查看更多 →

雷达数据采集与上传 堆体服务对雷达点云数据规格约束、云台采集和环境要求 激光雷达点云数据上传 父主题： 堆体测量

查看更多 →

建表与数据导入 GDS方式导入 父主题： 测试方法

查看更多 →

支持的数据与协议 数据集成 数据集成任务支持的数据源相关信息如表1所示。 表1 数据集成支持的数据源 数据源类型 支持的版本 普通任务的源端 普通任务的目标端 组合任务的源端 组合任务的目标端 API - 支持 支持 不支持 不支持 ActiveMQ 5.15.9 支持 支持 不支持

查看更多 →

大量回滚事务拖慢Undo空间回收 问题现象 使用gs_async_rollback_xact_status视图查看有大量的待回滚事务，且待回滚的事务数量维持不变或者持续增高。 SELECT * FROM gs_async_rollback_xact_status()； 处理方法

查看更多 →

大量回滚事务拖慢Undo空间回收 问题现象 使用gs_async_rollback_xact_status视图查看有大量的待回滚事务，且待回滚的事务数量维持不变或者持续增高。 select * from gs_async_rollback_xact_status()； 处理方法

查看更多 →

大量回滚事务拖慢Undo空间回收 问题现象 使用gs_async_rollback_xact_status视图查看有大量的待回滚事务，且待回滚的事务数量维持不变或者持续增高。 select * from gs_async_rollback_xact_status()； 处理方法

查看更多 →

运行Spark任务发现大量shuffle结果丢失 问题现象 Spark任务运行失败，查看任务日志发现大量打印shuffle文件丢失。 原因分析 Spark运行的时候会将临时产生的shuffle文件放在executor的临时目录中，方便后面获取。 而当某个executor异常退出时

查看更多 →

情况。 客户端执行命令的时延变大。 对大Key进行的慢操作会导致后续的命令被阻塞，从而导致一系列慢查询。 导致实例流控。 对大Key高频率的读会使得实例出方向带宽被打满，导致流控，产生大量命令超时或者慢查询，业务受损。 导致主备倒换。 对大Key执行危险的DEL操作可能会导致主节点长时间阻塞，从而导致主备倒换。

查看更多 →

for MySQ L实例 迁移中，大量binlog文件导致数据盘空间不足 RDS for MySQL实例迁移中，短时间内产生大量binlog文件，导致数据盘空间不足（91%），影响业务正常运行 。 解决方案 请及时清理过期数据。 随着业务数据的增加，原来申请的数据库磁盘容量可能会不足，建议用户扩容磁盘空间，确保磁盘空间足够。

查看更多 →

上下文：提供角色、示例、外部信息等，供大模型参考。 提示工程是什么 大模型生成文本的过程可视为一个黑盒，同一模型下对于同一个场景，使用不同的提示词也会获得不同的结果。提示工程是指在不更新模型参数的前提下，通过设计和优化提示词的方式，引导大模型生成目标结果的方法。 为什么需要提示工程 模型生成结果优劣取决与模型能

查看更多 →

数据源管理与数据标准管理 数据源管理 支持对 OLAP 数据源、关系型数据源、NoSQL 数据库、文件数据源、消息队列数据源等异构数据源类型进行接入，屏蔽不同数据库之间的差异，实现数据源的统一管理。 图1 数据源管理1 图2 数据源管理2 数据标准管理 数据元标准 通过“数据标准

查看更多 →

将组件资产编排组装在应用中，快速满足业务诉求，如指标卡片库资产提供的通过高级组件开发的各种卡片，可用于大屏页面。在大屏编辑页面上可以直接拖放卡片库的卡片，配置数据源，快速组装为大屏页面。 AI资产 提供AI技术能力。随着智能产品的出现和普及，AI技术已经进入到各个领域，在应用中被

查看更多 →