中软国际数据治理专业服务解决方案实践

使用数据工程构建NLP大模型数据集 NLP大模型支持接入的数据集类型 盘古NLP大模型仅支持接入文本类数据集，该数据集格式要求请参见文本类数据集格式要求。 构建NLP大模型所需数据量 使用数据工程构建盘古NLP大模型数据集进行模型训练时，所需数据量见表1。 表1 构建NLP大模型所需数据量

查看更多 →

如图6所示，选择开发场景为“大屏”，单击右侧区域的“开发”，进入到配置的AppCube大屏开发环境。 图6 进入大屏开发环境 如果使用系统默认提供开发环境，进入到默认环境的业务大屏。 如果使用配置的开发环境，进入到配置的开发地址，配置的地址不是直接进入业务大屏，参见下图进入业务大屏。 如图7所示，单击“导入项目包”。

查看更多 →

为什么HBase无法写入数据？ 问题现象 HBase无法写入数据，导致应用侧业务数据无法及时更新。 原因分析 Zookeeper连接数过多。 处理方法 建议业务代码连接同一个CloudTable HBase集群时，多线程创建并复用同一个Connection，不必每个线程都创建各自

查看更多 →

什么是数据加密服务 数据加密服务 数据是企业的核心资产，每个企业都有自己的核心敏感数据。这些数据都需要被加密，从而保护它们不会被他人窃取。 数据加密服务（Data Encryption Workshop, DEW）是一个综合的云上数据加密服务。它提供密钥管理（KMS）、凭据管理（

查看更多 →

什么是数据倾斜，如何检查？ 答：数据倾斜即多个DN内数据分布不均，对于hash分表策略，如果分布列选择不当，可能导致数据倾斜，查询时部分DN出现效率短板，从而影响整体查询性能。因此在采用Hash分表策略之后需对表的数据定期进行数据倾斜性检查或监控，以确保数据在各个DN上是均匀分布

查看更多 →

使用数据工程构建科学计算大模型数据集 科学计算大模型支持接入的数据集类型 盘古科学计算大模型仅支持接入气象类数据集，该数据集格式要求请参见气象类数据集格式要求。 构建科学计算大模型训练数据要求 构建科学计算大模型进行训练的数据要求见表1。 表1 科学计算大模型训练数据要求 模型类别

查看更多 →

大屏 新建大屏 更新大屏 获取大屏组件列表 获取大屏指定组件数据 批量发布大屏 批量删除大屏 批量下线大屏

查看更多 →

大模型微调需要的数据有要求吗？ AI原生应用引擎用于大模型微调的数据集任务领域为“ 自然语言处理 ”、数据集格式为“对话文本”。 文件内容要求为标准json数组，例如： [{"instruction": "aaa", "input": "aaa", "output": "aaa"},{"instruction":

查看更多 →

数据量和质量均满足要求，为什么盘古大模型微调效果不好 这种情况可能是由于以下原因导致的，建议您排查： 训练参数设置：您可以通过绘制Loss曲线查询来确认模型的训练过程是否出现了问题，这种情况大概率是由于训练参数设置的不合理而导致了欠拟合或过拟合。请检查训练参数中的 “训练轮次”或

查看更多 →

什么是数据工坊 数据工坊（Data Workroom，DWR）是一款近数据处理服务，通过易用的数据处理工作流编排和开放生态的数据处理算子，能够在云上实现图像、视频、文档、图片等数据处理业务。 如图1所示，DWR主要对外提供开放的算子库和数据处理引擎。 算子库包含由DWR提供的华为

查看更多 →

为什么日志没有设备数据？ 问题原因 当前设备固件版本在1.3.3及以后版本，需要手动收集日志。 手动收集日志 在华为HiLens管理控制台，单击左侧导航栏“数据管理（Beta）”，进入“数据管理”页面。 单击选中日志上传失败的设备，然后单击右上角的“保存所有日志”。 弹出“上传日志”对话框。

查看更多 →

什么是数据血缘关系？ 大数据时代，数据爆发性增长，海量的、各种类型的数据在快速产生。这些庞大复杂的数据信息，通过联姻融合、转换变换、流转流通，又生成新的数据，汇聚成数据的海洋。 数据的产生、加工融合、流转流通，到最终消亡，数据之间自然会形成一种关系。我们借鉴人类社会中类似的一种关

查看更多 →

为什么页面数据存在微小的数据差异？ 成本中心计算摊销成本时，数据精度均为小数点后8位。页面展示的摊销成本，均按照四舍五入取小数点后2位，因此可能导致汇总数据和明细数据之间存在微小的精度差异。 示例：当前查询条件中，汇总的“未覆盖的按需支出”为258507.64元，未覆盖的按需支出明细为7

查看更多 →

为什么微调后的盘古大模型的回答中会出现乱码 为什么微调后的盘古大模型的回答会异常中断 为什么微调后的盘古大模型只能回答训练样本中的问题 为什么在微调后的盘古大模型中输入训练样本问题，回答完全不同 为什么微调后的盘古大模型评估结果很好，但实际场景表现很差 为什么多轮问答场景的盘古大模型微调效果不好

查看更多 →

大版本升级 使用须知 目前DDS不支持直接通过控制台进行版本升级。如您需要可以通过数据复制服务进行迁移。 例如：使用数据复制服务将DDS 3.4版本迁移到DDS 4.0版本，可以实现应用不停服的情况下，平滑完成数据库的迁移工作。 限制条件 通过数据复制服务进行迁移，需要提前准备好待迁移到的高版本数据库实例。

查看更多 →

步骤3：保存或保存并发布大屏 完成大屏字段和样式配置并单击“更新”后，单击大屏编辑页面右上侧的“保存并发布”或“保存”。 保存：保存大屏之后，在大屏页面大屏不具有查看大屏功能。 在保存的页面输入大屏的名称。 图9 保存并发布 收藏：收藏大屏后，可在产品首页“我的收藏”快速找到大屏。 保存并发

查看更多 →

具体操作请参见如何控制接口访问权限。 大屏数据处理应用模板服务集成示例： 如何使用资产 以在大屏Demo页面上进行配置为例。 订购并安装部署大屏数据处理应用模板资产到对应的开发环境。 相关操作请参见如何订购&部署资产。 在开发环境首页，如图1所示，单击“项目”页签，单击“业务大屏”。 图1 进入业务大屏 如图

查看更多 →

大对象类型 概述 BLOB是一个二进制大对象，可以容纳可变数量的数据。这四个BLOB 类型是TINYBLOB，BLOB， MEDIUMBLOB和LONGBLOB。这些不同之处仅在于各自可以容纳的值的最大长度不同。DSC工具支持以下列出类型转换。 BLOB类型可以存储图片，列存储不支持BLOB。

查看更多 →

大屏Demo 描述 大屏Demo，开箱即用的大屏样例，需要配合应用资产中“大屏数据处理应用模板”一起使用。 开放能力 大屏Demo为模板资产，订购后下载到本地，通过导入的方式上传到“业务大屏”下使用。 大屏Demo提供了指挥看板页面，如图1所示。 图1 指挥看板页面 如何使用资产

查看更多 →

可视大屏 单击主菜单的“可视化”，默认进入“运营大屏”页面。 选择大屏单击进入，根据大屏所展示的状态与数据进行决策。 大屏详细内容请参见运营大屏。 父主题： 大屏可视

查看更多 →

单击“登录”，进入沙箱环境，如图8所示。 图8 沙箱环境 部署大屏到沙箱环境 示例中以导入方式为例，部署大屏应用到沙箱环境，以便于测试该大屏。 登录沙箱环境，如图9所示，单击“DMAX”，进入业务大屏。 图9 进入业务大屏 如图10所示，单击“导入项目包”。 图10 导入项目包 选择导出的本地项目包。

查看更多 →