中软国际数据治理专业服务解决方案实践

如何上传超过5GB的大对象？ 背景信息 通过OBS管理控制台上传的文件有大小和数量限制，每次最多支持100个文件同时上传，总大小不超过5GB。如果只上传1个文件，则这个文件最大为5GB。 上传超过5GB的大对象 5GB < 上传对象 <= 48.8TB 如果需要上传超过5GB的大对象，可以使用OBS

查看更多 →

如何提前发现大Key和热Key？ 方法 说明 使用D CS 自带的大Key和热Key分析工具进行分析 请参考分析Redis实例大Key和热Key。 通过redis-cli的bigkeys和hotkeys参数查找大Key和热Key Redis-cli提供了bigkeys参数，能够使re

查看更多 →

大屏 新建大屏 更新大屏 获取大屏组件列表 获取大屏指定组件数据 批量发布大屏 批量删除大屏 批量下线大屏

查看更多 →

异常的Loss曲线：平缓且保持高位 Loss曲线异常抖动：Loss曲线异常抖动的原因可能是由于训练数据质量差，比如数据存在噪声或者分布不均衡，导致训练过程不稳定。你可以尝试提升数据质量的方式来解决。 图5 异常的Loss曲线：异常抖动 父主题： 大模型微调训练类问题

查看更多 →

大模型微调需要的数据有要求吗？ AI原生应用引擎用于大模型微调的数据集任务领域为“ 自然语言处理 ”、数据集格式为“对话文本”。 文件内容要求为标准json数组，例如： [{"instruction": "aaa", "input": "aaa", "output": "aaa"},{"instruction":

查看更多 →

使用数据工程构建科学计算大模型数据集 科学计算大模型支持接入的数据集类型 盘古科学计算大模型仅支持接入气象类数据集，该数据集格式要求请参见气象类数据集格式要求。 构建科学计算大模型训练数据要求 构建科学计算大模型进行训练的数据要求见表1。 表1 科学计算大模型训练数据要求 模型类别

查看更多 →

大屏Demo 描述 大屏Demo，开箱即用的大屏样例，需要配合应用资产中“大屏数据处理应用模板”一起使用。 开放能力 大屏Demo为模板资产，订购后下载到本地，通过导入的方式上传到“业务大屏”下使用。 大屏Demo提供了指挥看板页面，如图1所示。 图1 指挥看板页面 如何使用资产

查看更多 →

步骤3：保存或保存并发布大屏 完成大屏字段和样式配置并单击“更新”后，单击大屏编辑页面右上侧的“保存并发布”或“保存”。 保存：保存大屏之后，在大屏页面大屏不具有查看大屏功能。 在保存的页面输入大屏的名称。 图9 保存并发布 收藏：收藏大屏后，可在产品首页“我的收藏”快速找到大屏。 保存并发

查看更多 →

如何发布数据集 发布数据集的具体方法请参见《数据集服务快速入门》文档的申请发布数据集章节。 父主题： 数据集

查看更多 →

如何订阅数据集 订阅数据集的具体方法请参见《数据集服务快速入门》文档的订阅数据集章节。 父主题： 常见问题

查看更多 →

如何下载数据集 数据集支持下载数据集到OBS桶和本地目录，下载数据集到OBS桶的具体方法请参见《数据集服务快速入门》文档的“下载数据集到OBS桶”章节，下载数据集到本地目录的具体方法请参见《数据集服务快速入门》文档的“申请本地下载数据集”~“下载数据集到本地”章节。 父主题： 数据集

查看更多 →

建议根据业务情况及使用习惯，选择OBS使用方法。 如果您的数据量较小（小于100MB）或数据文件少（少于100个），建议您使用控制台上传数据。控制台上传无需工具下载或多余配置，在少量数据上传时，更加便捷高效。 如果您的数据量较大或数据文件较多，建议选择OBS Browser+或obsutil工具上传。OBS

查看更多 →

如何导出企业考勤数据？ 如您是企业管理员，依次进入考勤>统计，在统计页面，点击右上角“导出报表”，选择需要的数据范围及人员，点击“导出到云空间”，便可导出您所需要的考勤数据。 父主题： 考勤

查看更多 →

如何上传数据至OBS 使用RES进行推荐时，您需要将数据上传至 对象存储服务 （OBS）桶中。您可以登录OBS管理控制台创建OBS桶，并在您创建的OBS桶中创建文件夹，然后再进行数据的上传。创建OBS桶和上传文件夹的操作指导请参见创建桶和上传对象。 您在创建OBS桶时，需保证您的OBS桶与RES在同一个区域。

查看更多 →

如何上传实时数据？ 推荐系统支持您通过SDK上传实时数据，具体操作方法如下。 前提条件 如果需要使用近线上传实时数据的用户，可以使用DIS SDK接口上传，请您按照需求下载DIS SDK，下载完之后按照下面的说明进行SDK升级。 子账户无法使用SDK上传数据，需要主账号授权子账号DIS

查看更多 →

数据集如何切分 在发布数据集时，仅“图像分类”、“物体检测”、“文本分类”和“声音分类”类型数据集支持进行数据切分功能。 一般默认不启用该功能。启用后，需设置对应的训练验证比例。 输入“训练集比例”，数值只能是0~1区间内的数。设置好“训练集比例”后，“验证集比例”自动填充。“训练集比例”加“验证集比例”等于1。

查看更多 →

如何获取后台数据 使用说明 标准页面是通过数据模型驱动的，通过绑定数据模型可以快速获取后台数据，并体现到页面组件上。因此，为了获取后台数据，需要先定义页面数据模型，再进行与前端组件的绑定。在将模型与前台页面组件或后台逻辑绑定后，开发者只需要关注模型数据的实例化和处理，不需要关注页面的渲染和展示。

查看更多 →

如何调整推理参数，使盘古大模型效果最优 推理参数（解码参数）是一组用于控制模型生成预测结果的参数，其可以用于控制模型生成结果的样式，如长度、随机性、创造性、多样性、准确性和丰富度等等。 当前，平台支持的推理参数包括：温度、核采样以及话题重复度控制，如下提供了这些推理参数的建议值和说明，供您参考：

查看更多 →

选择“大Key诊断”，勾选对应的类型，查看对应类型的大Key信息。 图1 大Key诊断 您可以查看大Key的信息。参数请查看表1。 表1 大Key的参数 参数 描述 类型 大Key的类型。 string hash zset set exhash list stream 大Key名

查看更多 →

预览大屏 本章节介绍如何预览大屏。 前提条件 已开通DataArts Insight服务。 已创建管理数据源的项目，参考新建项目完成项目创建。 您已获取数据，参考新建数据源。 已创建所需的数据集，参考可视化创建数据集完成数据集创建。 您已制作并保存该数据大屏。 预览大屏操作步骤 登录智能数据洞察控制台。

查看更多 →

在控制台的右侧“我的项目列”选择或搜索对应的项目，单击进入项目。 在项目页面，单击数据分析下“大屏”进入大屏管理页面。 单击大屏操作列“更多>复制”，弹出复制窗口，重命名后单击“确定”，复制成功。此时大屏转态为未发布，如果要发布请参见发布大屏章节。 父主题： 新建大屏

查看更多 →