中软国际数据治理专业服务解决方案实践

对接大数据平台 支持的大数据平台简介 华为云 MRS 对接OBS Cloudera CDH对接OBS Hortonworks HDP对接OBS 父主题： 大数据场景下使用OBS实现存算分离

查看更多 →

获取大屏指定组件数据 功能介绍 获取大屏指定组件数据。 URI POST /v1/{project_id}/screens/{screen_id}/query-data 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID。获取方法请参考获取项目ID。

查看更多 →

子问题的解的合并。对于大容量数据场景，数据库提供对数据进行“分治处理”的方式即分区，将逻辑数据库或其组成元素划分为不同的独立部分，每一个分区维护逻辑上存在相类似属性的数据，这样就把庞大的数据整体进行了切分，有利于数据的管理、查找和维护。 父主题： 大容量数据库

查看更多 →

子问题的解的合并。对于大容量数据场景，数据库提供对数据进行“分治处理”的方式即分区，将逻辑数据库或其组成元素划分为不同的独立部分，每一个分区维护逻辑上存在相类似属性的数据，这样就把庞大的数据整体进行了切分，有利于数据的管理、查找和维护。 父主题： 大容量数据库

查看更多 →

使用数据工程构建NLP大模型数据集 NLP大模型支持接入的数据集类型 盘古NLP大模型仅支持接入文本类数据集，该数据集格式要求请参见文本类数据集格式要求。 构建NLP大模型所需数据量 使用数据工程构建盘古NLP大模型数据集进行模型训练时，所需数据量见表1。 表1 构建NLP大模型所需数据量

查看更多 →

子问题的解的合并。对于大容量数据场景，数据库提供对数据进行“分治处理”的方式即分区，将逻辑数据库或其组成元素划分为不同的独立部分，每一个分区维护逻辑上存在相类似属性的数据，这样就把庞大的数据整体进行了切分，有利于数据的管理、查找和维护。 父主题： 大容量数据库

查看更多 →

子问题的解的合并。对于大容量数据场景，数据库提供对数据进行“分治处理”的方式即分区，将逻辑数据库或其组成元素划分为不同的独立部分，每一个分区维护逻辑上存在相类似属性的数据，这样就把庞大的数据整体进行了切分，有利于数据的管理、查找和维护。 父主题： 大容量数据库

查看更多 →

创建执行机连接 执行机是获取数据的任务执行单元，需要分别与源端和目的端的执行机建立连接，然后执行数据统计，统计结果将用于数据校验。 以下大数据组件需要通过创建执行机连接来进行数据校验： Hive Metastore Delta Lake（有元数据） Delta Lake（无元数据） Hudi（有元数据）

查看更多 →

如图6所示，选择开发场景为“大屏”，单击右侧区域的“开发”，进入到配置的AppCube大屏开发环境。 图6 进入大屏开发环境 如果使用系统默认提供开发环境，进入到默认环境的业务大屏。 如果使用配置的开发环境，进入到配置的开发地址，配置的地址不是直接进入业务大屏，参见下图进入业务大屏。 如图7所示，单击“导入项目包”。

查看更多 →

ClickHouse数据校验 MRS Doris迁移至MRS Doris数据校验 MRS Hive/CDH/EMR迁移至MRS Hive数据校验 MaxCompute迁移至MRS Hive数据校验 MRS HBase迁移至MRS HBase数据校验 DeltaLake（有元数据）迁移至MRS

查看更多 →

大模型微调需要的数据有要求吗？ AI原生应用引擎用于大模型微调的数据集任务领域为“ 自然语言处理 ”、数据集格式为“对话文本”。 文件内容要求为标准json数组，例如： [{"instruction": "aaa", "input": "aaa", "output": "aaa"},{"instruction":

查看更多 →

使用数据工程构建科学计算大模型数据集 科学计算大模型支持接入的数据集类型 盘古科学计算大模型仅支持接入气象类数据集，该数据集格式要求请参见气象类数据集格式要求。 构建科学计算大模型训练数据要求 构建科学计算大模型进行训练的数据要求见表1。 表1 科学计算大模型训练数据要求 模型类别

查看更多 →

实施步骤 华为云服务实例创建 VPC&安全组创建 CDH 部署 Redis部署 Rocketmq部署 Eureka部署 Zookeeper部署 id-generator部署 Apollo部署 NFS部署 DaaS部署 DolphinScheduler部署 Livy部署 Daas-develop-agent部署

查看更多 →

大屏 新建大屏 更新大屏 获取大屏组件列表 获取大屏指定组件数据 批量发布大屏 批量删除大屏 批量下线大屏

查看更多 →

Hdfs、大数据相关驱动安装与Standalone模式local配置 配置驱动 hadoop依赖.zip。 影响数据源中hdfs数据源的连接。 压缩包内的jar包放入工作目录：lib\edi\hadoop目录下。 此目录会内自带edi-hadoop-deps-4.4.1-SNAPSHOT

查看更多 →

具体操作请参见如何控制接口访问权限。 大屏数据处理应用模板服务集成示例： 如何使用资产 以在大屏Demo页面上进行配置为例。 订购并安装部署大屏数据处理应用模板资产到对应的开发环境。 相关操作请参见如何订购&部署资产。 在开发环境首页，如图1所示，单击“项目”页签，单击“业务大屏”。 图1 进入业务大屏 如图

查看更多 →

预览大屏 本章节介绍如何预览大屏。 前提条件 已开通DataArts Insight服务。 已创建管理数据源的项目，参考新建项目完成项目创建。 您已获取数据，参考新建数据源。 已创建所需的数据集，参考可视化创建数据集完成数据集创建。 您已制作并保存该数据大屏。 预览大屏操作步骤 登录智能数据洞察控制台。

查看更多 →

在控制台的右侧“我的项目列”选择或搜索对应的项目，单击进入项目。 在项目页面，单击数据分析下“大屏”进入大屏管理页面。 单击大屏操作列“更多>复制”，弹出复制窗口，重命名后单击“确定”，复制成功。此时大屏转态为未发布，如果要发布请参见发布大屏章节。 父主题： 新建大屏

查看更多 →

在项目页面，单击数据分析下“大屏”进入大屏管理页面。 单击大屏操作列“更多>删除”，弹出删除窗口，单击“确定”，删除大屏。 父主题： 新建大屏

查看更多 →

大屏概述 概述 本文介绍DataArts Insight的大屏功能，数据大屏的常见应用场景包括活动数据监控、项目会议演示、对外接待等场景。 适用场景 数据大屏是DataArts Insight分析场景的重要组成部分，常见应用场景包括活动数据监控、项目会议演示、对外接待等，致力于满足企业高可视化要求的数据展示场景。

查看更多 →

大版本升级 使用须知 目前DDS不支持直接通过控制台进行版本升级。如您需要可以通过数据复制服务进行迁移。 例如：使用数据复制服务将DDS 3.4版本迁移到DDS 4.0版本，可以实现应用不停服的情况下，平滑完成数据库的迁移工作。 限制条件 通过数据复制服务进行迁移，需要提前准备好待迁移到的高版本数据库实例。

查看更多 →