中软国际数据治理专业服务解决方案实践

上传数据 NGS流程中需使用二代测序得到的原始fastq文件、参考基因组序列、参考Variants数据集。 本示例中以Windows系统命令行工具为例，介绍如何将本地数据上传到EIHealth平台。更多的命令介绍请参见命令行工具。 使用命令行工具，用switch命令进入待操作的项目。

查看更多 →

retries Kafka默认设置为0，DIS默认设置为8。 出现网络/服务端异常的重试次数，尽量保证数据上传成功 其他参数 参数 不支持 - 父主题： 使用Kafka Adapter上传与下载数据

查看更多 →

。 单击“上传数据”，根据表1填写待上传数据的相关信息。 表1 上传数据配置参数 配置项 配置说明 数据名称 必填项。 输入数据名称。 名称不可重复。 数据类型 必选项。 目前仅支持“Insta360”。 上传数据 单击“上传文件夹”上传本地的全景视频。 如果上传数据选择错误，可删除重新上传。

查看更多 →

面。 单击“上传数据”，根据表1填写待上传数据的相关信息。 表1 上传数据配置参数 配置项 配置说明 数据名称 必填项。 输入数据名称。 名称不可重复。 数据类型 必选项。 目前仅支持“Insta360”。 上传数据 单击“上传文件夹”上传本地的全景视频。 如上传数据错误，可删除重新上传。

查看更多 →

上传数据 功能介绍 该接口用于KooSearch数据上传，可根据系统支持的模型上传数据，如电商行业userdata、itemdata、eventdata、orderdata模型，办公场景docdata模型，站内搜索itdata、actiondata模型。 userdata：用户信

查看更多 →

背景信息 MRS集群处理的数据源通常来源于OBS或HDFS，OBS为客户提供海量、安全、高可靠、低成本的数据存储能力。MRS可以直接处理OBS中的数据，客户可以基于管理控制台Web界面和OBS客户端对数据进行浏览、管理和使用。如果需要将OBS的数据导入集群的HDFS系统后进行处理，可参考以下步骤进行操作。

查看更多 →

retries Kafka默认设置为0，DIS默认设置为8。 出现网络/服务端异常的重试次数，尽量保证数据上传成功 其他参数 参数 不支持 - 父主题： 使用Kafka Adapter上传与下载数据

查看更多 →

数据上传 数据上传方式 OBS Browser+上传 OBSUtil上传 数据快递上传 校验上传数据的一致性 父主题： 实景三维建模

查看更多 →

选择“上传数据 > 文件”，在“打开”弹窗中选择待上传数据文件，单击“打开”上传单个数据文件。 右侧的上传列表中显示文件上传进度，数据文件上传成功后，数据列表中显示上传数据信息，如图2所示。 对于“上传列表”中“正在传输”的文件可以进行“暂停”或“取消”。 图2 上传数据文件 选择“上传数据

查看更多 →

String 需要上传的数据。 上传的数据为序列化之后的二进制数据（Base64编码后的字符串）。 比如需要上传字符串“data”，“data”经过Base64编码之后是“ZGF0YQ==”。 explicit_hash_key 否 String 用于明确数据需要写入分区的哈希值

查看更多 →

上传数据 使用upload命令，将本地数据上传到EIHealth平台。该命令不支持将数据上传到引用目录。 最小可以上传0Byte的空文件或文件夹，最大可以上传48.8TB的单个文件。 数据在上传的过程中，受网络影响可能出现损坏，上传命令默认会在上传完成后，验证项目中数据的MD5值

查看更多 →

上传流式数据 样例代码 使用初始化DIS客户端后的客户端实例将用户的流式数据通过DIS通道上传至DIS服务。 其中，“streamName”的配置值要与开通DIS通道中“通道名称”的值一致，“endpoint”，“ak”，“sk”，“region”，“projectId”信息请参见获取认证信息。

查看更多 →

络波动，否则容易导致数据上传失败。当上传数据量超过500GB时，建议使用obsutil。如果数据量巨大且对时效性要求较高、能够接受额外的服务成本，建议使用数据快递进行数据上传。 具体使用哪个数据上传方式请参考表1。 表1 数据上传场景 上传数据方式 业务场景 优势 劣势 推荐 OBS

查看更多 →

上传增量数据 使用CDM将存量数据上传完后，单击该作业后的“编辑”，直接修改该作业。 保持作业基本参数不变，单击“下一步”修改任务参数，如图1所示。 图1 定时任务配置 勾选“是否定时执行”，配置定时任务： “重复周期”配置为1天。 “开始时间”配置为每天凌晨0点1分执行。 这样

查看更多 →

上传存量数据 使用华为云专线，搭建用户本地数据中心与华为云VPC之间的专属连接通道。 创建OBS桶，并记录OBS的访问域名、端口和AK/SK。 创建CDM集群。 DataArts Studio实例中已经包含一个CDM集群（试用版除外），如果该集群已经满足需求，您无需再购买数据集成增量包，可以跳过这部分内容。

查看更多 →

上传增量数据 使用CDM将存量数据上传完后，单击该作业后的“编辑”，直接修改该作业。 保持作业基本参数不变，单击“下一步”修改任务参数，如图1所示。 图1 定时任务配置 勾选“是否定时执行”，配置定时任务： “重复周期”配置为1天。 “开始时间”配置为每天凌晨0点1分执行。 这样

查看更多 →

启动数据上传 数据中心管理员接收用户磁盘，并将磁盘挂载到服务器后，会短信通知用户输入访问密钥（AK/SK），访问密钥（AK/SK）验证成功后启动数据上传。 前提条件 用户收到输入访问密钥（AK/SK）短信通知。 操作步骤 登录DES管理控制台。 选择服务单列表中“待输入访问密钥（

查看更多 →

启动数据上传 前提条件 已经完成Teleport方式服务单的申请。 如果用户在创建完服务单后已经输入了访问密钥（AK/SK），那么此处就不用再重复输入。设备回寄后管理员会直接启动数据上传。 操作步骤 登录DES管理控制台。 选择服务单列表“待输入访问密钥（AK/SK）”状态服务单

查看更多 →

数据上传管理 上传数据 更新数据 删除数据 父主题： API

查看更多 →

上传存量数据 使用华为云专线，搭建用户本地数据中心与华为云VPC之间的专属连接通道。 创建OBS桶，并记录OBS的访问域名、端口和AK/SK。 创建CDM集群。 DataArts Studio实例中已经包含一个CDM集群（试用版除外），如果该集群已经满足需求，您无需再购买数据集成增量包，可以跳过这部分内容。

查看更多 →

使用Agent上传数据 DIS Agent概述 安装前准备 安装DIS Agent 配置DIS Agent 启动DIS Agent 验证DIS Agent 停止DIS Agent 父主题： 使用DIS

查看更多 →