SQL脚本将源数据表清洗之后导入DWI层的标准出行数据表。 将基础数据插入维度表中。 将DWI层的标准出行数据导入DWR层的事实表中。 数据汇总，通过Hive SQL将出租车行程订单事实表中的数据进行汇总统计并写入汇总表。 运维调度 数据管理 数据管理功能可以协助用户快速建立数据模型，为后续的脚本和作业开发

查看更多 →

。 图1 创建数据处理基本信息 设置场景类别。场景类别当前支持“图像分类”和“物体检测”。 设置数据处理类型。数据处理类型支持“数据清洗”、“数据校验”、“数据选择”和“数据增强”。 针对不同的数据处理类型，您需要填写相应算子的设置参数，算子的详细参数参见数据处理预置算子说明。 图2

查看更多 →

使用函数处理IOT数据 案例概述 准备 构建函数程序

查看更多 →

测数据集，且字段定义、尤其是分布类型的定义与之前的训练数据集相同。 单击创建的数据预处理作业后的开发按钮，进入作业开发页面。然后单击左上角的“关联历史作业”，在弹窗中选择训练数据的预处理作业后，单击“保存”。 图9 关联历史作业 系统提示关联成功，则说明这两个数据集的字段及属性一

查看更多 →

bin和alpaca_text_document.idx文件。 图1 处理后的数据 自定义数据 如果是用户自己准备的数据集，可以使用Ascendspeed代码仓中的转换工具将json格式数据集转换为训练中使用的.idx + .bin格式。 #示例： #1.将准备好的json格式数据集存放于/home/ma-user

查看更多 →

是一个用于设置序列长度的参数，表示模型处理的序列长度。在训练大规模模型时，可以通过设置这个参数来优化模型的训练速度和效果。 数据预处理后输出的训练数据如下： alpaca_text_document.bin alpaca_text_document.idx 训练的时指定的数据路径为${pa

查看更多 →

为增强可靠性，每个节点都有一个副本，副本会占用一半的存储空间，选择容量时副本容量会自动翻倍存储。 数据仓库系统会备份数据，生成索引、临时缓存文件、运行日志等内容，并占用存储容量。每个节点实际存储的数据，大致为总存储容量的一半。 父主题： 数据导入导出

查看更多 →

包年包月的云备份存储库快到期如何处理？ 包年包月的存储库到期后不会自动转为按需计费，系统会根据保留期对资源进行处理，如保留期仍未续费，则资源将被系统自动删除。 如果希望继续使用该存储库，您可以选择目标存储库“操作”列下的“更多 > 续费”进行续费。 如果不希望再使用该存储库，您可以选择目标存储库“操作”列下的“更多

查看更多 →

设置 CDN加速 后，处理过的图片存储在哪里？ 用户通过CDN访问图片处理服务，CDN会对处理后的图片做缓存，此时处理后的图片存储在CDN。当用户再次对该图片进行相同的处理时，由CDN直接返回处理后的效果，不会再次访问图片处理服务，也不会对此次图片处理请求进行计费。 父主题： 图片处理

查看更多 →

如果不挂载云存储的话，容器运行产生的数据存储在哪里？ 如果没有挂载EVS等磁盘，应用数据存储在容器的物理机磁盘，每个Pod存储空间限制为CPU物理机磁盘为20G，GPU物理机磁盘为20G，如果为专属节点可根据客户需求进行调整。 为了确保数据的安全性，在创建容器时容器引擎会从dev

查看更多 →

包年包月的云备份存储库快到期如何处理？ 包年包月的存储库到期后不会自动转为按需计费，系统会根据保留期对资源进行处理，如保留期仍未续费，则资源将被系统自动删除。 如果希望继续使用该存储库，您可以选择目标存储库“操作”列下的“更多 > 续费”进行续费。 如果不希望再使用该存储库，您可以选择目标存储库“操作”列下的“更多

查看更多 →

介绍如何处理失败的任务信息。存在至少一个失败的任务。当执行备份任务失败时会产生一条“备份状态”为“错误”的备份，并且在“任务状态”的“备份任务”页签中产生一条信息，可通过单击信息后面的查看备份任务失败的原因。当执行复制任务失败时会在目标区域产生一条带有标识且“备份状态”为“错误”的备份。同时在源区域和目标区域“任务状态”的“复制任务”页签

查看更多 →

安装时空数据专属存储 获取时空数据专属存储安装包，请根据如下方式安装时空数据专属存储客户端。 单击时空数据专属存储工具的下载链接下载该工具。 解压下载的安装包。 运行GeoDataStorage-Plus_x64.exe或GeoDataStorage-Plus_ia32.exe完成时空数据专属存储安装。

查看更多 →

行的操作下的“配置数据存储”。 进入“配置数据存储”页面。 在“配置数据存储”页面，根据页面提示设置参数，为企业路由器实例配置OBS存储。 在“配置数据存储”页面，参数的详细说明，请参见配置OBS数据存储。 父主题： 监控

查看更多 →

标准存储”，待迁移完成确认数据无误后，再通过对象生命周期将对应数据的存储类型改为“归档存储”。 前提条件 已 注册华为账号 并开通华为云，完成实名认证。 已获取源端和目的端账号的AK/SK。 源端桶对应账户需要的权限包括：列举桶，获取桶位置，列举对象，获取对象元数据，获取对象内容。获取方式参见源端桶权限获取。

查看更多 →

Hive数据存储及加密配置 使用HDFS Colocation存储Hive表 配置Hive分区元数据冷热存储 Hive支持ZSTD压缩格式 配置Hive列加密功能 父主题： 使用Hive

查看更多 →

图2 创建Redis 名称：连接器的名称。 地址：Redis提供服务的URL地址。每个地址占一行，集群模式下至少填写两个地址。 密码：连接Redis的密码。 打包当前配置：默认为选中，对信息敏感的场景，建议不勾选。 选中该选项后，应用打包时会将当前配置的连接器信息一并打出。例如，如果

查看更多 →

视频存储桶与媒体处理服务不在一个区域怎么办？ 若视频存储的OBS桶所在区域与媒体处理服务所在区域不一致，可以通过如下方式处理。 切换媒体处理服务的区域为OBS桶所在区域后，再进行视频转码。媒体处理服务支持的区域有限，若OBS桶所在区域未部署媒体处理服务，请参考2进行处理。 使用O

查看更多 →

可用内存：≥512MB - 安装盘可用空间 ≥512MB 安装时空数据专属存储所需的硬盘空间。 数据盘可用空间 ≥5GB 存放影像文件所需的硬盘空间，具体需求取决于您的业务数据量。 数据隔离 时空数据专属存储对租户间的数据进行了逻辑隔离，不同租户间的数据互不可见。

查看更多 →

.zip.sha256 时空数据专属存储软件包下载地址是不带.sha256后缀结尾的链接，带.sha256后缀结尾的下载链接仅为对应软件包的完整性校验文件。 如Windows x64下载链接为GeoDataStorage-Plus_x64.zip，它的校验文件下载链接则是GeoDataStorage-Plus_x64

查看更多 →

创建元数据存储路径 LakeFormation元数据映射的数据文件和目录存储在OBS并行文件系统中。在创建LakeFormation元数据之前，需要提前创建数据存储使用的OBS并行文件系统。 如果已存在可用的OBS并行文件系统，可跳过该章节操作。 操作步骤 创建OBS并行文件系统

查看更多 →