更新时间:2024-05-14 GMT+08:00
分享

数据上传方式

城市智能体云平台提供数据文件上传功能,用户可以将本地的数据上传至系统默认提供的存储空间中。

当前平台支持三种数据上传方式:

  1. 桌面端程序OBS Browser+。
  2. 命令行工具obsutil。
  3. 数据快递。

OBS Browser+对网络要求较高,上传过程中需要尽量减少网络波动,否则容易导致数据上传失败。当上传数据量超过500GB时,建议使用obsutil。如果数据量巨大且对时效性要求较高、能够接受额外的服务成本,建议使用数据快递进行数据上传。

具体使用哪个数据上传方式请参考表1

表1 数据上传场景

上传数据方式

业务场景

优势

劣势

推荐

OBS Browser+

主要适用于上传数据量小(文件大小小于500GB),且网络较好的场景。

OBS Browser+的图形化界面可以非常方便地让用户在本地对OBS进行管理,例如:创建桶、上传下载文件、浏览文件等。

对网络要求较高且只针对小数据量。

文件大小小于500GB。

obsutil

主要适用于上传数据量较大(文件大小超过500GB),或者需要执行批量处理、自动化任务的场景。

  1. 简单、易用;
  2. 无需安装,轻便小巧,即下即用;
  3. 同时支持Windows/Linux/macOS三大平台;
  4. 配置多元化,性能卓越。

需要用户了解命令行操作。

文件大小超过500GB。

数据快递

主要适用于TB到数百TB级数据且对时效性要求较高、能够接受额外的服务成本,使用物理存储介质(Teleport设备、外置USB硬盘驱动器、SATA硬盘驱动器、SAS硬盘驱动器等)上传大量数据的场景。

1.解决海量数据传输的难题(包括高昂网络成本、较长传输时间等)。

2.DES传输数据的速度可达到1000Mbps,相当于高速Internet传输速度的10倍,但是成本却低至高速。Internet费用的五分之一。

3.使用DES不占用用户公网带宽,不与主营业务争抢带宽资源。

1.数据快递方式需要华为数据中心邮寄Teleport设备给用户使用或者用户需自己准备磁盘进行快递的方式。

2.中途会耗费一定的时间。

3.会有额外的服务成本。

4.在快递期间可能存在丢失损坏的风险。

文件大小在TB到数百TB级数据,且能接受额外的服务成本,对数据时效性要求较高。

相关文档