数据上传方式
城市智能体云平台提供数据文件上传功能,用户可以将本地的数据上传至系统默认提供的存储空间中。
当前平台支持三种数据上传方式:
- 桌面端程序OBS Browser+。
- 命令行工具obsutil。
- 数据快递。
OBS Browser+对网络要求较高,上传过程中需要尽量减少网络波动,否则容易导致数据上传失败。当上传数据量超过500GB时,建议使用obsutil。如果数据量巨大且对时效性要求较高、能够接受额外的服务成本,建议使用数据快递进行数据上传。
具体使用哪个数据上传方式请参考表1。
上传数据方式 |
业务场景 |
优势 |
劣势 |
推荐 |
---|---|---|---|---|
主要适用于上传数据量小(文件大小小于500GB),且网络较好的场景。 |
OBS Browser+的图形化界面可以非常方便地让用户在本地对OBS进行管理,例如:创建桶、上传下载文件、浏览文件等。 |
对网络要求较高且只针对小数据量。 |
文件大小小于500GB。 |
|
主要适用于上传数据量较大(文件大小超过500GB),或者需要执行批量处理、自动化任务的场景。 |
|
需要用户了解命令行操作。 |
文件大小超过500GB。 |
|
主要适用于TB到数百TB级数据且对时效性要求较高、能够接受额外的服务成本,使用物理存储介质(Teleport设备、外置USB硬盘驱动器、SATA硬盘驱动器、SAS硬盘驱动器等)上传大量数据的场景。 |
1.解决海量数据传输的难题(包括高昂网络成本、较长传输时间等)。 2.DES传输数据的速度可达到1000Mbps,相当于高速Internet传输速度的10倍,但是成本却低至高速。Internet费用的五分之一。 3.使用DES不占用用户公网带宽,不与主营业务争抢带宽资源。 |
1.数据快递方式需要华为数据中心邮寄Teleport设备给用户使用或者用户需自己准备磁盘进行快递的方式。 2.中途会耗费一定的时间。 3.会有额外的服务成本。 4.在快递期间可能存在丢失损坏的风险。 |
文件大小在TB到数百TB级数据,且能接受额外的服务成本,对数据时效性要求较高。 |