复制数据卡死
问题现象
调用mox.file.copy_parallel拷贝数据时卡死。
解决方案
- 拷贝文件和文件夹均可采用:
import moxing as mox mox.file.set_auth(is_secure=False)
- 拷贝单个大文件5G以上时可采用:
from moxing.framework.file import file_io
查看当前moxing调用的接口版本:file_io._LARGE_FILE_METHOD,如果输出值为1则为V1版本,如果输出值为2,则为V2版本。
V1版本修改:file_io._NUMBER_OF_PROCESSES=1
V2版本修改:可以 file_io._LARGE_FILE_METHOD = 1,将模式设置成V1然后用V1的方式修改规避,也可以直接file_io._LARGE_FILE_TASK_NUM=1。
- 拷贝文件夹时可采用:
mox.file.copy_parallel(threads=0,is_processing=False)