更新时间:2024-02-01 GMT+08:00
分享

复制数据卡死

问题现象

调用mox.file.copy_parallel拷贝数据时卡死。

解决方案

  • 拷贝文件和文件夹均可采用:
    import moxing as mox
    mox.file.set_auth(is_secure=False)
  • 拷贝单个大文件5G以上时可采用:
    from moxing.framework.file import file_io

    查看当前moxing调用的接口版本:file_io._LARGE_FILE_METHOD,如果输出值为1则为V1版本,如果输出值为2,则为V2版本。

    V1版本修改:file_io._NUMBER_OF_PROCESSES=1

    V2版本修改:可以 file_io._LARGE_FILE_METHOD = 1,将模式设置成V1然后用V1的方式修改规避,也可以直接file_io._LARGE_FILE_TASK_NUM=1。

  • 拷贝文件夹时可采用:
    mox.file.copy_parallel(threads=0,is_processing=False)

相关文档