更新时间：2024-04-28 GMT+08:00
在ECS上调试好的shell脚本，在DLF中shell脚本执行异常，如何处理？
问题现象：在ECS上调试好的shell脚本，在DLF中shell脚本执行异常。
脚本内容是通过gsql连接dws查询某库表数据行数的。
ECS调试结果：
DLF脚本运行结果：
处理方法：
添加如下两条命令：
export LD_LIBRARY_PATH=/usr/local/dws_client_8.1.x_x64/lib:${LD_LIBRARY_PATH}
export PATH=/usr/local/dws_client_8.1.x_x64/bin:${PATH}
其中，/usr/local/dws_client_8.1.x_x64是安装的dws客户端的路径。
父主题： 数据开发
数据开发 所有常见问题
- 数据开发可以创建多少个作业，作业中的节点数是否有限制？
- DataArts Studio支持自定义的Python脚本吗？
- 作业关联的CDM集群删除后，如何快速修复？
- 作业的计划时间和开始时间相差大，是什么原因？
- 相互依赖的几个作业，调度过程中某个作业执行失败，是否会影响后续作业？这时该如何处理？
- 通过DataArts Studio调度大数据服务时需要注意什么？
- 环境变量、作业参数、脚本参数有什么区别和联系？
- 打不开作业日志，返回404报错?
- 配置委托时获取委托列表失败如何处理？
- 数据开发创建数据连接，为什么选不到指定的周边资源？
- 配置了SMN通知，却收不到作业失败告警通知？
- 作业配置了周期调度，但是实例监控没有作业运行调度记录？
- Hive SQL和Spark SQL脚本执行失败，界面只显示执行失败，没有显示具体的错误原因？
- 数据开发节点运行中报TOKEN不合法？
- 作业开发时，测试运行后如何查看运行日志？
- 月周期的作业依赖天周期的作业，为什么天周期作业还未跑完，月周期的作业已经开始运行？
- 执行DLI脚本，报Invalid authentication怎么办？
- 创建数据连接时，在代理模式下为什么选不到需要的CDM集群？
- 作业配置了每日调度，但是实例没有作业运行调度记录？
- 查看作业日志，但是日志中没有内容？
- 创建了2个作业，但是为什么无法建立依赖关系？
- DataArts Studio执行调度时报错：提示作业没有可以提交的版本怎么办？
- DataArts Studio执行调度时报错：作业中节点XXX关联的脚本没有提交的版本？
- 提交调度后的作业执行失败，报depend job [XXX] is not running or pause怎么办？
- 如何创建数据库和数据表，数据库对应的是不是数据连接?
- 为什么执行完HIVE任务什么结果都不显示？
- 在作业监控页面里的 “上次实例状态” 只有运行成功、运行失败，这是为什么？
- 如何创建通知配置对全量作业都进行结果监控？
- 数据开发的并行执行节点数是多少？
- DataArts Studio是否支持修改时区？
- CDM作业改名后，在数据开发中如何同步？
- 执行RDS SQL，报错hll不存在，在DataArts Studio可以执行成功？
- 创建DWS数据连接时报错提示：The account has been locaked？
- 作业实例取消了，日志提示：The node start execute failed, so the current node status is set to cancel.
- 调用数据开发接口报错，Workspace does not exists?
- Postman调用接口返回结果正常，为什么测试环境调用接口的URL参数不生效？
- 执行Python脚本报错：Agent need to be updated？
- 节点状态为成功，为什么日志显示运行失败？
- 调用数据开发API报错Unknown Exception？
- 调用创建资源的API报错“资源名不合法”是什么原因？
- 补数据的作业实例都是成功的，为什么补数据任务失败了？
- DWS数据连接可视化建表，报错提示“表已存在”，但是展开数据连接看不到该表？
- 调度MRS spark作业报错The throttling threshold has been reached: policy user over ratelimit,limit:60,time:1 minute.
- 执行Python脚本，报错UnicodeEncodeError :‘ascii' codec cant encode characters in position 63-64 : ordinal not in range ( 128 )
- 查看日志时，系统提示“OBS日志文件不存在，请检查文件是否被删除或者没有OBS写入权限。”怎么办？
- Shell/Python节点执行失败，后台报错session is down
- 请求头中参数值长度超过512个字符时，何如处理？
- 执行DWS SQL脚本时，提示id不存在，如何处理？
- 如何查看CDM作业被哪些作业进行调用？
- 执行SQL语句失败，系统提示“Failed to create ThriftService instance, please check the cluster has available resources and check YARN or Spark driver's logs for further information”，如何处理？
- 使用python调用执行脚本的api报错：The request parameter invalid，如何处理？
- 在ECS上调试好的shell脚本，在DLF中shell脚本执行异常，如何处理？
- Spark Python脚本如何引用Python脚本？
- DataArts Studio调度CDM任务时报错Given transaction id [xxxx] is invalid，如何处理？
more
