配置Spark事件队列大小 配置场景 Spark中见到的UI、EventLog、动态资源调度等功能都是通过事件传递实现的。事件有SparkListenerJobStart、SparkListenerJobEnd等，记录了每个重要的过程。 每个事件在发生后都会保存到一个队列中，Dr

查看更多 →

配置Spark事件队列大小 配置场景 Spark中见到的UI、EventLog、动态资源调度等功能都是通过事件传递实现的。事件有SparkListenerJobStart、SparkListenerJobEnd等，记录了每个重要的过程。 每个事件在发生后都会保存到一个队列中，Dr

查看更多 →

因此通过预写日志和可靠的Receiver，Spark Streaming就可以保证没有输入数据会由于Driver的失败而丢失。 SparkSQL和DataSet原理 SparkSQL 图7 SparkSQL和DataSet Spark SQL是Spark中用于结构化数据处理的模块。在Spark应用中，可以无缝的使用SQL语句亦或是DataSet

查看更多 →

回收站”进入回收站页面。 在回收站工作项列表中，单击目标工作项所在行的，根据提示信息确认还原工作项。 彻底删除工作项 如果回收站中的工作项不再需要，则可以进行彻底删除。 在“工作项”页面，单击“更多 > 回收站”进入回收站页面。 在回收站工作项列表中，单击目标工作项所在行，根据提示信息确认彻底删除工作项。

查看更多 →

回收站 登录管理控制台。 选择“服务列表 > 管理与监管 > 优化顾问”优化顾问服务页面。 左侧导航树选择“架构设计”。 左上角选择“回收站”页签，回收站存有最近6个月内被删除的部署架构图和业务架构图 右侧操作列可以查看、恢复、彻底删除架构图 父主题： 架构设计

查看更多 →

回收站 KooDrive将回收站分为个人回收站和团队回收站，个人空间和团队空间无需留存的文件被删除后进入到回收站，管理员可以操作拥有管辖权的所有团队回收站里的文件(夹)。普通用户只能操作自己个人回收站的文件夹。 回收站页面主要由文件(夹)辅助操作和文件(夹)列表/卡片视图两部分组成。

查看更多 →

回收站 空间文件被删除后，会进入回收站。超级管理员可以定期清理回收站，释放空间容量。 前提条件 用户需是系统超级管理员。 操作步骤 登录协同平台。 左侧目录选择“回收站”。 单击“清理数据”，提交清空回收站任务。 图1 清理数据 父主题： 协同平台

查看更多 →

选择左侧导航栏的“主机列表 > 回收站”，默认进入“待回收主机”页签。 单击“待回收资源”，切换至“待回收资源”页签。 勾选需要回收的资源，单击“立即回收”。 查看已回收资源 进入运维中心工作台。 在顶部导航栏单击“专项角色”，在下拉列表中选择“基础运维角色”。 单击，选择“运维 > 主机管理服务（VMS）”。

查看更多 →

回收权限 功能描述 回收已经授予用户或角色的权限。 语法格式 1 REVOKE (privilege,...) ON (resource,..) FROM ((ROLE [db_name].role_name) | (USER user_name)),...); 关键字 ROLE：限定后面的rol

查看更多 →

回收权限 功能描述 回收已经授予用户或角色的权限。 语法格式 1 REVOKE (privilege,...) ON (resource,..) FROM ((ROLE [db_name].role_name) | (USER user_name)),...); 关键字 ROLE：限定后面的rol

查看更多 →

设置回收策略 功能介绍 设置已删除实例保留天数，修改保留天数后删除的实例按照新的天数来保留，修改之前已在回收站的实例保留天数不变。 接口约束 设置已删除实例保留天数，可设置范围1~7天。 URI PUT https://{Endpoint}/v3/{project_id}/ins

查看更多 →

“空间管理>回收站”中选择“方案回收站”TAB页，选择需要恢复的方案，点击右侧“恢复”按钮，在弹窗的输入框中输入“MODIFY”进行方案恢复。 恢复后的方案在方案管理页面查看。 图1 恢复被删除的解决方案 需求回收站 进入空间，在“空间管理>回收站”中选择“需求回收站”TAB页，

查看更多 →

回收站 GaussDB 支持将删除的实例，加入回收站管理。您可以在回收站中重建实例恢复数据。 回收站策略机制默认开启，默认保留时间为7天，且不可关闭。 设置回收站策略 修改回收站保留天数，仅对修改后新进入回收站的实例生效，对于修改前已经存在的实例，仍保持原来的回收策略，请您谨慎操作。

查看更多 →

回收站 设置回收站策略 查看回收站策略 查询回收站所有引擎实例列表 父主题： API（推荐）

查看更多 →

如果业务需求对应的SQL无法简化，则需要配置DRIVER内存： 使用spark-submit或者spark-sql运行SQL语句，执行3。 使用spark-beeline运行SQL语句，执行4。 执行SQL语句时，需要添加参数“--driver-memory”，设置内存大小，例如： /spark-sql --master=local[4]

查看更多 →

retainedApplications”决定），当内存中的Spark应用个数超过这个数值时，HistoryServer会回收最先缓存的Spark应用，同时会清理掉相应的“temp_shuffle”文件。 当用户正在查看即将被回收的Spark应用时，可能会出现找不到“temp_shuffle”文件的错误，从而导致当前页面无法访问。

查看更多 →

tor个数 x Executor CPU核数）} x1 driver所占CUs数=max [（ driver内存÷4）， driver CPU核数] x1 Spark作业未开启高级配置时默认按A类型资源规格配置。 Spark作业中显示计算资源规格的单位为CPU单位，1CU包含1C

查看更多 →

blockmgr-开头和spark-开头的目录 问题 系统长时间运行后，在客户端安装节点的/tmp目录下，发现残留了很多blockmgr-开头和spark-开头的目录。 图1 残留目录样例 回答 Spark任务在运行过程中，driver会创建一个spark-开头的本地临时目录，用

查看更多 →

blockmgr-开头和spark-开头的目录 问题 系统长时间运行后，在客户端安装节点的/tmp目录下，发现残留了很多blockmgr-开头和spark-开头的目录。 图1 残留目录样例 回答 Spark任务在运行过程中，driver会创建一个spark-开头的本地临时目录，用

查看更多 →

Spark客户端设置回收站version不生效 问题 Spark客户端设置fs.obs.hdfs.trash.version=1不生效，drop table后文件在回收站的存放路径不改变。 通常，默认情况： 当fs.obs.hdfs.trash.version=2时，回收站路径为：/user/

查看更多 →

blockmgr-开头和spark-开头的目录 问题 系统长时间运行后，在客户端安装节点的/tmp目录下，发现残留了很多blockmgr-开头和spark-开头的目录。 图1 残留目录样例 回答 Spark任务在运行过程中，driver会创建一个spark-开头的本地临时目录，用

查看更多 →