创建刷新缓存任务 功能介绍 创建刷新缓存任务。 URI POST /v1.0/cdn/refreshtasks 参数说明请参见表1。 表1 参数说明 名称 是否必选 参数类型 描述 enterprise_project_id 否 String 当用户开启企业项目功能时，该参数生效

查看更多 →

创建预热缓存任务 功能介绍 创建预热任务。 调用方法 请参见如何调用API。 URI POST /v1.0/cdn/content/preheating-tasks 表1 Query参数 参数 是否必选 参数类型 描述 enterprise_project_id 否 String

查看更多 →

是 String 缓存引擎：Redis。 engine_version 否 String 缓存版本。 Redis缓存引擎，取值为4.0、5.0、6.0。 capacity 是 Float 缓存容量（G Byte） Redis4.0、Redis5.0和Redis6.0基础版：单机和主备类型实例取值：0

查看更多 →

Hive 分布式 数据仓库 10% HBase技术原理 11% MapReduce 和 Yarn 技术原理 9% Spark 基于内存的分布式计算 7% Flink 流批一体分布式实时处理引擎 8% Flume海量日志聚合 7% Loader 数据转换 5% Kafka分布式消息订阅系统

查看更多 →

在History Server页面加载Task个数较多的Spark应用时，由于无法把全部的数据放入内存中，导致数据溢出到磁盘时，会产生前缀为“temp_shuffle”的文件。 HistoryServer默认会缓存50个Spark应用（由配置项“spark.history.retainedApp

查看更多 →

Spark Python API接口介绍 由于Spark开源版本升级，为避免出现API兼容性或可靠性问题，建议用户使用配套版本的API。 Spark Core常用接口 Spark主要使用到如下这几个类： pyspark.SparkContext：是Spark的对外接口。负责向调用

查看更多 →

元数据缓存相关 元数据缓存文件存于何处？如何清理？

查看更多 →

创建预热缓存任务 功能介绍 创建预热任务。 URI POST /v1.0/cdn/preheatingtasks 参数说明请参见表1。 表1 参数说明 名称 是否必选 参数类型 描述 enterprise_project_id 否 String 当用户开启企业项目功能时，该参数生

查看更多 →

"。 engine String 是 缓存引擎：Redis和Memcached。 engine_version String 是 缓存版本。当缓存引擎为Redis时，该字段为必填，取值为3.0、4.0或5.0。当缓存引擎为Memcached时，该字段为可选，取值可为空。 capacity

查看更多 →

Spark Python API接口介绍 由于Spark开源版本升级，为避免出现API兼容性或可靠性问题，建议用户使用配套版本的API。 Spark Core常用接口 Spark主要使用到如下这几个类： pyspark.SparkContext：是Spark的对外接口。负责向调用

查看更多 →

Spark Python API接口介绍 由于Spark开源版本升级，为避免出现API兼容性或可靠性问题，建议用户使用配套版本的API。 Spark Core常用接口 Spark主要使用到如下这几个类： pyspark.SparkContext：是Spark的对外接口。负责向调用

查看更多 →

缓存刷新和缓存预热提示用户权限不足 如果您在进行缓存刷新和缓存预热操作时提示权限不足，可参照以下方法排查： 如果您使用的是IAM子账号登录，请先确认您的IAM子账号是否具有刷新预热的操作权限：CDN RefreshAndPreheatAccess。子账号的操作权限可向主账号管理员申请开通。

查看更多 →

缓存刷新和缓存预热有什么区别？ 缓存刷新和缓存预热的区别如下所示： 缓存刷新：提交缓存刷新请求后，CDN节点的缓存内容将会被强制过期。当用户向CDN节点请求资源时，CDN会直接回源站请求对应的资源返回给用户，并将其缓存。 缓存预热：提交缓存预热请求后，源站将会主动将对应的资源缓存

查看更多 →

在History Server页面加载Task个数较多的Spark应用时，由于无法把全部的数据放入内存中，导致数据溢出到磁盘时，会产生前缀为“temp_shuffle”的文件。 HistoryServer默认会缓存50个Spark应用（由配置项“spark.history.retainedApp

查看更多 →

在History Server页面加载Task个数较多的Spark应用时，由于无法把全部的数据放入内存中，导致数据溢出到磁盘时，会产生前缀为“temp_shuffle”的文件。 HistoryServer默认会缓存50个Spark应用（由配置项“spark.history.retainedApp

查看更多 →

分布式缓存实例的存储类型，当前只支持Redis DISTRIBUTED_CACHE_VERSION 分布式缓存实例的版本号 DISTRIBUTED_CACHE_NAME 分布式缓存实例的名称 DISTRIBUTED_CACHE_HOST 分布式缓存实例的连接IP地址 DISTRIBUTED_CACHE_PORT

查看更多 →

Spark Python API接口介绍 由于Spark开源版本升级，为避免出现API兼容性或可靠性问题，建议用户使用配套版本的API。 Spark Core常用接口 Spark主要使用到如下这几个类： pyspark.SparkContext：是Spark的对外接口。负责向调用

查看更多 →

分布式训练 分布式训练功能介绍 单机多卡数据并行-DataParallel(DP) 多机多卡数据并行-DistributedDataParallel(DDP) 分布式调测适配及代码示例 分布式训练完整代码示例 基于训练作业启动PyTorch DDP训练示例 基于训练作业启动PyTorch

查看更多 →

Spark Python接口介绍 由于Spark开源版本升级，为避免出现API兼容性或可靠性问题，建议用户使用配套版本的开源API。 Spark Core常用接口 Spark主要使用到如下这几个类： pyspark.SparkContext：是Spark的对外接口。负责向调用该类

查看更多 →

分布式缓存实例的存储类型，当前只支持Redis DISTRIBUTED_CACHE_VERSION 分布式缓存实例的版本号 DISTRIBUTED_CACHE_NAME 分布式缓存实例的名称 DISTRIBUTED_CACHE_HOST 分布式缓存实例的连接IP地址 DISTRIBUTED_CACHE_PORT

查看更多 →

Redis）主备部署，通过将热点数据放入缓存服务Redis，加快用户端访问速度，提升用户体验。 云数据库 RDS（MySQL）主备部署，提供具备跨可用区故障容灾能力的高可用数据库。 方案优势 分布式 分布式RabbitMQ 作为消息队列中间件，可以缓解流量压力，避免尖峰流量对应用的影响。 高可用 分布式缓存服务 D CS （

查看更多 →