使用MapReduce 配置使用分布式缓存执行MapReduce任务 配置MapReduce shuffle address 配置MapReduce集群管理员列表 通过Windows系统提交MapReduce任务 配置MapReduce任务日志归档和清理机制 MapReduce性能调优

查看更多 →

MapReduce Action 功能描述 MapReduce任务节点，负责执行一个map-reduce任务。 参数解释 MapReduce Action节点中包含的各参数及其含义，请参见表1。 表1 参数含义 参数 含义 name map-reduce action的名称 resourceManager

查看更多 →

使用Mapreduce 配置使用分布式缓存执行MapReduce任务 配置MapReduce shuffle address 配置MapReduce集群管理员列表 通过Windows系统提交MapReduce任务 配置MapReduce任务日志归档和清理机制 MapReduce性能调优

查看更多 →

MRS MapReduce 功能 通过MRS MapReduce节点实现在MRS中执行预先定义的MapReduce程序。 参数 用户可参考表1和表2配置MRS MapReduce节点的参数。 表1 属性参数 参数 是否必选 说明 节点名称 是 节点名称，可以包含中文、英文字母、数

查看更多 →

提供Rest接口，通过Rest执行Hive命令，提交MapReduce任务。 Hive客户端 包括人机交互命令行Beeline、提供给JDBC应用的JDBC驱动、提供给Python应用的Python驱动、提供给MapReduce的HCatalog相关JAR包。 ZooKeeper集群

查看更多 →

安装相应的python模块。 需要安装sasl，thrift，thrift-sasl，PyHive。 pip install sasl pip install thrift pip install thrift-sasl pip install PyHive 安装python连接zookeeper工具。

查看更多 →

登录 弹性云服务器 ，具体操作请参见《弹性 云服务器 快速入门》中“登录弹性云 服务器 ”。 安装Python和Redis的Python客户端Redis-py。 如果系统没有自带Python，可以使用yum方式安装。 yum install python 下载并解压redis-py。 wget https://github

查看更多 →

基于Python连接实例 PyMongo包 连接数据库 访问数据库 完整示例 父主题： 最佳实践

查看更多 →

在参数区域中提供启动配置参数。 关于启动配置参数的详细说明，请参考相应的主题： 当前 Python 文件 Python 文件 Python 模块 附加到进程 Django 应用程序 FastAPI 应用程序 Flask 应用程序 Pyramid 应用程序 pytest unittest 单击“确定”以应用更改并关闭对话框。

查看更多 →

不同用户查询同表显示数据不同 问题现象 2个用户登录相同数据库human_resource，分别执行的查询语句如下：select count(*) from areas，查询同一张表areas时，查询结果却不一致。 原因分析 请先判断同名的表是否确实是同一张表。在关系型数据库中，

查看更多 →

educe函数聚合得到。 join(other,numPartitions) 实现不同的Spark Streaming之间做合并操作。 SparkSQL常用接口 Spark SQL中在Python中重要的类有： pyspark.sql.SQLContext：是Spark SQL功能和DataFrame的主入口。

查看更多 →

使用SDK（Python） 准备环境 配置样例工程 初始化DIS客户端 创建通道 添加转储任务 删除通道 删除转储任务 查询通道列表 查询转储列表 查询通道详情 查询转储详情 Json格式上传流式数据 Protobuf格式上传流式数据 下载流式数据 创建APP 删除APP 查询APP详情

查看更多 →

开始监控Python应用 快速接入Agent

查看更多 →

Python代码样例 AXB模式 AX模式 AXE模式 AXYB模式 父主题： 代码样例

查看更多 →

Python版本建议使用2.7.10和3.4.0以上版本，需要配置Visual C++编译环境Visual C++ build tools 或者 Visual Studio。 关于Python开发环境的配置请参考Python SDK环境配置。 DLI Python SDK依赖第三方库包括：urllib3

查看更多 →

使用SDK（Python） Python开发环境配置 Python语言SDK获取和安装 媒资图像标签示例 名人识别示例 主体识别示例 翻拍识别示例 图像标签示例

查看更多 →

使用SDK（Python） Python开发环境配置 Python语言SDK获取和安装 添加数据示例 更新数据示例 检查数据示例 搜索数据示例 删除数据示例

查看更多 →

使用SDK（Python） Python开发环境配置 Python语言SDK获取和安装 SDK调用示例

查看更多 →

Python样例代码 功能简介 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。 代码样例 下面代码片段仅为演示，具体代码参见collectFemaleInfo.py： def contains(str, substr): if substr in str:

查看更多 →

添加Python包后，找不到指定的Python环境 添加Python3包后，找不到指定的Python环境。 可以通过在conf文件中，设置spark.yarn.appMasterEnv.PYSPARK_PYTHON=python3，指定计算集群环境为Python3环境。 目前，新

查看更多 →

开发MapReduce应用 MapReduce统计样例程序 MapReduce访问多组件样例程序 父主题： MapReduce开发指南（安全模式）

查看更多 →