6”。 删除已有命令行，输入以下命令： # 请保证代码根目录下有setup.py文件,下面命令将把工程打为whl包 python setup.py bdist_wheel # 设置当前项目根目录下的.pypirc文件为配置文件 cp -rf .pypirc ~/ # 上传组件至pypi私有库

查看更多 →

）与待归档的日志文件总大小有关。计算公式为：并行归档任务数=待归档的日志文件总大小/归档文件大小。 配置描述 进入Mapreduce服务参数“全部配置”界面，具体操作请参考修改集群服务配置参数章节。 在搜索框中输入参数名称，修改并保存配置。然后在Mapreduce服务“概览”页面选择“更多

查看更多 →

）与待归档的日志文件总大小有关。计算公式为：并行归档任务数=待归档的日志文件总大小/归档文件大小。 配置描述 进入Mapreduce服务参数“全部配置”界面，具体操作请参考修改集群服务配置参数章节。 在搜索框中输入参数名称，修改并保存配置。然后在Mapreduce服务“概览”页面选择“更多

查看更多 →

本地读单边写 这种路由算法场景下，读操作在本地进行，不受DCG指示的active影响。根据配置文件中的AZ信息判断本地属于哪个AZ，读操作时从本地AZ进行读取，写操作仍然根据DCG指示的active进行操作。 本地读单边写策略，配置文件中props.azs信息必须填写，根据实际所

查看更多 →

高成功率：双并发读机制，保证每一次读请求的成功率。 可用性：单集群故障时，查询业务不中断。短暂的网络抖动也不会导致查询时间变长。 通用性：双读特性不支持双写，但不影响原有的实时写场景。 易用性：客户端封装处理，业务侧不感知。 HBase双读使用约束： HBase双读特性基于Repl

查看更多 →

可以将多个版本的MapReduce tar包上传至HDFS。不同的“mapred-site.xml”文件可以指向不同的位置。用户在此之后可以针对特定的“mapred-site.xml”文件运行任务。以下是一个针对x版本的MapReduce tar包运行MapReduce任务的样例： hadoop

查看更多 →

gent/CloudResetPwdAgent.Linux 执行以下命令，添加文件setup.sh的运行权限。 chmod +x setup.sh 执行以下命令，安装插件。 sudo sh setup.sh 如果脚本执行成功打印“cloudResetPwdAgent install

查看更多 →

代码解压目录中“src\hive-examples”目录下的样例工程文件夹“python-examples”。 进入“python-examples”文件夹。 在命令行终端执行以下命令： python setup.py install 输出以下关键内容表示安装Python客户端成功。

查看更多 →

utPath>指HDFS文件系统中input的路径，<outputPath>指HDFS文件系统中output的路径。 在执行以上命令之前，需要把log1.txt和log2.txt这两个文件上传到HDFS的<inputPath>目录下。参考MapReduce统计样例程序开发思路。

查看更多 →

代码解压目录中“src\hive-examples”目录下的样例工程文件夹“python-examples”。 进入“python-examples”文件夹。 在命令行终端执行以下命令 python setup.py install 输出以下关键内容表示安装Python客户端成功：

查看更多 →

参考获取 MRS 应用开发样例工程，获取样例代码解压目录中“src\hive-examples”目录下的样例工程文件夹“python-examples”。 进入“python-examples”文件夹。 在命令行终端执行python setup.py install。 输出以下关键内容表示安装Python客户端成功。

查看更多 →

参考获取MRS应用开发样例工程，获取样例代码解压目录中“src\hive-examples”目录下的样例工程文件夹“python-examples”。 进入“python-examples”文件夹。 在命令行终端执行python setup.py install。 输出以下关键内容表示安装Python客户端成功。

查看更多 →

设置角色“配置资源权限”请参见表1。 设置HDFS目录的读和执行权限。 选择“待操作集群的名称 > HDFS > 文件系统 > hdfs://hacluster/ > user”，在“hive”的“权限”列，勾选“读”和“执行”。 选择“待操作集群的名称 > HDFS > 文件系统 > hdfs://hacluster/

查看更多 →

认证代码，确保MapReduce程序能够正常运行。 安全认证有两种方式： 命令行认证： 提交MapReduce应用程序运行前，在MapReduce客户端执行如下命令获得认证。 kinit 组件业务用户 代码认证： 通过获取客户端的principal和keytab文件在应用程序中进行认证。

查看更多 →

MapReduce二次开发远程调试 问题 MapReduce二次开发过程中如何远程调试业务代码？ 回答 MapReduce开发调试采用的原理是Java的远程调试机制，在Map/Reduce任务启动时，添加Java远程调试命令。 首先理解两个参数：“mapreduce.map.java

查看更多 →

导入并配置MapReduce样例工程 操作场景 MapReduce针对多个场景提供样例工程，帮助客户快速学习MapReduce工程。 以下操作步骤以导入MapReduce样例代码为例。操作流程如图1所示。 图1 导入样例工程流程 操作步骤 参考获取MRS应用开发样例工程，获取样例

查看更多 →

导入并配置MapReduce样例工程 操作场景 MapReduce针对多个场景提供样例工程，帮助客户快速学习MapReduce工程。 以下操作步骤以导入MapReduce样例代码为例。操作流程如图1所示。 图1 导入样例工程流程 操作步骤 参考获取MRS应用开发样例工程，获取样例

查看更多 →

，并上传至待操作的 云服务器 。 ipv6-setup-xxx工具会添加或者修改网卡设备的配置文件，添加IPv6动态获取的配置信息，然后重启网卡或者网络服务。ipv6-setup-rhel和ipv6-setup-debian的工具下载地址如表2所示。 表2 工具下载地址 系列 发行版

查看更多 →

，并上传至待操作的云 服务器 。 ipv6-setup-xxx工具会添加或者修改网卡设备的配置文件，添加IPv6动态获取的配置信息，然后重启网卡或者网络服务。ipv6-setup-rhel和ipv6-setup-debian的工具下载地址如表2所示。 表2 工具下载地址 系列 发行版

查看更多 →

Table）中。 在MapReduce作业的提交阶段，将数据从临时表迁移到正式表中。 数据导出到文件系统 在MapReduce作业的Map阶段，从HDFS或者HBase中抽取数据，然后将数据写入到文件服务器临时目录中。 在MapReduce作业的提交阶段，将文件从临时目录迁移到正式目录。

查看更多 →

如下图的待操作的集群名，进行后面权限的选择。 图2 配置Yarn服务权限 选择“HDFS > 文件系统 > hdfs://hacluster/”，勾选“user”所在行的“权限”列的“读”、“写”和“执行”权限，单击“确定”，完成角色的创建。 图3 配置HDFS服务权限 选择“用户

查看更多 →