codec为“org.apache.hadoop.io.compress.ZStandardCode”： set hive.exec.compress.output=true; set mapreduce.map.output.compress=true; set mapreduce.map.output

查看更多 →

<property> <name>yarn.app.mapreduce.am.staging-dir</name> <value>/folder1/tmp/hadoop-yarn/staging</value> </property> 父主题： MapReduce常见问题

查看更多 →

排查过程 方案一：工具溯源排查 方案二：DOS系统命令排查 Windows主机安全加固建议 父主题： 主机安全排查（Windows操作系统）

查看更多 →

开发过程 订购资产 创建应用 开发应用 测试应用 发布应用 集成到ISDP+ Mobile 父主题： 移动端开发全流程

查看更多 →

函数/过程管理 创建函数/过程 在“对象浏览器”窗格中，右键单击待创建PL/SQL过程的指定模式下的“函数/过程”，按照要求选择“创建函数”、“创建SQL函数”、“创建过程”或“创建C函数”。 例如右键单击“函数/过程”，弹出如下菜单： Data Studio在新页签中显示所选模板。

查看更多 →

存储过程 存储过程 数据类型 数据类型转换 声明语法 基本语句 动态语句 控制语句 事务语句 其他语句 游标 高级包 Retry管理 调试

查看更多 →

优化过程（Windows） 云服务器 的正常运行依赖于XEN Guest OS driver（PV driver）和KVM Guest OS driver（virtio驱动），为了同时支持XEN虚拟化和KVM虚拟化，以及提升云 服务器 网络性能，需要确保镜像安装了PV driver和virtio驱动。

查看更多 →

存储过程 存储过程 数据类型 数据类型转换 声明语法 基本语句 动态语句 控制语句 事务语句 其他语句 游标 高级包 Retry管理 调试

查看更多 →

存储过程 存储过程 数据类型 数据类型转换 数组和record 声明语法 基本语句 动态语句 控制语句 其他语句 游标 高级包 调试

查看更多 →

测试过程 测试数据 数据生成 建表 导入数据 查询测试 父主题： TPC-DS性能测试

查看更多 →

HIVE优化 概述 Hive架构 Hive提供了Hadoop的SQL能力，主要参考标准的SQL，Hive进行了部分的修改，形成了自己的特有的SQL语法HQL（Hive SQL），更加适合于Hadoop的分布式体系，该SQL目前是Hadoop体系的事实标准。 Hive调优 用户输入HQ

查看更多 →

问题背景与现象 有MapReduce任务所有map任务均成功，但reduce任务失败，查看日志发现报异常“FileNotFoundException...No lease on...File does not exist”。 Error: org.apache.hadoop.ipc.RemoteException(java

查看更多 →

“Import”通过“org.apache.hadoop.hbase.mapreduce.Import”方法导入已导出至HDFS中的HBase数据。 “ImportTsv”通过“org.apache.hadoop.hbase.mapreduce.ImportTsv”可将TSV格式的数据加载到HBase中。

查看更多 →

参数 描述 默认值 yarn.app.mapreduce.am.resource.mb 该参数值必须大于下面参数的堆大小。单位：MB 1536 yarn.app.mapreduce.am.command-opts 传递到MapReduce ApplicationMaster的JVM启动参数。

查看更多 →

apache.hadoop.io.compress.BZip2Codec org.apache.hadoop.io.compress.Lz4Codec org.apache.hadoop.io.compress.DeflateCodec org.apache.hadoop.io.compress

查看更多 →

MapReduce基本原理 如需使用MapReduce，请确保 MRS 集群内已安装Hadoop服务。 MapReduce是Hadoop的核心，是Google提出的一个软件架构，用于大规模数据集（大于1TB）的并行运算。概念“Map（映射）”和“Reduce（化简）”及其主要思想，均取自于函数式编程语言及矢量编程语言。

查看更多 →

参数 描述 默认值 yarn.app.mapreduce.am.resource.mb 该参数值必须大于下面参数的堆大小。单位：MB 1536 yarn.app.mapreduce.am.command-opts 传递到MapReduce ApplicationMaster的JVM启动参数。

查看更多 →

heap space. 解决方案： 对于MapReduce任务，增大下列参数： set mapreduce.map.memory.mb=8192; set mapreduce.map.java.opts=-Xmx6554M; set mapreduce.reduce.memory.mb=8192;

查看更多 →

排查过程 本章节介绍Linux操作系统中主机安全排查的具体过程。 操作步骤 查看主机是否存在异常进程。 查询命令：top 根据CPU占用率、进程名称等判断是否存在异常进程，如下可疑进程CPU占用率超过100%。 根据异常进程PID值，查看文件位置。 查询命令：lsof -p+进程PID值（如25267）

查看更多 →

开发过程 订购资产 创建应用 开发应用 测试应用 发布应用 集成到ISDP+平台 父主题： 应用开发全流程

查看更多 →

开发过程 订购资产 导入项目包 开发大屏 测试大屏 发布大屏 集成到ISDP+平台 父主题： 大屏开发全流程

查看更多 →