日志处理 介绍SDK提供的日志配置方法以及日志格式。 日志级别配置 日志组件 SDK以SLF接口输出日志，默认使用logback输出日志，引入了logback-core-***.jar和logback-classic-***.jar这两个jar包，SLF会绑定到logback输出日志。

查看更多 →

处理文件 当文件上传后更新至dew-bucket-input桶时，会生成事件，触发函数运行，将文件加解密，保存在dew-bucket-output中。 上传文件生成事件 登录 对象存储服务 控制台，进入dew-bucket-input桶对象界面，上传image.jpg文件，如图1所示。

查看更多 →

Rainbow SDK运行日志，建议打开，方便定位问题。 com.huawei.dcg.rainbow.switch INFO Rainbow双云状态大数据日志。 com.huawei.dcg.rainbow.access INFO Rainbow SDK接入大数据日志。 日志文件配置样例 logback

查看更多 →

日志文件 配置日志文件 obsutil的日志文件分为工具日志和SDK日志，可通过在.obsutilconfig配置文件中加入如下参数开启这两种日志： 工具日志（记录工具在运行期间产生的日志信息）：配置utilLogPath、utilLogBackups、utilLogLevel、utilMaxLogSize。

查看更多 →

流是工作流的核心部分。然而在文件处理等流式处理场景中，对控制流的要求并不高，以上述图片处理场景举例，可以对大图片进行分块处理，图片压缩和加水印的任务不需要严格的先后顺序，图片压缩处理完一个分块可以直接流转到下一个步骤，而不需要等待图片压缩把所有分块处理完再开始加水印的任务。 基于

查看更多 →

SQL on Hadoop DWS支持直接读取存储在Hadoop HDFS文件系统上的结构化数据，对外提供标准SQL语言查询接口，通过向量化引擎完成Hadoop原生数据的复杂分析查询工作。 技术架构 DWS将HDFS上存储的结构化数据映射为外部表，从而重用已有的成熟数据库SQL编

查看更多 →

单击“并行文件系统 > 创建并行文件系统”，创建一个名称为wordcount01的文件系统。 wordcount01仅为示例，文件系统名称必须全局唯一，否则会创建并行文件系统失败。 在OBS文件系统列表中单击文件系统名称wordcount01，选择“文件 > 新建文件夹”，分别创

查看更多 →

查看日志文件 您可快速查看组件实例的日志文件，以便定位问题。 查看日志文件 在左侧导航栏中选择“日志 > 日志文件”。 在“日志文件”页面选择“组件”或“主机”页签并单击名称，在页面右侧的日志文件列表中即可查看其实例的日志文件名称、最新写入时间。 单击该实例“操作”列的“查看”，

查看更多 →

查看日志文件 您可快速查看组件实例或主机的日志文件，以便定位问题。 查看日志文件 登录AOM 2.0控制台。 在左侧导航栏中选择“日志分析 > 日志文件”。 使用日志分析（新版）功能的区域可以通过表2中描述的入口进入“日志文件”页面。 在“日志文件”页面选择“组件”或“主机”页签

查看更多 →

g.zip为归档文件名将日志归档到该新建的文件夹下； 如果file_or_folder_url不存在，且不以“/”或“\”结尾，则以该值作为归档文件名，将日志归档到本地； 如果file_or_folder_url为已存在的zip文件，则以该值作为归档文件名，将日志覆盖归档到本地；

查看更多 →

执行如下命令，清空“/var/log”目录的日志文件： rm -rf /var/log/* 删除日志前，请备份需要的应用日志目录及日志文件，防止应用没有日志目录导致启动失败。例如，nginx日志默认路径为/var/log/nginx，若删除了此目录，可能导致nginx应用启动失败。 执行如下命令，清空历史记录： echo

查看更多 →

3版本的hadoop与hadoop-huaweicloud配套使用）。 下载hadoop-3.1.1.tar.gz，并解压到/opt/hadoop-3.1.1目录。 在/etc/profile文件中增加配置内容： export HADOOP_HOME=/opt/hadoop-3.1

查看更多 →

选择“并行文件系统 > 创建并行文件系统”，创建一个名称为wordcount01的文件系统。 wordcount01仅为示例，文件系统名称必须全局唯一，否则会创建并行文件系统失败。 在OBS文件系统列表中单击文件系统名称wordcount01，选择“文件 > 新建文件夹”，分别创

查看更多 →

合理配置日志文件 查看错误日志是定位问题的重要手段，需要合理规划日志输出，并且尽可能降低对系统性能的影响。规划日志文件有如下建议： 使用log4j2或者logback输出日志。 将日志输出到文件，不要依赖于容器的stdout。 打开metrics日志，将metrics日志输出到独立的文件，比如“metrics

查看更多 →

快速购买Hadoop分析集群 本章节为您介绍如何快速购买一个Hadoop分析集群，Hadoop集群完全使用开源Hadoop生态，采用YARN管理集群资源，提供Hive、Spark离线大规模分布式数据存储和计算，SparkStreaming、Flink流式数据计算，Presto交互

查看更多 →

缺省值为“3des”，表示采用3DES算法进行加密。此处的值还可以设置为“rc4”，避免出现安全隐患，不推荐设置为该值。 3des HDFS hadoop.rpc.protection 设置Hadoop中各模块的RPC通道是否加密。包括： 客户端访问HDFS的RPC通道。 HDFS中各模块间的RPC通道，如DataNode与NameNode间。

查看更多 →

日志文件存于何处？ KooCLI会记录您使用过程中产生的日志信息。日志记录功能暂不支持关闭。 日志文件名称为“hcloud.log”，日志文件的存放位置如下： Linux系统：/home/{当前用户名}/.hcloud/log/ Windows系统：C:\Users\{当前用户名}\

查看更多 →

获取日志导出文件 接口名称 WEB_LogFileProcess(后续废弃) 功能描述 获取日志导出文件 应用场景 日志导出 URL https://ip/log|log.xml?ActionID=WEB_LogFileProcess 参数 无 返回值 表1 获取日志导出文件返回值

查看更多 →

zip”。最多保留最近的100个压缩文件，压缩文件保留个数可以在Manager界面中配置。 日志归档规则： 表1 Yarn日志列表 日志类型 日志文件名 描述 运行日志 hadoop-<SSH_USER>-<process_name>-<hostname>.log Yarn组件日志，记录Yarn组件运行时候所产生的大部分日志。

查看更多 →

是否必选 参数类型 说明 id 否 String 批处理作业的id。 from 否 Integer 日志起始索引。 total 否 Long 日志的总记录数。 log 否 Array of Strings 显示当前批处理作业日志。 请求示例 无 响应示例 { "id":

查看更多 →

日志提示权限不够，怎样处理？ 问题现象 部署主机相关的应用时，出现“权限不够”日志提示时，说明当前用户对当前文件或文件夹没有操作权限。 原因分析 当前用户对当前文件或文件夹没有操作权限。 处理方法 采用对当前用户可以访问的文件。 使用权限更高的用户，如：root。 给当前用户赋予

查看更多 →