StarRocks基本原理 StarRocks简介 StarRocks是一款高性能分析型数据仓库，使用向量化、MPP架构、CBO、智能物化视图、可实时更新的列式存储引擎等技术实现多维、实时、高并发的数据分析。 StarRocks既支持从各类实时和离线的数据源高效导入数据，也支持直接分析数据湖上各种格式的数据。

查看更多 →

示。 表2 参数说明 参数 说明 连接地址 FTP服务器的IP地址。 端口 FTP服务器端口。 连接模式 主动：FTP服务器主动连接客户端的数据端口。 被动：FTP服务器被动等待客户端连接自己的数据端口。 用户名、密码 登录FTP服务器的用户名和密码。 连接参数配置完成后，单击“

查看更多 →

配置FTP/SFTP连接 FTP/SFTP连接适用于从线下文件服务器或ECS服务器上迁移文件到数据库。 当前仅支持Linux操作系统的FTP 服务器。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。 连接FTP或SFTP服务器时，连接参数相同，如表1所示。

查看更多 →

源端为FTP/SFTP JSON样例 "from-config-values": { "configs": [ { "inputs": [ { "name": "fromJobConfig

查看更多 →

配置FTP/SFTP连接 FTP/SFTP连接适用于从线下文件服务器或ECS服务器上迁移文件到数据库。 当前仅支持Linux操作系统的FTP 服务器。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。 连接FTP或SFTP服务器时，连接参数相同，如表1所示。

查看更多 →

配置FTP/SFTP源端参数 作业中源连接为FTP/SFTP连接时，源端作业参数如表1所示。 高级属性里的参数为可选参数，默认隐藏，单击界面上的“显示高级属性”后显示。 表1 FTP/SFTP作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 源目录或文件 待迁移数

查看更多 →

配置FTP/SFTP源端参数 作业中源连接为FTP/SFTP连接时，源端作业参数如表1所示。 高级属性里的参数为可选参数，默认隐藏，单击界面上的“显示高级属性”后显示。 表1 FTP/SFTP作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 源目录或文件 待迁移数

查看更多 →

Spark基本原理 Spark组件适用于MRS 3.x之前版本。 Spark简介 Spark是一个开源的，并行数据处理框架，能够帮助用户简单、快速的开发，统一的大数据应用，对数据进行离线处理，流式处理，交互式分析等等。 Spark提供了一个快速的计算、写入及交互式查询的框架。相比

查看更多 →

Hue基本原理 Hue是一组WEB应用，用于和MRS大数据组件进行交互，能够帮助用户浏览HDFS，进行Hive查询，启动MapReduce任务等，它承载了与所有MRS大数据组件交互的应用。 Hue主要包括了文件浏览器和查询编辑器的功能： 文件浏览器能够允许用户直接通过界面浏览以及操作HDFS的不同目录；

查看更多 →

Storm基本原理 Apache Storm是一个分布式、可靠、容错的实时流式数据处理的系统。在Storm中，先要设计一个用于实时计算的图状结构，称之为拓扑（topology）。这个拓扑将会被提交给集群，由集群中的主控节点（master node）分发代码，将任务分配给工作节点（worker

查看更多 →

Flink基本原理 Flink简介 Flink是一个批处理和流处理结合的统一计算框架，其核心是一个提供了数据分发以及并行化计算的流数据处理引擎。它的最大亮点是流处理，是业界最顶级的开源流处理引擎。 Flink最适合的应用场景是低时延的数据处理（Data Processing）场景

查看更多 →

YARN基本原理 为了实现一个Hadoop集群的集群共享、可伸缩性和可靠性，并消除早期MapReduce框架中的JobTracker性能瓶颈，开源社区引入了统一的资源管理框架YARN。 YARN是将JobTracker的两个主要功能（资源管理和作业调度/监控）分离，主要方法是创建

查看更多 →

Admin同时提供服务，任意一个RangerAdmin故障不会影响Ranger的功能。 高性能 Ranger提供Load-Balance能力，通过浏览器访问Ranger WebUI时Load-Balance会自动选择当前负载较小的RangerAdmin来提供服务。 父主题： Ranger

查看更多 →

ZooKeeper基本原理 ZooKeeper简介 ZooKeeper是一个分布式、高可用性的协调服务。在大数据产品中主要提供两个功能： 帮助系统避免单点故障，建立可靠的应用程序。 提供分布式协作服务和维护配置信息。 ZooKeeper结构 ZooKeeper集群中的节点分为三种

查看更多 →

Flume基本原理 Flume是一个高可用、高可靠，分布式的海量日志采集、聚合和传输的系统。Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。其中Flume-NG是Flume的一个分支，其特点

查看更多 →

Manager基本原理 Manager功能 Manager是MRS的运维管理系统，为部署在集群内的服务提供统一的集群管理能力。 Manager支持大规模集群的性能监控、告警、用户管理、权限管理、审计、服务管理、健康检查、日志采集等功能。 Manager结构 Manager的整体逻辑架构如图1所示。

查看更多 →

快速构建FTP站点（Windows） 简介 本文介绍了如何使用弹性云服务器的Windows实例搭建FTP站点。该指导具体操作以Windows Server 2012 R2为例。 Windows实例搭建FTP站点具体操作步骤如下： 添加IIS以及FTP服务角色。 创建FTP用户名及密码。

查看更多 →

填写数据源的描述信息。 协议 选择接入FTP数据源使用的协议，可选择“FTP”和“SFTP”。 连接地址 填写FTP数据源的连接地址和端口号。 用户名 FTP数据源的登录用户名。 密码 FTP数据源的登录密码。 连接模式 仅当“协议”选择“FTP”时需要配置。 选择FTP数据源的连接模式。 主动

查看更多 →

Linux操作系统的本地主机安装ftp。 以CentOS 7.6操作系统为例，执行以下命令安装ftp yum -y install ftp 执行以下命令连接云服务器。 ftp 云服务器弹性公网IP 并根据提示，输入FTP服务的用户名和密码。 上传文件 执行以下命令，将本地文件上传至云服务器中。 put

查看更多 →

假设存在一个FTP服务器，将下载的云服务组件包存放到FTP服务器的目录下。 进入云服务组件包目录_install_mod。 <sysname> cd $_install_mod/ 连接FTP服务器。 <sysname> ftp FTP服务器IP地址 Warning: FTP is not

查看更多 →

本地Linux主机使用FTP上传文件到Linux云服务器 操作场景 本文介绍如何在 Linux 系统的本地机器上使用 FTP 服务，将文件从本地上传到云服务器中。 前提条件 已在待上传文件的云服务器中搭建 FTP 服务。 云服务器已绑定弹性公网IP，且安全组入方向开启TCP协议的21端口。

查看更多 →