1. 介绍

Apache Flume 是一个分布式、高可靠、高可用的用来收集、聚合、转移不同来源的大量日志数据到中央数据仓库的工具。

2. 软件下载

● JDK下载：

版本：jdk-8u201-linux-x64.tar.gz

网址：https://www.oracle.com/technetwork/java/javase/downloads

● Flume下载：

版本：apache-flume-1.11.0-bin.tar.gz

网址：https://dlcdn.apache.org/flume/1.11.0/apache-flume-1.11.0-bin.tar.gz

3. 部署环境

● 部署机器：

服务器：flume-server1 （8核 16G内存 50G数据盘）

内存：足够的内存 用来配置Sources、Channels和Sinks

硬盘空间：足够的硬盘用来配置Channels 和 Sinks

● Linux配置:

Linux版本：CentOS 7.8

Linux用户：centos

数据盘挂载目录：/data

● 安装包目录：

JDK安装包： ~/jdk-8u201-linux-x64.tar.gz

Flume安装包：~/apache-flume-1.11.0-bin.tar.gz

● 安装目录

JDK安装目录： /data/jdk1.8.0_201

Flume安装目录：/data/flume-1.11.0-bin

4. Flume安装

4.1 Flume解压安装

$ cd /data
$ tar -zvxf ~/apache-flume-1.11.0-bin.tar.gz

4.2 配置

$ cd /data/apache-flume-1.11.0-bin/conf
##将Hadoop集群的core-site.xml复制到该目录下
$ cp flume-env.sh.template 
$ vim flume-env.sh
##根据数据情况配置启动资源
export JAVA_OPTS="-Xms500m -Xmx1000m -Dcom.sun.management.jmxremote"