2018年第20周-Flume概念（简单例子）
Flume 1.8.0
简介
概要
Flume是一个分布式，可靠性和可用性的系统，此系统用于收集、聚合和移动大量数据日志数据，从各种各样的数据源将数据移动到数据存储中心。
Flume不仅仅是日志数据聚合。由于数据源是可以自定义，Flume可以用于传输大量事件数据（event data）不局限于流量数据，社交媒体数据，邮件信息等各种各样的数据。
Flume是Apache的顶级项目。
两个发布版本0.9.x和1.x。
此文档适用于版本1.x，0.9.x的文档在这http://archive.cloudera.com/c...
但还是推荐使用1.x版本，最新架构有性能的提升和灵活的配置。
系统要求（System Requirements）
1.Java1.8及以上的环境
2.内存——需根据source、channel或sink来决定
3.硬盘空间——需根据channel或sink来决定
4.目录权限——agent能够有该数据目录的读写权限
架构（Architecture）
数据流模型（Data flow model）
事件（event）是数据流的单元。可以是字节数据或者是文本。
agent是JVM进程（包含各个组件，如source、channel和sink），接受实践并传递给下个目标。
source消费从外部源（如web server）传递过来的事件。外部源传送的事件的格式需Flume的source认得。例如，Avro source可以接受Avro事件。
channel用于暂存source接受过来的事件，直到被sink消费。
sink从channel中将事件移动到外部存储，如HDFS（通过HDFS sink）。
在agent里的source和sink都是异步运行的，事件存储在channel里。
复杂的流（Complex flows）
Flume运行用户构建多跳跃的流，也就是事件从一个agent留到下一个agent，可以多个agent。也允许fan-in和fan-out，路由和备份路由。
可靠性（Reliability）
事件暂存在channel里，然后就被传送到下一个agent或最终仓库（如HDFS）。事件只有在下个一个channel保存了或最终仓库保存了，才会从上一个channel里删掉。这是Flume提供的传送语义。
Flume使用事务方法保证事件传递的可靠性。source和sink都封装了事务用于存储和获取。这个保证了多个事件能够可以可靠的点对点传送。
可恢复性（Recoverability）
channel负责从奔溃中恢复。Flume支持可持久化的file channel。但如果用memory channel虽然会快一些，但agent奔溃后，将无法恢复。
部署（Setup）
安装agent（Setting up an agent）
agent的配置文件是文本形式，类似与Java配置文件。多个agent可以使用同一个配置文件。配置文件包括source、sink和channel属性，以及它们之间怎么匹配。
配置独立组件（Configuring individual components）
流里面的每个组件（source、sink或channel）都是有自己的name、type等属性和实例。例如Avro source需要hostname和port去获取数据。memory channel需要最大队列数。HDFS sink需要知道文件系统的URI，创建文件的路径等。这些属性都是配置在一个文件中。
组合起来（Wiring the pieces together）
agent需要知道什么组件启动，以及它们是怎么连接。只需要在agent里把名字列出来，然后将source连接channl，channel接连sink即可。
启动agent（Starting an agent）
可以通过flume-ng命令来启动agent。启动时需指定agent名字、配置文件目录和配置文件。
bin/flume-ng agent -n $agent_name -c conf -f conf/flume-conf.properties.template
一个简单的例子
以下是单节点flume的配置信息：
# example.conf: A single-node Flume configuration # Name the components on this agent a1.sources = r1 a1.sinks = k1 a1.channels = c1 # Describe/configure the source a1.sources.r1.type = netcat a1.sources.r1.bind = localhost a1.sources.r1.port = 44444 # Describe the sink a1.sinks.k1.type = logger # Use a channel which buffers events in memory a1.channels.c1.type = memory a1.channels.c1.capacity = 1000 a1.channels.c1.transactionCapacity = 100 # Bind the source and sink to the channel a1.sources.r1.channels = c1 a1.sinks.k1.channel = c1
这配置可以让用户通过telnet工具连接4444端口，发送文本，然后在和日志logger中输出。
配置文件定义了一个名为a1的agent，此agent拥有一个source监听4444端口，一个channel将事件暂存在内存中，和一个sink将时间输出到console里。这配置文件定义了很多组件，然后定义它们的类型和其他配置信息。
配置文件可以定一个多个agent，启动flume进程时可以指定agent启动。
启动命令如下
bin/flume-ng agent --conf conf --conf-file example.conf --name a1 -Dflume.root.logger=INFO,console
在另外个终端启动telnet：
telnet localhost 44444 Trying 127.0.0.1... Connected to localhost.localdomain (127.0.0.1). Escape character is '^]'. Hello world! <ENTER> OK
在之前的终端就会输出：
12/06/19 15:32:19 INFO source.NetcatSource: Source starting
12/06/19 15:32:19 INFO source.NetcatSource: Created serverSocket:sun.nio.ch.ServerSocketChannelImpl[/127.0.0.1:44444]
12/06/19 15:32:34 INFO sink.LoggerSink: Event: { headers:{} body: 48 65 6C 6C 6F 20 77 6F 72 6C 64 21 0D Hello world!. }这样就完成了Flume agent配置。剩下的就是选择自己想使用的sink、channel或source去熟悉。