实时消息流分析系统

通常实时消息流分析系统分为3个部分

1 生产系统
2 消息流系统
3 消费系统

生产系统:
1.连接数据源
2.收集数据日志事件等
3.过滤数据转换格式
4.发布到流处理系

消息流系统
从生产者获取数据流,并保证可靠的数据,待消费者处理

消费系统
消费系统是流处理引擎,它们订阅来自数据流的数据并操作或分析数据以查找警报。

生产系统
Apache Flume, StreamSets Data Collector , Scribe, LogStash

消息流系统
Apache Kafka, MapR Streams, Kinesis

消费系统
Apache Storm , Spark Streaming , Apache Flink , Apache Apex

行业通用解决方案
flume + kafka + storm
flume + kafka + SparkSteaming

发表评论

电子邮件地址不会被公开。 必填项已用*标注