17.6K
7307
流式大数据
大数据处理系统中的大数据可分为批式大数据和流式大数据两类。其中,批式大数据又称历史大数据,流式大数据又称实时大数据。
流式计算取代传统的批处理计算被广泛应用于实时信息推荐、实时搜索等领域中。与大数据批处理不同,流式大数据处理的特点主要包括:①流水式数据模式。数据源源不断流入处理单元被处理,各个处理单元之间通过网络进行传播。②数据产生速率随时间呈波动性变化。由于流式大数据处理平台上的数据多来源于用户行为产生的数据,而用户行为随时间波动性变化。③数据具有高时效性。在实时处理业务场景中,对数据处理过程中的延迟要求十分严格。流式大数据处理平台以低延迟作为服务质量的主要目标之一。流式大数据处理平台主要分为两类,即小批量数据流处理和直接数据流处理等。