实时离线一体化系统在 360 的应用

背景

渠道分析系统,是一个多维度数据分析系统,旨在为渠道运营和渠道评估提供数据支持。随着精细化运营需求的日益增长,对渠道数据的时效性和准确性要求也越来越高。第一代渠道分析系统,数据主要依赖离线计算产生,最小时间粒度为小时,其中,“新增用户数”对运营人员及时调整策略起到至关重要的作用,但该数据的滞后性比较明显,导致相应的运营决策比较被动,决策效果较差。

本文实现了一种实时计算与离线计算一体化的解决方案,为渠道新增数据提供实时、准确、高效的数据支撑。本文将从面临挑战、解决方案、难点攻克等几个方面来详细描述整个方案实施过程。

面临挑战

渠道数据涉及多种产品线,因此数据打点分散,数据源较多,其中包括数据中心数据、商业化数据、反作弊数据等。为了建立通用的渠道评估机制,全面的评估渠道质量从而指导结算,由此面临的挑战总结如下:

数据量大。渠道数据汇聚了多个产品的数据,每天数据量约为5~6TB,高峰期可达100MB/s。

数据复杂度高。产品的多样性使得数据源种类繁多,且原始日志经过多重加密,增加了日志解析的复杂度。

低延迟。渠道运营数据延迟越低,对运营决策的价值越高,而新增数据由于其依赖历史数据,其本身计算逻辑存在复杂性,增加了低延迟的处理难度。 数据准确性要求高。保证渠道评估的准确性才能做到精准投放和公平结算,因此对渠道数据的准确性要求较高,需要有数据校准机制。

数据量大。渠道数据汇聚了多个产品的数据,每天数据量约为5~6TB,高峰期可达100MB/s。

数据复杂度高。产品的多样性使得数据源种类繁多,且原始日志经过多重加密,增加了日志解析的复杂度。

低延迟。渠道运营数据延迟越低,对运营决策的价值越高,而新增数据由于其依赖历史数据,其本身计算逻辑存在复杂性,增加了低延迟的处理难度。

为您推荐