Skip to main content

ODS(Operation Data Store)

原始数据层,汇集多个原始未处理的数据,比如埋点日志,业务数据库、队列等,是后续数据仓库加工数据的来源。

DWD(Data Warehouse detail)

明细数据层,保持和ODS一样的数据颗粒度,对ODS数据层做一些数据的清洗和规范化的操作,比如去除空数据、脏数据、脱敏、分流等操作。

DWM(Data Warehouse Middle)

数据中间层,DWD层的数据基础上对数据做一些轻微的聚合操作,通用的维度进行聚合,减少重复工作(地址位置、设备等轻度关联)。

DWS(Data Warehouse Service)

数据服务层,基于DWM上的基础数据,汇总成分析某一个主题域的数据层,该层的数据表会相对较少,一张表会涵盖比较多的业务内容,多数是宽表, 用于提供后续的业务实时查询;如果是完全的明细,那么查询的压力是非常大的(分组聚合,某个商品xx秒内多数pv、uv)。

ADS(Application Data Service)

数据应用层,提供给数据产品和数据分析使用的数据,一般会存放在ES、Redis、ClickHouse。常用的数据报表就是存在这里。

本文内容转载自小滴课堂