扫描工具究竟是什么
物理模型设计
这一步所做的工作是根据信息系统的容量,复杂度,项目资源以及数据仓库项目自身的软件生命周期确定数据仓库系统的软硬件配置,数据仓库分层设计模式,数据的存储结构,确定索引策略,确定数据存放位置,确定存储分配等等。这部分应该是由项目经理和数据仓库架构师共同实施的.
确定数据仓库实现的物理模型,要求设计人员必须做到以下几方面:
1. 确定项目资源
根据预算和业务需求,并参考以往的数据仓库项目经验,对该项目的成本周期和资源进行估算.
关于项目周期的估算,主要基于ETL函数功能点以及加权后的复杂度进行估算,因为ETL过程占据了整个数据仓库项目的70%,;ETL过程主要是基于源<=>目的的原则进行处理的,而不同的功能点具有不同的复杂度,通过以往项目经验和专家评估,然后再根据软件生命周期的划分,可以有效的得知项目的整体周期.
关于人员的估算,主要取决于人员的工作经验,素养,对新技术的掌握能力,还要考虑到人员流动等方面的人员备份.
协作,每一个IT企业都应该具备一个丰富的技能和人力资源库,当项目资源遇到瓶颈的时候,就可以考虑需求协作.
2. 确定软硬件配置
数据仓库项目与其他业务系统不同,尤其需要对数据容量进行估算,这是因为数据仓库是历史的稳定的基于主题的集成的等等特性所决定的,他是对以往历史数据的集成,如果项目初期不加以考虑,很快就会造成灾难性的后果.
数据仓库的容量估算应该是可预见的,首先确定核心明细数据的存储年限,相关表的平均字段长度值*每年的记录数*(每年预计的增长),然后再加上20%的冗余,以及磁盘预留的20%的冗余,我们不难得到数据仓库的预计容量.
数据仓库的处理能力和容量息息相关,也和具体的关系数据库的性能息息相关,如何在Oracle,SQLServer,DB,Sybase甚至MySQL 之间寻找平衡,既要考虑实际的预算,也要视实际的需求而定.
关于硬件的配置,既需要发挥软件的功能,满足实际的处理要求,也要为将来的系统扩展保留一定的空间.
3. 数据仓库存储设计
数据仓库一般采用分层设计,即ODS层,数据仓库层,数据仓库聚合层数据集市等等;数据仓库的分层是灵活的,没有固定的模式,一切视实际情况而定.
ODS层存放从原系统采集来的原始交易数据,只保存一定期限内的数据,同时ODS支持部分近实时性报表的展示.
数据仓库层保存经过清洗,转换和重新组织的历史业务数据,数据将保留较长时间(5~10年不等),满足系统最细粒度的查询需要.
数据仓库聚合层面向KPI指标计算和分析,支持汇总层面交易级的指标查询,提高汇总级的KPI数据展示速度和数据保存时间。保存较长的历史数据.
数据集市是基于部门或者某一类特定分析主题需要,从企业级数据仓库单独获取的一个数据的逻辑或者物理的子集.
4. 数据仓库模式
数据抽取策略
制定系统的主题数据库ETL抽取方案来满足主题数据库的业务处理,数据仓库系统分析及决策支持分析的需要,同时必须保证不能影响业务系统的性能
数据转换策略
数据转换是指对从业务系统中抽取的源数据根据主题数据库系统模型的要求,进行数据的转换、清洗、拆分等处理,保证来自不同系统、不同格式的数据的一致性和完整性,并按要求装入主题数据库
数据加载策略
从业务系统中抽取、转换后的数据加载到主题数据库系统中。
数据质量的检查
星型模型
数据通常采用星型模型存储。星型模型由维表与事实表构成,一般并非业务系统中的规范化的范式结构。在核心层中,针对即定的主题,通常会建立若干星型模型。
0
相关文章