我们目前有一个项目:
用Sybase,有一个表里一个月的纪录数以4*400万增长!
而客户要求对上一年的数据作查询,怎样可以优化系统?是否要用到
数据仓库的技术?
请高手指点!
可以采用数据仓库系统,在设计的过程中,挖掘完后需采用数据转移或者删除的策略,这个要根据客户的要求来做自动删除程序,如果是UNIX系统可以用SHELL编程实现自动优化的过程;
同时,在由数据库经“数据抽取”后到数据仓库时,必须清理一些数据,使“脏数据”尽量减少,加快系统的效率!所以采用数据仓库的话,肯定不能原搬原数据库的数据!!!
进一步分析,他要查询什么样的数据? 是对历史数据进行统计还是要查询细节?
另外插入和删除有多频繁,量有多大?如果查询很简单的话,不需要数据仓库
:)
数据仓库的技术其实要么表现在前端,但主要表现在后端。后端诸如采用MOLAP存储,主要提高的复杂查询的速度。如果数据量大,其查询还是要慢的。前端的话,就是将一部分经常查询的数据直接存储到前端,用以提高查询速度。好像SYBASE提供的关系型数据仓库存储技术里,有位索引的概念,用以提高检索速度。
我想应当具体分析一下,查询上一年的数据是统计数据?,还是必须查询细节,这个很重要,如果采用数据仓库技术,那么涉及仓库的数据粒度的问题。对于多维分析(olap)来说,不适合查细节,可以把这部分工作交给基础数据仓库,或者ODS完成,但是数据量的剧增,不会有太好的响应时间。