[讨论贴]关于数据转储的问题。现在的数据库，有几个表记录特别多，每年大约要新增4000万条记录…… <- 中国开发网

CNDEV.ORG

当前在线

论坛

CBD
- 程序员情感CBD
- 程序员见面交流会
CBD开发区
- Java/J2ME
- .NET/C#
- 数据库
- Delphi/BCB
- Visual C
其它
情感
游戏
- CNDEV-CS/WOW
- 浩宇长空
生活
论坛系统

中国开发网: 论坛: 程序员情感CBD: 贴子 221690

疯子张：

[讨论贴]关于数据转储的问题。现在的数据库，有几个表记录特别多，每年大约要新增4000万条记录……

[阅读: 710] 2005-10-25 00:54:20

查询速度太慢，而且占据大量空间。我想再建一个历史库，定期将数据转储到历史库中，需要查历史数据时就到历史库中去查。

这种方法如何？

几年前，技术抛弃了我；现在，我抛弃了技术。

相关信息:

[讨论贴]关于数据转储的问题。现在的数据库，有几个表记录特别多，每年大约要新增4000万条记录…… (69字) (疯子张 [709] 2005-10-25 00:54)
- 这个是肯定要的啦 (15字) (haitao [462] 2005-10-25 00:55)
  - 需要当然需要，这种方法是否对头？ (空) (疯子张 [402] 2005-10-25 00:56)
    - 对头吧，一年导一次历史库，我知道是有人这么做的 (空) (tweety [445] 2005-10-25 00:57)
    - 我们有一个项目是每天生成日、月汇总表。。。 (16字) (haitao [430] 2005-10-25 01:11)
      - 开始我想将历史表也放在同生产库里，但生产用的数据库太大了，还要每天备份，比较麻烦。 (空) (疯子张 [454] 2005-10-25 01:13)
        哦，我们那个大表已经是生产系统的一个历史表了 (26字) (haitao [443] 2005-10-25 01:18)
        那久而久之这个大表会非常的大哦！查询起来还不是一样的慢！ (空) (fogbound [415] 2005-10-25 01:20)
        慢点应该没什么问题，预先让客户知道查历史记录会很慢，我觉得只要别跟生产库混在一起就可以了。 (空) (疯子张 [449] 2005-10-25 01:24)
        疯子他们看起来得每年分成不同的历史库，否则一个历史表里数据过多查询统计起来还是慢 (空) (tweety [433] 2005-10-25 01:21)
- 关注一下！ (空) (fogbound [365] 2005-10-25 01:02)
  - 杵一下 (空) (咔波碧宝 [393] 2005-10-25 01:04)
    - 杵你个头！ (空) (fogbound [408] 2005-10-25 01:05)
      - 位置好象不对 (空) (UnKnow365 [398] 2005-10-25 01:22)
- 有什么问题吗？我们就是这样做的，甚至倒出磁带备份，确实需要时再导入，查完删除 (空) (UnKnow365 [421] 2005-10-25 01:21)
  - 查询时再导入这个办法不行，因为你并不知道客户什么时候需要查历史数据。 (空) (疯子张 [455] 2005-10-25 01:23)
    - 因为你的数据与我的数据性质不同，我的数据是只有出案子才需要。平时根本没用的 (空) (UnKnow365 [318] 2005-10-25 01:25)
- 可以使用多表 (30字) (小东 [426] 2005-10-25 01:44)
  - 这就是分区视图的基础啊 (空) (Miracle [409] 2005-10-25 01:47)
    - 啥叫分区视图啊，介绍介绍？ (空) (小东 [493] 2005-10-25 02:00)
      - G一下，好像把一个表拆成多个表就是了，还搞个名词出来，郁闷 (空) (小东 [450] 2005-10-25 02:08)
        呵呵，很简单的概念，也得有个名字啊。很好用的。 (空) (Miracle [460] 2005-10-25 02:22)
- 一年才这么一点数据也叫多…… (35字) (Miracle [513] 2005-10-25 01:45)
  - 这种方法的优点是移动数据速度超级快，而且只要时间跨度不大，再多的数据速度也不会慢 (空) (Miracle [471] 2005-10-25 01:46)
    - 需要特定数据库支持吗？ (24字) (haitao [375] 2005-10-25 01:59)
      - 常见的RDBMS应该都支持 (空) (Miracle [391] 2005-10-25 02:02)
    - 好好规划一下物理文件划分，IO性能会很高 (空) (Miracle [429] 2005-10-25 02:03)
  - 不错！ (空) (李战 [344] 2005-10-25 02:02)
  - 查询会跨出视图边界的时候呢？ (空) (DeepBlue [341] 2005-10-25 02:29)
    - 可以用程序来重建分区视图以扩展边界嘛，重建视图又不需要太大开销 (空) (李战 [436] 2005-10-25 02:33)
      - 比分区表的好处大吗？ (空) (DeepBlue [485] 2005-10-25 02:49)
        不知道你说的分区表是啥？ (空) (李战 [342] 2005-10-25 02:56)
        在大型的企业应用或企业级的数据库应用中，要处理的数据量通常可以达到几十到几百GB，有的甚至可以到TB级。虽然存储介质和数据处理技术的发展也很快，但是仍然不能满足用户的需求，为了使用…… (386字) (DeepBlue [697] 2005-10-25 02:59)
        长见识了。我没玩过Oracle，主要用SQL Server，数据一般在十几个G内。看来Oracle真是牛啊！ (空) (李战 [459] 2005-10-25 03:04)
        SQL Server 的------ http://delia.org.ru/ArticleView/2005-9-6/Article_View_136923.Htm (空) (DeepBlue [451] 2005-10-25 03:11)
        不愧为超级无敌的数据库大牛，太好了！原来我只用了SQL Server的皮毛啊 (空) (李战 [399] 2005-10-25 03:18)
        页面显示有问题，看不全。 (空) (疯子张 [544] 2005-10-25 03:47)
        总之，如果嫌当前数据库太大，有想把历史数据搬到另一个数据库，但又要联合在一起查询，用分区视图是个好方法 (空) (李战 [617] 2005-10-25 02:58)
        用分区表，不用帮。1。假设按时间分，某时间段为一物理文件。2。查询，多CPU,物理文件在不同磁盘，可利用上并行查询。 (空) (DeepBlue [478] 2005-10-25 03:02)
        那是，在磁盘阵列及并行访问等技术支持下，肯定牛啊！不过也不是一般的企业能用的起哦 (空) (李战 [471] 2005-10-25 03:07)
        不用阵列，2个物理磁盘也可以的，历史库放一个，当前库房一个，一个表，按时间划分放在不同的物理磁盘上 (空) (DeepBlue [425] 2005-10-25 03:12)
        同一个物理磁盘也能提高性能的，因为索引也可以分区，每个分区涉及的数据少，物理IO少了 (空) (DeepBlue [554] 2005-10-25 03:13)
        哎，要等到SQL Server 2005才有分区表啊！等待总是一种痛苦 (空) (李战 [480] 2005-10-25 03:30)
        谁说的…… (空) (Miracle [379] 2005-10-25 04:06)
        哦，你说的是表 (空) (Miracle [381] 2005-10-25 04:09)
    - 一般说明视图设计的有问题…… (空) (Miracle [383] 2005-10-25 04:06)

欢迎光临本社区，您还没有登录，不能发贴子。请在这里登录

页面内容处理时间: 0.022 - 650544