发现的第一个问题：hashtable的默认大小太小，只有30w，扩大之后快了不少。原来估计就在不停的重新分配bucket，数据越多倒腾一次成本越大... <- 中国开发网

CNDEV.ORG

当前在线

论坛

CBD
- 程序员情感CBD
- 程序员见面交流会
CBD开发区
- Java/J2ME
- .NET/C#
- 数据库
- Delphi/BCB
- Visual C
其它
情感
游戏
- CNDEV-CS/WOW
- 浩宇长空
生活
论坛系统

中国开发网: 论坛: 程序员情感CBD: 贴子 709114

virushuo：发现的第一个问题：hashtable的默认大小太小，只有30w，扩大之后快了不少。原来估计就在不停的重新分配bucket，数据越多倒腾一次成本越大...

[阅读: 609] 2009-03-31 08:43:03

<空>

相关信息:

有人对bdb比较熟不？ (66字) (virushuo [464] 2009-03-31 15:23)
- 试试临时关掉索引，插完再重建一下 (空) (pinxue [381] 2009-03-31 15:36)
  - PS, 3800w还用 bdb？ (空) (pinxue [381] 2009-03-31 15:37)
    - 恩，那用什么合适呢？我也没想出来别的。都是小数据，4k左右一个。 (空) (virushuo [395] 2009-03-31 15:48)
      - 显然应该用ini (空) (好望角 [347] 2009-03-31 15:50)
        haitao大师...... (空) (virushuo [346] 2009-03-31 15:53)
      - 猴子有经验，问他 (79字) (pinxue [398] 2009-03-31 15:59)
        我觉得ini就挺好的啊 (25字) (好望角 [374] 2009-03-31 16:04)
        他们用的东西跟我不一样吧，他们应该是顺序读取为主，我是典型的key-value的需求。hash库最合适。 (空) (virushuo [408] 2009-03-31 16:05)
        如果只是简单的操作，HASH数据库也不如自己的HASH表快呀。 (空) (好望角 [416] 2009-03-31 16:08)
        还是需要个库的，不然恢复，更新， log和热备都很麻烦。 (空) (virushuo [407] 2009-03-31 16:15)
        那是，要求不同。 (29字) (好望角 [380] 2009-03-31 16:16)
        http://tokyocabinet.sourceforge.net/index.html (57字) (乌烟 [436] 2009-03-31 16:30)
        目前看起来是满足你的需求的 (空) (乌烟 [310] 2009-03-31 16:31)
        这个和bdb是一样的。他的效率（据说)高一些，但本质没区别。另外这个日本人同时开的项目太多了，我有点不太敢信... (空) (virushuo [461] 2009-03-31 16:41)
        这个玩意儿有实际应用，爱词霸社区在使用，效果不错。 (空) (乌烟 [356] 2009-03-31 17:02)
        我也准备用这个来替代memcached (空) (乌烟 [406] 2009-03-31 17:03)
        呵呵，兼容memcached的client api，平滑过渡，我喜欢。 (空) (乌烟 [352] 2009-03-31 17:05)
        memcached那个没什么平滑的..一共就那么点东西..不平滑也无所谓。 (空) (virushuo [361] 2009-03-31 17:24)
        你这个流量太小了，而且应用太单一。不够有说明性。 (空) (virushuo [361] 2009-03-31 17:20)
        汗，那不是得自己写一套。。。 (空) (乌烟 [665] 2009-03-31 17:53)
        轮子，轮子 (空) (sealw [319] 2009-03-31 17:57)
        key-value还有啥复杂应用。。。如果我这边替换成功可能还有点说明性。 (空) (乌烟 [383] 2009-03-31 17:55)
        我这边最近一次统计是 500次/秒访问 (空) (乌烟 [363] 2009-03-31 18:01)
        另外，这玩意儿可以比较容易地做负载均衡。 (空) (乌烟 [333] 2009-03-31 17:06)
        79字，怎么没有内容了？ (158字) (haitao [401] 2009-03-31 16:07)
        难道是骗点击的方法？ (空) (virushuo [382] 2009-03-31 16:14)
        二喜又做法了吧 (空) (pinxue [328] 2009-03-31 16:27)
        有啊，你看不到吗？ (107字) (玉楼 [410] 2009-03-31 16:15)
        是不是都是空格？？ (空) (haitao [409] 2009-03-31 16:27)
      - vsam (空) (dead_lee [352] 2009-03-31 17:19)
- 发现的第一个问题：hashtable的默认大小太小，只有30w，扩大之后快了不少。原来估计就在不停的重新分配bucket，数据越多倒腾一次成本越大... (空) (virushuo [608] 2009-03-31 16:43)
  - 这是个大问题，如果用可持久化的内存数据库来替代呢？ (空) (乌烟 [568] 2009-03-31 17:04)
    - sina他们搞的那个memcachedb不错，memcached+bdb持久的方案。但是我确实是需要个硬盘存储，而不是内存存储。 (44字) (virushuo [646] 2009-03-31 17:21)
      - 日本人做的这个和sina那个有比较。 (空) (乌烟 [653] 2009-03-31 17:52)
      - sina那个日志文件比这个大很多，同步数据量大，主从时会受影响。 (空) (乌烟 [410] 2009-03-31 18:02)

欢迎光临本社区，您还没有登录，不能发贴子。请在这里登录

页面内容处理时间: 0.006 - 501248