其实很简单的业务啦，只是跑在资源很有限的设备上 <- 中国开发网

CNDEV.ORG

当前在线

论坛

CBD
- 程序员情感CBD
- 程序员见面交流会
CBD开发区
- Java/J2ME
- .NET/C#
- 数据库
- Delphi/BCB
- Visual C
其它
情感
游戏
- CNDEV-CS/WOW
- 浩宇长空
生活
论坛系统

Apache：

其实很简单的业务啦，只是跑在资源很有限的设备上

[阅读: 429] 2012-01-31 04:29:05

其实就是一个发送队列，这个队列有KW级别，我需要把数据先从数据库读出来，然后放到发送队列里，依次处理。

只是资源很有限，跑在VPS上，最大内存2G

原先的业务模式是从数据库查出一批数据，然后处理，处理完成，再回写这一批数据的状态。

这之间数据库操作太多了，导致处理速度达不到要求，现在简化成：

将所有符合条件的数据查出、排序，灌到一个表里，处理完一批后，删除一个范围内的数据

相关信息:

新年想学习 NO SQL 数据库。请各位大侠推荐下从哪个数据库入门比较好，MongoDB 好用不？另外请推荐一些教程。我现在还没有基本概念呢。 (空) (pcplayer [344] 2012-01-23 08:36)
- mongoDB 是最像关系型数据库的NoSQL数据库。 (13字) (Apache [404] 2012-01-23 13:48)
  - 内存占用大，可能是基于这样一个设想：把硬盘当磁带，把内存当硬盘。以提高效率。 (空) (pcplayer [279] 2012-01-23 20:29)
- 搜到一篇简单介绍 (64字) (pcplayer [421] 2012-01-23 16:18)
- 推荐一篇详细介绍 (60字) (Apache [411] 2012-01-27 12:51)
  - 散客游 (空) (pcplayer [317] 2012-01-27 14:43)
- redis值得学习，实用性高。 (空) (乌烟 [333] 2012-01-29 12:03)
  - 数据太大了内存放不下 (空) (Apache [314] 2012-01-29 17:24)
    - 楼主的意图是学习nosql，redis简单易用性能高，不仅仅是nosql也是数据结构服务，另外从理论角度来说，redis的数据可存储到硬盘上。 (空) (乌烟 [309] 2012-01-30 10:07)
      - nosql目前是不能完全取代rdbms的，就我所知范围内，redis＋mysql可以支撑几亿美元的业务。 (空) (乌烟 [296] 2012-01-30 10:09)
        我这几天正在找mysql的替代品，有个应用mysql的速度实在顶不住 (23字) (Apache [554] 2012-01-30 16:14)
        各方面优化，提升硬件，再搞分布式 (空) (mhappy [310] 2012-01-30 16:32)
        FireBird (空) (pcplayer [315] 2012-01-30 16:41)
        这是单机数据库吧 (空) (Apache [313] 2012-01-31 14:57)
        mysql都扛不住的，别的也够呛，优化再优化。如果不能深入优化mysql或在系统结构上做文章，cache+mysql还是常用的方案。 (空) (乌烟 [354] 2012-01-30 17:18)
        就我的看法而言，redis不是用来做可靠性存储的，一般还是用作cache，cache数据是可以依据热度来调整的，如果真是作为cache，如果真是有那么多需要cache的数据。。。那就加redis加内存。mongodb和TT在大数据量下一样有问题。 (空) (乌烟 [849] 2012-01-30 17:24)
        我看到过mongodb内部移动数据导致服务crash的，还有TT索引坏掉的。 (空) (乌烟 [318] 2012-01-30 17:25)
        这个系统一开始我就是用mongodb搭建的 (53字) (Apache [435] 2012-01-31 12:25)
        呵呵，今天和你亲戚还聊了聊，知道你的小名了。 (空) (乌烟 [317] 2012-01-30 17:26)
        .. (空) (Apache [317] 2012-01-31 12:24)
        顶你乌烟哥哥，从你的数据业务特征说说，看看怎么优化。 (105字) (周星驰 [480] 2012-01-30 17:45)
        ssd是个方案，不过目前看起来成本较高，稳定性仍有待验证，据我所知，淘宝大量使用ssd，但是在操作系统级做过对ssd的优化，具体的就不了解了。。。 (空) (乌烟 [392] 2012-01-30 17:48)
        未必高，用了ssd，性能得到大幅提升，甚至多数应用数据规模连cache都可以省了，物理机器上的分布可能都可以免了。 (空) (周星驰 [355] 2012-01-30 17:53)
        成本高于不高是相对与企业及其规模而言的，如果是个人，一块家用级别的512的SSD就得8000+，企业级SSD价格翻一倍都不止，以此类推，对于我来说，这个成本很高。 (空) (乌烟 [410] 2012-01-30 17:59)
        嗯，看具体业务特征吧，如果能省一定数量的机器，cpu、内存、服务器、机房等省下的开销可能真比买多几个ssd划算得多。 (空) (周星驰 [381] 2012-01-30 18:05)
        SSD肯定是一个优化方案，只是目前我还没有资源进行尝试，呵呵。 (空) (乌烟 [312] 2012-01-30 18:07)
        另外，磁盘IO只是影响性能的一部分因素。 (空) (乌烟 [309] 2012-01-30 18:06)
        不是百度在用吗？ (空) (leejd [311] 2012-01-30 22:19)
        其实很简单的业务啦，只是跑在资源很有限的设备上 (205字) (Apache [428] 2012-01-31 12:29)
        目前考虑过几种方案，都不太适合 (182字) (Apache [366] 2012-01-31 12:32)
        你做的事情是我当前在做的事情的一部分，可以考虑handlersocket。 (空) (乌烟 [320] 2012-01-31 12:34)
        是否可以考虑在中间加入一个mq，mq里暂存几个批次的待处理数据。 (空) (乌烟 [378] 2012-01-31 12:37)
        看了看handlersocket (171字) (Apache [375] 2012-01-31 13:50)
        MySQL官方应该有走memcached传输协议的类似实现了，都是做了个mysql daemon plugin绕开sql解释引擎直接访问存储引擎。 (空) (周星驰 [471] 2012-01-31 14:09)
        好像还没有出现在GA版本中 (空) (乌烟 [358] 2012-01-31 15:19)
        我的第二句话就是说的这个 (空) (Apache [374] 2012-01-31 14:55)
        没主意到 (空) (周星驰 [320] 2012-01-31 16:02)
        我只用来读，写还是走的mysql的connector，毕竟它是个人作品，还是遇到些问题。 (空) (周星驰 [323] 2012-01-31 14:11)
        我也主要是用于读，它的优势在于可以用mysql的旧有知识来管理数据，是否是个人作品这个我觉得不是很重要，好比nginx和redis之前也是个人作品。 (空) (乌烟 [391] 2012-01-31 15:21)
        mysql大表支持不行，必然要分表，数据量大的话，依然需要分库，简单做分布。 (空) (周星驰 [512] 2012-01-31 14:47)
        这就是为啥要用分布式数据库了 (15字) (Apache [377] 2012-01-31 14:54)
  - 您老人家还在CNTV吗？ (空) (wzydf [314] 2012-01-30 14:55)
    - 不在了，去了个没文化的地方。 (空) (乌烟 [302] 2012-01-30 17:19)
      - CNTV很有文化吗？ (空) (wzydf [324] 2012-01-31 16:38)
        六叉叉走了之后就没有了 (空) (Fish [348] 2012-02-01 11:43)

欢迎光临本社区，您还没有登录，不能发贴子。请在这里登录

页面内容处理时间: 0.009 - 519840