专门处理BI实时分析+报表应用，时间是到H+1； <- 中国开发网

CNDEV.ORG

当前在线

论坛

CBD
- 程序员情感CBD
- 程序员见面交流会
CBD开发区
- Java/J2ME
- .NET/C#
- 数据库
- Delphi/BCB
- Visual C
其它
情感
游戏
- CNDEV-CS/WOW
- 浩宇长空
生活
论坛系统

中国开发网: 论坛: 程序员情感CBD: 贴子 794931

python：

专门处理BI实时分析+报表应用，时间是到H+1；

[阅读: 618] 2010-02-10 10:23:35

业务仓库GP+22台pc服务器的数据库集群+免费的内存数据库
投资几百万rmb 。主库400T数据。
服务器硬盘一定要好

相关信息:

要命了，需要对4000亿条记录做实时分析，秒级响应。 (空) (好望角 [535] 2010-02-10 15:49)
- 支持你！弄完了说说怎么解决的 (空) (fogbound [539] 2010-02-10 15:52)
  - 弄不完啊，DB都吓跑了 (空) (好望角 [525] 2010-02-10 16:09)
    - 是谁把你逼上了绝路？ (空) (sealw [483] 2010-02-10 16:19)
      - BOSS (空) (好望角 [441] 2010-02-10 16:25)
        他准备激发你的最大潜能。小宇宙，燃烧吧！ (空) (sealw [494] 2010-02-10 16:36)
- 支持你！弄完了说说怎么解决的 (空) (newbee [414] 2010-02-10 16:10)
- 用4000台机器，每台分析1亿条 (空) (sealw [448] 2010-02-10 16:13)
- 这个真的要顶。 (空) (xiaolongren [469] 2010-02-10 16:21)
- Coherence + CEP (空) (空山新雨 [436] 2010-02-10 16:25)
  - 又TMD是没听过的东西 (空) (好望角 [550] 2010-02-10 17:30)
    - 嗯，相当于内存数据库+一个分析集成引擎，后者的响应在百万级数据上是毫秒级，应该可以满足你。 (空) (空山新雨 [684] 2010-02-10 17:32)
      - 看来1M欧元不够用啊 (空) (好望角 [580] 2010-02-10 17:38)
        你才要了这点价钱？我恐怕买机器都不够。。。 (空) (空山新雨 [481] 2010-02-10 17:52)
        靠，不知道中国还处于社会主义初级阶段啊 (空) (好望角 [536] 2010-02-10 18:58)
      - 百万是毫秒，十亿才是秒，大牛谈的是千亿，那就是论小时了。。 (空) (禺疆 [525] 2010-02-10 17:41)
        集群就可以了 (空) (空山新雨 [490] 2010-02-10 17:51)
        至少几百M英镑。 (空) (禺疆 [485] 2010-02-10 18:05)
        在100万美金的机器上，可以做到千万数据量毫秒级。所以硬件费用粗略估计大约是1000万美金。 (空) (空山新雨 [525] 2010-02-10 18:08)
        全RAM解决方案？ (12字) (好望角 [520] 2010-02-10 18:56)
        对于这个应用，推荐IBM/HP的刀片服务器。最新型号16片一个机架，每片4*4核处理器，64G内存，每个机架一个网络适配器 (空) (空山新雨 [491] 2010-02-11 09:24)
- 我们都支持你，做完后一定要来显摆下。。这个可真不是盖的。。 (空) (禺疆 [450] 2010-02-10 16:38)
- 这么多的话,我只能遥祝了,不过肯定一点是你得建立个算法,提前给运算了, (空) (xman [538] 2010-02-10 16:53)
  - 算法决定了不可预处理，必须得硬算。 (空) (好望角 [478] 2010-02-10 17:31)
    - 同情中，那样的话只能银河计算机帮你忙了的，做出来告诉以下，你会了这个方案，能找个年薪百万的工作了 (空) (xman [845] 2010-02-10 17:43)
- 这下你发达了, 可以采购超级计算机了 (空) (lukejee [488] 2010-02-10 17:04)
  - 嗯，刚才报了个1M的预算，BOSS貌似没啥动静，然后偶很无耻的说是欧元，BOSS依然没有反应，开低了。 (空) (好望角 [427] 2010-02-10 17:36)
    - 你再补充，只是内存的价。整个数据库常驻内存，还得带电池的内存。 (空) (张秋桥 [486] 2010-02-10 17:41)
      - 电池另算。 (空) (张秋桥 [421] 2010-02-10 17:42)
        内存还要一用n备，电池也一用n备。高可靠。 (空) (张秋桥 [461] 2010-02-10 17:47)
    - 开玩笑1M欧元,买机器配件都不够 (空) (lukejee [567] 2010-02-10 20:23)
      - 偶了，这里是中国，一切皆可山寨。 (空) (好望角 [484] 2010-02-10 20:55)
    - 你的价格可能都不够公关用啊 (空) (大字报 [484] 2010-02-11 07:09)
      - BOSS怎么可能和小工讨论什么“公关费”，偶只是一个苦命的民工啊。 (空) (好望角 [494] 2010-02-11 11:25)
        这么高级的民工，偶要了 (13字) (大字报 [500] 2010-02-11 20:46)
- 弄一台ycm0263,应该问题不大. (空) (bjwf [509] 2010-02-10 17:09)
  - 这个弄不下来，考虑弄一个集装箱回。 (空) (好望角 [453] 2010-02-10 17:38)
    - 你在开玩笑吧，一个集装箱啊？？ (20字) (禺疆 [530] 2010-02-10 17:39)
      - 你才小看人家的集成度了。哪要真么大。 (空) (张秋桥 [499] 2010-02-10 17:44)
        主要不是看功能模块，和扩展么。。 (空) (禺疆 [495] 2010-02-10 17:45)
        都微缩拉。 (空) (张秋桥 [466] 2010-02-10 17:48)
        ╭∩╮（︶︿︶）╭∩╮ (空) (ycm0263 [427] 2010-02-10 18:16)
        ╭∩╮（︶︿︶）╭∩╮ (空) (ycm0263 [435] 2010-02-10 18:16)
        ╭∩╮（︶︿︶）╭∩╮ (空) (ycm0263 [416] 2010-02-10 18:16)
      - ╭∩╮（︶︿︶）╭∩╮ (空) (ycm0263 [426] 2010-02-10 18:15)
    - ╭∩╮（︶︿︶）╭∩╮. (空) (ycm0263 [413] 2010-02-10 18:16)
  - ╭∩╮（︶︿︶）╭∩╮ (空) (ycm0263 [419] 2010-02-10 18:15)
  - 是这个理！ (空) (大字报 [435] 2010-02-11 07:00)
    - ╭∩╮（︶︿︶）╭∩╮ (空) (ycm0263 [409] 2010-02-11 16:52)
- 弄完了说说怎么弄的 (空) (Apache [455] 2010-02-10 17:28)
- 根据空山贴搜了一个。 (39字) (mhappy [504] 2010-02-10 18:04)
- 4000亿条？是什么数据？？我们集群日志每小时才6千万多。也是做实事分析的 (空) (python [426] 2010-02-10 18:18)
  - 国家机密 (空) (好望角 [381] 2010-02-10 18:54)
  - 这还只是一个试点，全上的话数据量至少增加一两个数量级。 (空) (好望角 [428] 2010-02-10 19:02)
    - 想搞全民公敌啊。。。。 (22字) (fogbound [532] 2010-02-10 22:01)
      - 我感觉基本靠谱 (空) (aho [499] 2010-02-10 22:18)
      - 就这么点数据量，还全民公敌呢，离面面都还有好远呢。 (空) (好望角 [453] 2010-02-10 22:19)
        偶下过的片子，加起来也就几千部，离你的 4000 亿差太远了。 (空) (ycm0263 [457] 2010-02-10 22:51)
        靠，你下的片子这么少？一部骗子100G，几千部也要几百T了，大家一个数量级呀，不容易哦。 (空) (好望角 [531] 2010-02-10 23:19)
        现在只跟你比数量。 (空) (ycm0263 [460] 2010-02-10 23:53)
        BS面面的，这么多片也不贡献出来。 (空) (大字报 [401] 2010-02-11 07:08)
        AI！！！偶上床过那么多片子你自己懒得去下载。 (空) (ycm0263 [419] 2010-02-11 14:55)
- 专门处理BI实时分析+报表应用，时间是到H+1； (62字) (python [617] 2010-02-10 18:23)
  - 22台服务器就够了？内存数据库用的啥？ (空) (好望角 [416] 2010-02-10 19:00)
- 存档：希捷发布首款600GB容量2.5寸万转企业硬盘 (17字) (好望角 [478] 2010-02-10 19:25)
- 什么样的数据? 实时分析是指什么呢? (250字) (DeepBlue [555] 2010-02-10 20:04)
  - 凡事就怕认真。。。。。。。。。。。 (空) (haitao [816] 2010-02-10 20:54)
  - 数据到不复杂，基本上可以认为是4000亿个元素的一个大数组。实时指的发出计算指令到得到结果的时间很短 (288字) (好望角 [577] 2010-02-10 20:54)
    - 6 * 450G才不到3T===？===全部数据，约为100T（以后是1PB） (空) (haitao [503] 2010-02-10 21:03)
    - 你还是没描述出来数据是否有特性, 需要做的商业逻辑是什么 (148字) (DeepBlue [613] 2010-02-10 21:20)
      - 商业逻辑私聊哈 (22字) (好望角 [551] 2010-02-10 22:21)
      - 10秒钟响应的是典型应用，也就是2T数据的那个，这个数据基本固定，不随系统扩张而变化。 (107字) (好望角 [528] 2010-02-10 22:31)
        对于工程师,产品总是性能和成本的折中; 高明的工程师总是站在销售的角度考虑问题的,没有单子那来的产品. (空) (DeepBlue [518] 2010-02-10 22:57)
        靠，不带这样忽悠人的哈。 (空) (好望角 [469] 2010-02-10 23:17)
- 大家表激动哈，偶只负责标书中技术这一块的指标。实现的事，等中了标再说。 (空) (好望角 [445] 2010-02-10 20:56)
  - 了大不起，就DB*2出马。。 (空) (禺疆 [476] 2010-02-10 21:10)
    - db*2 搞个100T 数据也要p595 的服务器也得几台，每台搞个8或16个分区 (空) (python [554] 2010-02-10 21:37)
      - 我说的是冷笑话了。。 (60字) (禺疆 [596] 2010-02-10 21:58)
        @ 哈 @ (空) (大字报 [410] 2010-02-11 07:15)
  - 这么大数据，一种是交易明细/还是网站分析log ，还是某个数据实时采集？ (空) (python [427] 2010-02-10 21:40)
    - 国家机密 (空) (好望角 [0] 今天 18:54 ) (空) (好望角 [504] 2010-02-10 22:17)
- 招阿拉去，阿拉这几天就搞这个玩意儿，公安、电信的分析 (空) (steel1 [462] 2010-02-11 16:48)
  - 这种东西对整个架构--包括应用的具体写法很复杂的 (空) (steel1 [468] 2010-02-11 16:49)
    - 电信的分析 --- 实时监控短消息，是吧？ (空) (pcplayer [491] 2010-02-11 16:57)
      - 错鸟 (7字) (steel1 [471] 2010-02-11 17:00)
        总之是数据挖掘哈？ (空) (pcplayer [507] 2010-02-11 17:02)
        挖掘算不上，算分析吧 (空) (steel1 [479] 2010-02-11 17:08)
    - 难者不会，会者不难 (空) (空山新雨 [458] 2010-02-11 17:09)
      - yes (空) (steel1 [442] 2010-02-11 17:14)
        死丢对内存数据库，多级分布式缓冲，云计算，动态负荷平衡，异步处理，流式数据分析，都有独到见解阿 (空) (空山新雨 [516] 2010-02-11 17:19)
        我晕，我可不是神，阿拉是技术里面的忽悠，忽悠里面的技术 (空) (steel1 [513] 2010-02-11 17:26)
        看样子空山也不差呀，偶完全没听说过这些东西 (空) (好望角 [493] 2010-02-12 03:04)
      - 其实最恶心的需求是在公安里面遇到的 (54字) (steel1 [457] 2010-02-11 17:16)
        还是那句话，量的问题总有办法解决，最恶心的是内容的问题 (空) (steel1 [495] 2010-02-11 17:16)
        这个交给机器人解决。 (空) (pcplayer [368] 2010-02-11 17:26)
        为啥恶心的东西就交给偶。 (空) (ycm0263 [421] 2010-02-11 17:27)
        是交給機器人解決不是交給陽春麵解決.. (空) (dead_lee [453] 2010-02-11 17:36)
        。。。。。。。 (空) (ycm0263 [419] 2010-02-11 18:13)
        幸好技术好的接不到这种单子。万幸 (空) (virushuo [425] 2010-02-11 17:29)
    - 来个文档瞻仰一下吧 (空) (品雪 [425] 2010-02-11 17:16)
      - 出来就给人追杀了 (空) (steel1 [454] 2010-02-11 17:17)
        没事。偶们不追杀你。 (空) (ycm0263 [467] 2010-02-11 17:19)
        直接发我邮箱嘛 (16字) (品雪 [504] 2010-02-11 17:27)
        没事，我们会继续瞻仰的。 (空) (好望角 [406] 2010-02-12 03:02)
        CC一份给我吧 (空) (好望角 [394] 2010-02-12 03:03)
        CC一份给我吧 (空) (好望角 [0] 今天 03:03 ) (18字) (dead_lee [476] 2010-02-12 07:39)

欢迎光临本社区，您还没有登录，不能发贴子。请在这里登录

页面内容处理时间: 0.011 - 631224