CNDEV
CNDEV.ORG
当前在线
论坛
CBD
程序员情感CBD
程序员见面交流会
CBD开发区
Java/J2ME
.NET/C#
数据库
Delphi/BCB
Visual C
其它
修真养身
中国象棋
纪念日
谈钱太俗，还是投机吧
听音乐
iCosta
资源共享
一隅
好文共赏
看电影看美剧
待定
狗屎
雪域召唤
工作流
专业显摆区
语录
情感
批评与自我批评
爱情故事
发牢骚
看三点区
游戏
CNDEV-CS/WOW
浩宇长空
生活
家有XPH
我爱学英语
美食天地ORG
半调子体育迷
观澳园友邻
搞笑奇文
拍照片
我读书我存在
论坛系统
超级垃圾站
系统建议及BUG
系统测试
中国开发网
: 论坛:
程序员情感CBD
: 贴子 794930
python
： 4000亿条？是什么数据？？我们集群日志每小时才6千万多。也是做实事分析的
[阅读: 421] 2010-02-10 10:18:25
<空>
相关信息:
要命了，需要对4000亿条记录做实时分析，秒级响应。
(空) (
好望角
[527]
2010-02-10 15:49
)
支持你！弄完了说说怎么解决的
(空) (
fogbound
[530]
2010-02-10 15:52
)
弄不完啊，DB都吓跑了
(空) (
好望角
[518]
2010-02-10 16:09
)
是谁把你逼上了绝路？
(空) (
sealw
[477]
2010-02-10 16:19
)
BOSS
(空) (
好望角
[432]
2010-02-10 16:25
)
他准备激发你的最大潜能。小宇宙，燃烧吧！
(空) (
sealw
[486]
2010-02-10 16:36
)
支持你！弄完了说说怎么解决的
(空) (
newbee
[409]
2010-02-10 16:10
)
用4000台机器，每台分析1亿条
(空) (
sealw
[441]
2010-02-10 16:13
)
这个真的要顶。
(空) (
xiaolongren
[464]
2010-02-10 16:21
)
Coherence + CEP
(空) (
空山新雨
[429]
2010-02-10 16:25
)
又TMD是没听过的东西
(空) (
好望角
[542]
2010-02-10 17:30
)
嗯，相当于内存数据库+一个分析集成引擎，后者的响应在百万级数据上是毫秒级，应该可以满足你。
(空) (
空山新雨
[676]
2010-02-10 17:32
)
看来1M欧元不够用啊
(空) (
好望角
[571]
2010-02-10 17:38
)
你才要了这点价钱？我恐怕买机器都不够。。。
(空) (
空山新雨
[475]
2010-02-10 17:52
)
靠，不知道中国还处于社会主义初级阶段啊
(空) (
好望角
[527]
2010-02-10 18:58
)
百万是毫秒，十亿才是秒，大牛谈的是千亿，那就是论小时了。。
(空) (
禺疆
[518]
2010-02-10 17:41
)
集群就可以了
(空) (
空山新雨
[482]
2010-02-10 17:51
)
至少几百M英镑。
(空) (
禺疆
[477]
2010-02-10 18:05
)
在100万美金的机器上，可以做到千万数据量毫秒级。所以硬件费用粗略估计大约是1000万美金。
(空) (
空山新雨
[519]
2010-02-10 18:08
)
全RAM解决方案？
(12字)
(
好望角
[513]
2010-02-10 18:56
)
对于这个应用，推荐IBM/HP的刀片服务器。最新型号16片一个机架，每片4*4核处理器，64G内存，每个机架一个网络适配器
(空) (
空山新雨
[484]
2010-02-11 09:24
)
我们都支持你，做完后一定要来显摆下。。这个可真不是盖的。。
(空) (
禺疆
[443]
2010-02-10 16:38
)
这么多的话,我只能遥祝了,不过肯定一点是你得建立个算法,提前给运算了,
(空) (
xman
[526]
2010-02-10 16:53
)
算法决定了不可预处理，必须得硬算。
(空) (
好望角
[469]
2010-02-10 17:31
)
同情中，那样的话只能银河计算机帮你忙了的，做出来告诉以下，你会了这个方案，能找个年薪百万的工作了
(空) (
xman
[802]
2010-02-10 17:43
)
这下你发达了, 可以采购超级计算机了
(空) (
lukejee
[481]
2010-02-10 17:04
)
嗯，刚才报了个1M的预算，BOSS貌似没啥动静，然后偶很无耻的说是欧元，BOSS依然没有反应，开低了。
(空) (
好望角
[420]
2010-02-10 17:36
)
你再补充，只是内存的价。整个数据库常驻内存，还得带电池的内存。
(空) (
张秋桥
[478]
2010-02-10 17:41
)
电池另算。
(空) (
张秋桥
[416]
2010-02-10 17:42
)
内存还要一用n备，电池也一用n备。高可靠。
(空) (
张秋桥
[455]
2010-02-10 17:47
)
开玩笑1M欧元,买机器配件都不够
(空) (
lukejee
[560]
2010-02-10 20:23
)
偶了，这里是中国，一切皆可山寨。
(空) (
好望角
[475]
2010-02-10 20:55
)
你的价格可能都不够公关用啊
(空) (
大字报
[478]
2010-02-11 07:09
)
BOSS怎么可能和小工讨论什么“公关费”，偶只是一个苦命的民工啊。
(空) (
好望角
[487]
2010-02-11 11:25
)
这么高级的民工，偶要了
(13字)
(
大字报
[491]
2010-02-11 20:46
)
弄一台ycm0263,应该问题不大.
(空) (
bjwf
[502]
2010-02-10 17:09
)
这个弄不下来，考虑弄一个集装箱回。
(空) (
好望角
[445]
2010-02-10 17:38
)
你在开玩笑吧，一个集装箱啊？？
(20字)
(
禺疆
[519]
2010-02-10 17:39
)
你才小看人家的集成度了。哪要真么大。
(空) (
张秋桥
[490]
2010-02-10 17:44
)
主要不是看功能模块，和扩展么。。
(空) (
禺疆
[486]
2010-02-10 17:45
)
都微缩拉。
(空) (
张秋桥
[457]
2010-02-10 17:48
)
╭∩╮（︶︿︶）╭∩╮
(空) (
ycm0263
[420]
2010-02-10 18:16
)
╭∩╮（︶︿︶）╭∩╮
(空) (
ycm0263
[428]
2010-02-10 18:16
)
╭∩╮（︶︿︶）╭∩╮
(空) (
ycm0263
[408]
2010-02-10 18:16
)
╭∩╮（︶︿︶）╭∩╮
(空) (
ycm0263
[417]
2010-02-10 18:15
)
╭∩╮（︶︿︶）╭∩╮.
(空) (
ycm0263
[403]
2010-02-10 18:16
)
╭∩╮（︶︿︶）╭∩╮
(空) (
ycm0263
[412]
2010-02-10 18:15
)
是这个理！
(空) (
大字报
[427]
2010-02-11 07:00
)
╭∩╮（︶︿︶）╭∩╮
(空) (
ycm0263
[405]
2010-02-11 16:52
)
弄完了说说怎么弄的
(空) (
Apache
[449]
2010-02-10 17:28
)
根据空山贴搜了一个。
(39字)
(
mhappy
[495]
2010-02-10 18:04
)
4000亿条？是什么数据？？我们集群日志每小时才6千万多。也是做实事分析的
(空) (
python
[420]
2010-02-10 18:18
)
国家机密
(空) (
好望角
[375]
2010-02-10 18:54
)
这还只是一个试点，全上的话数据量至少增加一两个数量级。
(空) (
好望角
[420]
2010-02-10 19:02
)
想搞全民公敌啊。。。。
(22字)
(
fogbound
[525]
2010-02-10 22:01
)
我感觉基本靠谱
(空) (
aho
[492]
2010-02-10 22:18
)
就这么点数据量，还全民公敌呢，离面面都还有好远呢。
(空) (
好望角
[448]
2010-02-10 22:19
)
偶下过的片子，加起来也就几千部，离你的 4000 亿差太远了。
(空) (
ycm0263
[451]
2010-02-10 22:51
)
靠，你下的片子这么少？一部骗子100G，几千部也要几百T了，大家一个数量级呀，不容易哦。
(空) (
好望角
[520]
2010-02-10 23:19
)
现在只跟你比数量。
(空) (
ycm0263
[453]
2010-02-10 23:53
)
BS面面的，这么多片也不贡献出来。
(空) (
大字报
[393]
2010-02-11 07:08
)
AI！！！偶上床过那么多片子你自己懒得去下载。
(空) (
ycm0263
[414]
2010-02-11 14:55
)
专门处理BI实时分析+报表应用，时间是到H+1；
(62字)
(
python
[612]
2010-02-10 18:23
)
22台服务器就够了？内存数据库用的啥？
(空) (
好望角
[412]
2010-02-10 19:00
)
存档：希捷发布首款600GB容量2.5寸万转企业硬盘
(17字)
(
好望角
[470]
2010-02-10 19:25
)
什么样的数据? 实时分析是指什么呢?
(250字)
(
DeepBlue
[547]
2010-02-10 20:04
)
凡事就怕认真。。。。。。。。。。。
(空) (
haitao
[773]
2010-02-10 20:54
)
数据到不复杂，基本上可以认为是4000亿个元素的一个大数组。实时指的发出计算指令到得到结果的时间很短
(288字)
(
好望角
[570]
2010-02-10 20:54
)
6 * 450G才不到3T===？===全部数据，约为100T（以后是1PB）
(空) (
haitao
[496]
2010-02-10 21:03
)
你还是没描述出来数据是否有特性, 需要做的商业逻辑是什么
(148字)
(
DeepBlue
[603]
2010-02-10 21:20
)
商业逻辑私聊哈
(22字)
(
好望角
[545]
2010-02-10 22:21
)
10秒钟响应的是典型应用，也就是2T数据的那个，这个数据基本固定，不随系统扩张而变化。
(107字)
(
好望角
[521]
2010-02-10 22:31
)
对于工程师,产品总是性能和成本的折中; 高明的工程师总是站在销售的角度考虑问题的,没有单子那来的产品.
(空) (
DeepBlue
[512]
2010-02-10 22:57
)
靠，不带这样忽悠人的哈。
(空) (
好望角
[464]
2010-02-10 23:17
)
大家表激动哈，偶只负责标书中技术这一块的指标。实现的事，等中了标再说。
(空) (
好望角
[438]
2010-02-10 20:56
)
了大不起，就DB*2出马。。
(空) (
禺疆
[464]
2010-02-10 21:10
)
db*2 搞个100T 数据也要p595 的服务器也得几台，每台搞个8或16个分区
(空) (
python
[547]
2010-02-10 21:37
)
我说的是冷笑话了。。
(60字)
(
禺疆
[589]
2010-02-10 21:58
)
@ 哈 @
(空) (
大字报
[401]
2010-02-11 07:15
)
这么大数据，一种是交易明细/还是网站分析log ，还是某个数据实时采集？
(空) (
python
[419]
2010-02-10 21:40
)
国家机密 (空) (好望角 [0] 今天 18:54 )
(空) (
好望角
[499]
2010-02-10 22:17
)
招阿拉去，阿拉这几天就搞这个玩意儿，公安、电信的分析
(空) (
steel1
[457]
2010-02-11 16:48
)
这种东西对整个架构--包括应用的具体写法很复杂的
(空) (
steel1
[459]
2010-02-11 16:49
)
电信的分析 --- 实时监控短消息，是吧？
(空) (
pcplayer
[485]
2010-02-11 16:57
)
错鸟
(7字)
(
steel1
[467]
2010-02-11 17:00
)
总之是数据挖掘哈？
(空) (
pcplayer
[502]
2010-02-11 17:02
)
挖掘算不上，算分析吧
(空) (
steel1
[474]
2010-02-11 17:08
)
难者不会，会者不难
(空) (
空山新雨
[453]
2010-02-11 17:09
)
yes
(空) (
steel1
[436]
2010-02-11 17:14
)
死丢对内存数据库，多级分布式缓冲，云计算，动态负荷平衡，异步处理，流式数据分析，都有独到见解阿
(空) (
空山新雨
[508]
2010-02-11 17:19
)
我晕，我可不是神，阿拉是技术里面的忽悠，忽悠里面的技术
(空) (
steel1
[509]
2010-02-11 17:26
)
看样子空山也不差呀，偶完全没听说过这些东西
(空) (
好望角
[484]
2010-02-12 03:04
)
其实最恶心的需求是在公安里面遇到的
(54字)
(
steel1
[446]
2010-02-11 17:16
)
还是那句话，量的问题总有办法解决，最恶心的是内容的问题
(空) (
steel1
[491]
2010-02-11 17:16
)
这个交给机器人解决。
(空) (
pcplayer
[363]
2010-02-11 17:26
)
为啥恶心的东西就交给偶。
(空) (
ycm0263
[414]
2010-02-11 17:27
)
是交給機器人解決不是交給陽春麵解決..
(空) (
dead_lee
[449]
2010-02-11 17:36
)
。。。。。。。
(空) (
ycm0263
[412]
2010-02-11 18:13
)
幸好技术好的接不到这种单子。万幸
(空) (
virushuo
[420]
2010-02-11 17:29
)
来个文档瞻仰一下吧
(空) (
品雪
[417]
2010-02-11 17:16
)
出来就给人追杀了
(空) (
steel1
[447]
2010-02-11 17:17
)
没事。偶们不追杀你。
(空) (
ycm0263
[463]
2010-02-11 17:19
)
直接发我邮箱嘛
(16字)
(
品雪
[489]
2010-02-11 17:27
)
没事，我们会继续瞻仰的。
(空) (
好望角
[398]
2010-02-12 03:02
)
CC一份给我吧
(空) (
好望角
[386]
2010-02-12 03:03
)
CC一份给我吧 (空) (好望角 [0] 今天 03:03 )
(18字)
(
dead_lee
[465]
2010-02-12 07:39
)
欢迎光临本社区，您还没有登录，不能发贴子。请在
这里登录
| -ICP -IDC -ISP |