CNDEV
CNDEV.ORG
当前在线
论坛
CBD
程序员情感CBD
程序员见面交流会
CBD开发区
Java/J2ME
.NET/C#
数据库
Delphi/BCB
Visual C
其它
修真养身
中国象棋
纪念日
谈钱太俗，还是投机吧
听音乐
iCosta
资源共享
一隅
好文共赏
看电影看美剧
待定
狗屎
雪域召唤
工作流
专业显摆区
语录
情感
批评与自我批评
爱情故事
发牢骚
看三点区
游戏
CNDEV-CS/WOW
浩宇长空
生活
家有XPH
我爱学英语
美食天地ORG
半调子体育迷
观澳园友邻
搞笑奇文
拍照片
我读书我存在
论坛系统
超级垃圾站
系统建议及BUG
系统测试
中国开发网
: 论坛:
程序员情感CBD
: 贴子 837672
leejd
：
问题是，现在存储的利用率还是很低的，重复数据还是非常的大
[阅读: 367] 2010-08-17 06:16:24
现在流行网络传输的时候也dedup了，不单是存储
相关信息:
给大牛们出道题
(183字)
(
leejd
[508]
2010-08-17 02:04
)
怎么看起来不像是那么难的问题？还是我小白了没有考虑到一些难点
(空) (
空山新雨
[354]
2010-08-17 02:09
)
拿我说的那种视频操作来说，怎么样只上传不同的部分
(空) (
leejd
[319]
2010-08-17 02:11
)
分段哈希
(空) (
空山新雨
[344]
2010-08-17 02:12
)
问题在于怎么分段？
(27字)
(
leejd
[372]
2010-08-17 02:15
)
我知识有限，不过我觉得可以核对关键桢
(空) (
空山新雨
[308]
2010-08-17 02:26
)
如果不是视频，是一个文件流呢
(空) (
leejd
[391]
2010-08-17 02:30
)
依稀记得对于没有特征的文件流这个是NP。你需要在编辑之前作mark
(空) (
空山新雨
[344]
2010-08-17 02:33
)
视频，你要针对不同的格式，搞清楚怎么分帧。然后每帧对比就行了 -- 问题是，这个对比是极其消耗CPU的啊。虽然网络数据量减小了，但对比消耗CPU巨大，耗时巨多。
(空) (
pcplayer
[469]
2010-08-17 02:44
)
要是我,就不考虑格式问题,直接做1m一块的分段好了
(空) (
dead_lee
[314]
2010-08-17 03:25
)
如果是 MPEG4 之类的，你只需要对比关键帧，可以减少工作量。如果直接按流来做比较，想想你要比较2X10个G的数据，CPU的占用是啥概念吧。
(空) (
pcplayer
[440]
2010-08-17 03:35
)
不麻烦, bt其实做的不就是这个事情么.当然要客户端咯
(空) (
dead_lee
[318]
2010-08-17 04:50
)
文件是100个1M，如果第2个1M变成了0.5M。如果简单的1M算1块，则只有1块是没变的，而其实是99块都是没变的
(40字)
(
haitao
[351]
2010-08-17 04:44
)
如果是你所说的情况,当然会把从第二个之后的块全部重传
(38字)
(
dead_lee
[399]
2010-08-17 05:01
)
如果没有边界信息，你怎么知道新视频的第2块其实只有0.5M？
(37字)
(
haitao
[358]
2010-08-17 05:10
)
你没明白我的想法
(160字)
(
dead_lee
[351]
2010-08-17 05:54
)
哦，你是就让它重新传99块。。。。。。。。。。
(52字)
(
haitao
[363]
2010-08-17 09:35
)
前面计算一次，后面在计算一次，边上传边计算
(空) (
leejd
[283]
2010-08-17 06:10
)
做存储的本来就不该关心文件格式问题
(5字)
(
leejd
[278]
2010-08-17 06:08
)
就是了
(空) (
dead_lee
[292]
2010-08-17 07:26
)
这算什么难题，所有做分布存储的都要做这个啊。现在几乎一线的互联网公司个个都做了。
(空) (
virushuo
[371]
2010-08-17 02:55
)
还有所有做dropbox 的copycat 的公司，都要做这个的
(空) (
virushuo
[341]
2010-08-17 02:56
)
这个得做客户端实现吧
(空) (
jacky1936
[299]
2010-08-17 03:33
)
同意！
(空) (
张秋桥
[269]
2010-08-17 04:30
)
用客户端没问题，关键是现在大家都在找算法，包括google
(33字)
(
leejd
[441]
2010-08-17 06:17
)
用客户端就好办了
(18字)
(
jacky1936
[311]
2010-08-17 10:27
)
问题是，现在存储的利用率还是很低的，重复数据还是非常的大
(24字)
(
leejd
[366]
2010-08-17 06:16
)
dropbox存储利用率很高
(空) (
virushuo
[359]
2010-08-17 08:58
)
有数据吗？
(51字)
(
leejd
[326]
2010-08-17 13:12
)
你问问金山快盘怎么做的吧，这不是好多金山的人嘛。
(空) (
virushuo
[301]
2010-08-17 16:08
)
offset
(空) (
狒狒
[287]
2010-08-17 03:43
)
很简单，提高服务器吞吐能力，增加网络带宽
(空) (
ht
[286]
2010-08-17 04:28
)
参考subversion对二进制文件的处理方式
(空) (
sealw
[292]
2010-08-17 04:35
)
友情提示一下：几乎所有的视频编码方案都是有损的。so，别说你修改了其中几分钟，即使你啥都不修改，只是重新编码一次，文件就会完全不一样了。
(42字)
(
ycm0263
[410]
2010-08-17 04:40
)
应该是按关键帧作为分块的边界，这样的比较块才是实际可行的
(11字)
(
haitao
[369]
2010-08-17 04:46
)
没用。重新编码之后，很可能你在这 100M 视频里找不到一帧的数据是相同的。
(空) (
ycm0263
[429]
2010-08-17 05:41
)
这种情况，应该是专门的剪辑工具了：修改时，明确仅仅删除哪些块，加入哪些块。。。。。。。
(17字)
(
haitao
[341]
2010-08-17 06:12
)
对第三方工具要透明的，不然意义不大
(空) (
leejd
[292]
2010-08-17 06:18
)
你想修改后更新得快，就要使用网站提供的工具；否则只能全部重新传了，哪怕你只是改了一点，重新编码就是机器人说的。。。。。
(27字)
(
haitao
[371]
2010-08-17 09:38
)
正解是切片+索引
(51字)
(
pinxue
[410]
2010-08-17 04:58
)
视频只是举例
(73字)
(
leejd
[385]
2010-08-17 06:15
)
明白你的意思了。你需要做到“上传3个一样的视频，只占用一个的空间”。
(61字)
(
sealw
[413]
2010-08-17 06:37
)
不是一样，是3个类似的文件（重复数据会很多）
(35字)
(
leejd
[359]
2010-08-17 06:39
)
动态切需要吗？不需要吧？
(空) (
sealw
[358]
2010-08-17 07:30
)
当然不需要。因为
(74字)
(
ycm0263
[412]
2010-08-17 12:01
)
请教：对10M的东西求MD5，冲突的可能性很大吗？
(空) (
sealw
[341]
2010-08-17 23:41
)
如果是两个不同的文件按 10M 来切块，必须用专门的算法去伪造才能生成两段 MD5 相同的数据来。
(16字)
(
ycm0263
[454]
2010-08-18 00:37
)
在10M里留256个字节任意修改，以保证10M内容的md5正好是某个指定的值，修改尝试的时间大约是多少？
(空) (
haitao
[523]
2010-08-18 00:49
)
数据库为啥要varchar字段呢
(10字)
(
leejd
[328]
2010-08-18 01:11
)
动态切，我觉得不大可能实用。因为你没法【对齐】。
(142字)
(
pcplayer
[375]
2010-08-18 01:53
)
增量备份的机制吧，必须有本地代理监控文件变化
(空) (
bmkun
[384]
2010-08-18 00:32
)
欢迎光临本社区，您还没有登录，不能发贴子。请在
这里登录
| -ICP -IDC -ISP |