CNDEV
CNDEV.ORG
当前在线
论坛
CBD
程序员情感CBD
程序员见面交流会
CBD开发区
Java/J2ME
.NET/C#
数据库
Delphi/BCB
Visual C
其它
修真养身
中国象棋
纪念日
谈钱太俗，还是投机吧
听音乐
iCosta
资源共享
一隅
好文共赏
看电影看美剧
待定
狗屎
雪域召唤
工作流
专业显摆区
语录
情感
批评与自我批评
爱情故事
发牢骚
看三点区
游戏
CNDEV-CS/WOW
浩宇长空
生活
家有XPH
我爱学英语
美食天地ORG
半调子体育迷
观澳园友邻
搞笑奇文
拍照片
我读书我存在
论坛系统
超级垃圾站
系统建议及BUG
系统测试
中国开发网
: 论坛:
程序员情感CBD
: 贴子 837728
leejd
：
有数据吗？
[阅读: 376] 2010-08-17 13:12:39
没有数据我是不相信的，因为见了太多的dedup的供应商了，一个比一个NB，结果一测试，也只是一般般而已
相关信息:
给大牛们出道题
(183字)
(
leejd
[552]
2010-08-17 10:04
)
怎么看起来不像是那么难的问题？还是我小白了没有考虑到一些难点
(空) (
空山新雨
[417]
2010-08-17 10:09
)
拿我说的那种视频操作来说，怎么样只上传不同的部分
(空) (
leejd
[386]
2010-08-17 10:11
)
分段哈希
(空) (
空山新雨
[386]
2010-08-17 10:12
)
问题在于怎么分段？
(27字)
(
leejd
[441]
2010-08-17 10:15
)
我知识有限，不过我觉得可以核对关键桢
(空) (
空山新雨
[352]
2010-08-17 10:26
)
如果不是视频，是一个文件流呢
(空) (
leejd
[440]
2010-08-17 10:30
)
依稀记得对于没有特征的文件流这个是NP。你需要在编辑之前作mark
(空) (
空山新雨
[392]
2010-08-17 10:33
)
视频，你要针对不同的格式，搞清楚怎么分帧。然后每帧对比就行了 -- 问题是，这个对比是极其消耗CPU的啊。虽然网络数据量减小了，但对比消耗CPU巨大，耗时巨多。
(空) (
pcplayer
[517]
2010-08-17 10:44
)
要是我,就不考虑格式问题,直接做1m一块的分段好了
(空) (
dead_lee
[362]
2010-08-17 11:25
)
如果是 MPEG4 之类的，你只需要对比关键帧，可以减少工作量。如果直接按流来做比较，想想你要比较2X10个G的数据，CPU的占用是啥概念吧。
(空) (
pcplayer
[482]
2010-08-17 11:35
)
不麻烦, bt其实做的不就是这个事情么.当然要客户端咯
(空) (
dead_lee
[367]
2010-08-17 12:50
)
文件是100个1M，如果第2个1M变成了0.5M。如果简单的1M算1块，则只有1块是没变的，而其实是99块都是没变的
(40字)
(
haitao
[390]
2010-08-17 12:44
)
如果是你所说的情况,当然会把从第二个之后的块全部重传
(38字)
(
dead_lee
[461]
2010-08-17 13:01
)
如果没有边界信息，你怎么知道新视频的第2块其实只有0.5M？
(37字)
(
haitao
[413]
2010-08-17 13:10
)
你没明白我的想法
(160字)
(
dead_lee
[410]
2010-08-17 13:54
)
哦，你是就让它重新传99块。。。。。。。。。。
(52字)
(
haitao
[411]
2010-08-17 17:35
)
前面计算一次，后面在计算一次，边上传边计算
(空) (
leejd
[330]
2010-08-17 14:10
)
做存储的本来就不该关心文件格式问题
(5字)
(
leejd
[332]
2010-08-17 14:08
)
就是了
(空) (
dead_lee
[334]
2010-08-17 15:26
)
这算什么难题，所有做分布存储的都要做这个啊。现在几乎一线的互联网公司个个都做了。
(空) (
virushuo
[414]
2010-08-17 10:55
)
还有所有做dropbox 的copycat 的公司，都要做这个的
(空) (
virushuo
[386]
2010-08-17 10:56
)
这个得做客户端实现吧
(空) (
jacky1936
[341]
2010-08-17 11:33
)
同意！
(空) (
张秋桥
[312]
2010-08-17 12:30
)
用客户端没问题，关键是现在大家都在找算法，包括google
(33字)
(
leejd
[722]
2010-08-17 14:17
)
用客户端就好办了
(18字)
(
jacky1936
[369]
2010-08-17 18:27
)
问题是，现在存储的利用率还是很低的，重复数据还是非常的大
(24字)
(
leejd
[428]
2010-08-17 14:16
)
dropbox存储利用率很高
(空) (
virushuo
[398]
2010-08-17 16:58
)
有数据吗？
(51字)
(
leejd
[375]
2010-08-17 21:12
)
你问问金山快盘怎么做的吧，这不是好多金山的人嘛。
(空) (
virushuo
[350]
2010-08-18 00:08
)
offset
(空) (
狒狒
[334]
2010-08-17 11:43
)
很简单，提高服务器吞吐能力，增加网络带宽
(空) (
ht
[324]
2010-08-17 12:28
)
参考subversion对二进制文件的处理方式
(空) (
sealw
[337]
2010-08-17 12:35
)
友情提示一下：几乎所有的视频编码方案都是有损的。so，别说你修改了其中几分钟，即使你啥都不修改，只是重新编码一次，文件就会完全不一样了。
(42字)
(
ycm0263
[452]
2010-08-17 12:40
)
应该是按关键帧作为分块的边界，这样的比较块才是实际可行的
(11字)
(
haitao
[415]
2010-08-17 12:46
)
没用。重新编码之后，很可能你在这 100M 视频里找不到一帧的数据是相同的。
(空) (
ycm0263
[475]
2010-08-17 13:41
)
这种情况，应该是专门的剪辑工具了：修改时，明确仅仅删除哪些块，加入哪些块。。。。。。。
(17字)
(
haitao
[380]
2010-08-17 14:12
)
对第三方工具要透明的，不然意义不大
(空) (
leejd
[356]
2010-08-17 14:18
)
你想修改后更新得快，就要使用网站提供的工具；否则只能全部重新传了，哪怕你只是改了一点，重新编码就是机器人说的。。。。。
(27字)
(
haitao
[412]
2010-08-17 17:38
)
正解是切片+索引
(51字)
(
pinxue
[478]
2010-08-17 12:58
)
视频只是举例
(73字)
(
leejd
[432]
2010-08-17 14:15
)
明白你的意思了。你需要做到“上传3个一样的视频，只占用一个的空间”。
(61字)
(
sealw
[470]
2010-08-17 14:37
)
不是一样，是3个类似的文件（重复数据会很多）
(35字)
(
leejd
[416]
2010-08-17 14:39
)
动态切需要吗？不需要吧？
(空) (
sealw
[410]
2010-08-17 15:30
)
当然不需要。因为
(74字)
(
ycm0263
[480]
2010-08-17 20:01
)
请教：对10M的东西求MD5，冲突的可能性很大吗？
(空) (
sealw
[383]
2010-08-18 07:41
)
如果是两个不同的文件按 10M 来切块，必须用专门的算法去伪造才能生成两段 MD5 相同的数据来。
(16字)
(
ycm0263
[527]
2010-08-18 08:37
)
在10M里留256个字节任意修改，以保证10M内容的md5正好是某个指定的值，修改尝试的时间大约是多少？
(空) (
haitao
[568]
2010-08-18 08:49
)
数据库为啥要varchar字段呢
(10字)
(
leejd
[380]
2010-08-18 09:11
)
动态切，我觉得不大可能实用。因为你没法【对齐】。
(142字)
(
pcplayer
[433]
2010-08-18 09:53
)
增量备份的机制吧，必须有本地代理监控文件变化
(空) (
bmkun
[428]
2010-08-18 08:32
)
欢迎光临本社区，您还没有登录，不能发贴子。请在
这里登录
| -ICP -IDC -ISP |