给大牛们出道题 <- 中国开发网

CNDEV.ORG

当前在线

论坛

CBD
- 程序员情感CBD
- 程序员见面交流会
CBD开发区
- Java/J2ME
- .NET/C#
- 数据库
- Delphi/BCB
- Visual C
其它
情感
游戏
- CNDEV-CS/WOW
- 浩宇长空
生活
论坛系统

leejd：

给大牛们出道题

[阅读: 508] 2010-08-17 02:04:43

重复数据删除

这个东西有个比较好的解决方案出来，估计全球的公司都会抢着收购了，目前面世的效果都很烂，至少我们用的都很烂，连只读文件的都做的不是很好，包括我们买的google的方案

想象一下：
你从服务器上下载了一个100M的视频，你只修改了其中的几分钟而已，这时候你要上传，怎么样尽可能快的上传呢？重复数据删除可以，但是目前还没有靠谱的方案

相关信息:

给大牛们出道题 (183字) (leejd [507] 2010-08-17 02:04)
- 怎么看起来不像是那么难的问题？还是我小白了没有考虑到一些难点 (空) (空山新雨 [353] 2010-08-17 02:09)
  - 拿我说的那种视频操作来说，怎么样只上传不同的部分 (空) (leejd [318] 2010-08-17 02:11)
    - 分段哈希 (空) (空山新雨 [344] 2010-08-17 02:12)
      - 问题在于怎么分段？ (27字) (leejd [372] 2010-08-17 02:15)
        我知识有限，不过我觉得可以核对关键桢 (空) (空山新雨 [307] 2010-08-17 02:26)
        如果不是视频，是一个文件流呢 (空) (leejd [391] 2010-08-17 02:30)
        依稀记得对于没有特征的文件流这个是NP。你需要在编辑之前作mark (空) (空山新雨 [344] 2010-08-17 02:33)
        视频，你要针对不同的格式，搞清楚怎么分帧。然后每帧对比就行了 -- 问题是，这个对比是极其消耗CPU的啊。虽然网络数据量减小了，但对比消耗CPU巨大，耗时巨多。 (空) (pcplayer [468] 2010-08-17 02:44)
        要是我,就不考虑格式问题,直接做1m一块的分段好了 (空) (dead_lee [314] 2010-08-17 03:25)
        如果是 MPEG4 之类的，你只需要对比关键帧，可以减少工作量。如果直接按流来做比较，想想你要比较2X10个G的数据，CPU的占用是啥概念吧。 (空) (pcplayer [440] 2010-08-17 03:35)
        不麻烦, bt其实做的不就是这个事情么.当然要客户端咯 (空) (dead_lee [318] 2010-08-17 04:50)
        文件是100个1M，如果第2个1M变成了0.5M。如果简单的1M算1块，则只有1块是没变的，而其实是99块都是没变的 (40字) (haitao [350] 2010-08-17 04:44)
        如果是你所说的情况,当然会把从第二个之后的块全部重传 (38字) (dead_lee [398] 2010-08-17 05:01)
        如果没有边界信息，你怎么知道新视频的第2块其实只有0.5M？ (37字) (haitao [357] 2010-08-17 05:10)
        你没明白我的想法 (160字) (dead_lee [351] 2010-08-17 05:54)
        哦，你是就让它重新传99块。。。。。。。。。。 (52字) (haitao [363] 2010-08-17 09:35)
        前面计算一次，后面在计算一次，边上传边计算 (空) (leejd [283] 2010-08-17 06:10)
        做存储的本来就不该关心文件格式问题 (5字) (leejd [278] 2010-08-17 06:08)
        就是了 (空) (dead_lee [292] 2010-08-17 07:26)
- 这算什么难题，所有做分布存储的都要做这个啊。现在几乎一线的互联网公司个个都做了。 (空) (virushuo [370] 2010-08-17 02:55)
  - 还有所有做dropbox 的copycat 的公司，都要做这个的 (空) (virushuo [340] 2010-08-17 02:56)
  - 这个得做客户端实现吧 (空) (jacky1936 [298] 2010-08-17 03:33)
    - 同意！ (空) (张秋桥 [269] 2010-08-17 04:30)
    - 用客户端没问题，关键是现在大家都在找算法，包括google (33字) (leejd [441] 2010-08-17 06:17)
      - 用客户端就好办了 (18字) (jacky1936 [311] 2010-08-17 10:27)
  - 问题是，现在存储的利用率还是很低的，重复数据还是非常的大 (24字) (leejd [366] 2010-08-17 06:16)
    - dropbox存储利用率很高 (空) (virushuo [359] 2010-08-17 08:58)
      - 有数据吗？ (51字) (leejd [326] 2010-08-17 13:12)
        你问问金山快盘怎么做的吧，这不是好多金山的人嘛。 (空) (virushuo [301] 2010-08-17 16:08)
- offset (空) (狒狒 [286] 2010-08-17 03:43)
- 很简单，提高服务器吞吐能力，增加网络带宽 (空) (ht [286] 2010-08-17 04:28)
- 参考subversion对二进制文件的处理方式 (空) (sealw [292] 2010-08-17 04:35)
- 友情提示一下：几乎所有的视频编码方案都是有损的。so，别说你修改了其中几分钟，即使你啥都不修改，只是重新编码一次，文件就会完全不一样了。 (42字) (ycm0263 [410] 2010-08-17 04:40)
  - 应该是按关键帧作为分块的边界，这样的比较块才是实际可行的 (11字) (haitao [369] 2010-08-17 04:46)
    - 没用。重新编码之后，很可能你在这 100M 视频里找不到一帧的数据是相同的。 (空) (ycm0263 [428] 2010-08-17 05:41)
      - 这种情况，应该是专门的剪辑工具了：修改时，明确仅仅删除哪些块，加入哪些块。。。。。。。 (17字) (haitao [341] 2010-08-17 06:12)
        对第三方工具要透明的，不然意义不大 (空) (leejd [292] 2010-08-17 06:18)
        你想修改后更新得快，就要使用网站提供的工具；否则只能全部重新传了，哪怕你只是改了一点，重新编码就是机器人说的。。。。。 (27字) (haitao [370] 2010-08-17 09:38)
- 正解是切片+索引 (51字) (pinxue [410] 2010-08-17 04:58)
  - 视频只是举例 (73字) (leejd [384] 2010-08-17 06:15)
    - 明白你的意思了。你需要做到“上传3个一样的视频，只占用一个的空间”。 (61字) (sealw [413] 2010-08-17 06:37)
      - 不是一样，是3个类似的文件（重复数据会很多） (35字) (leejd [359] 2010-08-17 06:39)
        动态切需要吗？不需要吧？ (空) (sealw [358] 2010-08-17 07:30)
        当然不需要。因为 (74字) (ycm0263 [412] 2010-08-17 12:01)
        请教：对10M的东西求MD5，冲突的可能性很大吗？ (空) (sealw [341] 2010-08-17 23:41)
        如果是两个不同的文件按 10M 来切块，必须用专门的算法去伪造才能生成两段 MD5 相同的数据来。 (16字) (ycm0263 [454] 2010-08-18 00:37)
        在10M里留256个字节任意修改，以保证10M内容的md5正好是某个指定的值，修改尝试的时间大约是多少？ (空) (haitao [523] 2010-08-18 00:49)
        数据库为啥要varchar字段呢 (10字) (leejd [327] 2010-08-18 01:11)
        动态切，我觉得不大可能实用。因为你没法【对齐】。 (142字) (pcplayer [375] 2010-08-18 01:53)
- 增量备份的机制吧，必须有本地代理监控文件变化 (空) (bmkun [384] 2010-08-18 00:32)

欢迎光临本社区，您还没有登录，不能发贴子。请在这里登录

页面内容处理时间: 0.023 - 671192