一个4G的文件分成5段下载，你会在内存中下完800兆才写入磁盘文件嘛？ <- 中国开发网

CNDEV.ORG

当前在线

论坛

CBD
- 程序员情感CBD
- 程序员见面交流会
CBD开发区
- Java/J2ME
- .NET/C#
- 数据库
- Delphi/BCB
- Visual C
个人
- 袁国术的个人网站
- 翟旭东网!!!
其它
情感
游戏
- CNDEV-CS/WOW
- 浩宇长空
生活
论坛系统

中国开发网: 论坛: 程序员情感CBD: 贴子 66266

王中王：一个4G的文件分成5段下载，你会在内存中下完800兆才写入磁盘文件嘛？

[阅读: 1117] 2004-12-17 12:33:41

不会吧？那就一兆一写入，一个线程就要写入800次，5 个线程就是4000次，这里面要有多少合并操作？

相关信息:

讨论一个多线程下载的问题 (312字) (王中王 [797] 2004-12-17 19:27)
- 晕！亏你想得出来搬移的办法，不如考虑一下多线程上传更有意义。 (56字) (GoodHope [706] 2004-12-17 19:34)
  - 现在有标准的支持多线程上传的协议吗？ (空) (CJF [509] 2004-12-17 19:38)
    - 没有 (空) (GoodHope [457] 2004-12-17 19:45)
      - 其实做这个也不难。。就像上面说，上传的时候，记录一些位置，最后服务器再合并起来就是了。。关键是没有标准的话，只能自己的客户端支持了 (空) (CJF [522] 2004-12-17 19:49)
        服务器做合并要有删除的权限的，除非能像flashget那样，找服务器先申请足够的空间。。 (12字) (dead_lee [713] 2004-12-18 08:42)
  - 事实上，目前的几个常用下载工具都不是这么做的。可以看到一个唯一的文件大小在不断的增长 (空) (王中王 [534] 2004-12-17 19:42)
    - 你没注意到结束的时候基本上都会忙一阵子？ (35字) (GoodHope [547] 2004-12-17 19:47)
      - 你有没有注意到，一个流媒体文件，下载一半的时候去播放它，是可以播放到第一个下载中断点的 (29字) (王中王 [850] 2004-12-17 19:49)
        也没有什么啊，前面相邻的数据段先合并罢了。。 (空) (CJF [505] 2004-12-17 19:51)
        下载的数据并不是一整段下载完才写入文件，而是达到一定的数据（比如4K，通常可设置）就陆续写入文件 (115字) (王中王 [734] 2004-12-17 19:58)
        我们可以知道每个流应该插入的位置，和每个流的正确长度啊，难道还不知道什么时候合并？ (空) (CJF [635] 2004-12-17 20:03)
        的确随时可以合并，但不断的合并就意味着额外IO操作吧，我说的问题，就是这个问题啊？ (空) (王中王 [582] 2004-12-17 20:11)
        我们分析一个文件的实际操作吧。。合并的操作其实没有多少的。。5线程下载的话，最终合并次数不会超过10次，而且我们可以采取就近合并的方法。。 (空) (CJF [613] 2004-12-17 20:26)
        一个4G的文件分成5段下载，你会在内存中下完800兆才写入磁盘文件嘛？ (50字) (王中王 [1116] 2004-12-17 20:33)
        五段就不能写五个文件吗？我觉得你追求一个文件是没有意思的。。真要这样做不是不行，一边写，一边插进去就是了。。 (空) (CJF [536] 2004-12-17 20:37)
        问题是很多下载工具都是用一个文件实现的。我只想知道他们是怎么实现的 (空) (王中王 [563] 2004-12-17 20:38)
        就是插进去咯。。不然怎么可能有你说的效果。。能放到首段 (空) (CJF [513] 2004-12-17 20:39)
        但我觉得这样有问题啊： (48字) (王中王 [544] 2004-12-17 20:42)
        如果慢，就是你的代码效率不够～～这个操作绝对很快 (44字) (CJF [549] 2004-12-17 20:49)
        唉，结了婚的男人……………… (空) (GoodHope [418] 2004-12-17 20:05)
        你啊～ (空) (CJF [455] 2004-12-17 20:06)
        这也简单，就是效率低一点而已。 (233字) (GoodHope [567] 2004-12-17 20:02)
        不可能段里还要分块： (142字) (王中王 [567] 2004-12-17 20:08)
        靠，说到这份上了还不明白。 (142字) (GoodHope [613] 2004-12-17 20:16)
        明白。可各个线程肯定都是分别进行“顺序存储”，不管之间的性能差异如何，前面线程进行存储时都有问题存在 (空) (王中王 [467] 2004-12-17 20:27)
        我受不了了！！！ (458字) (GoodHope [589] 2004-12-17 20:40)
        你该不会认为2个线程下载，文件就对半一砍，分成两段吧？ (55字) (GoodHope [641] 2004-12-17 20:46)
        你看一下蚂蚁或是快东、NetTransport的日志信息： (92字) (王中王 [585] 2004-12-17 20:57)
        进来看： (140字) (王中王 [609] 2004-12-17 21:00)
        哦，现在的分段下载基本都是这样的。。 (空) (CJF [514] 2004-12-17 21:02)
        我求你了，你就当我是个P，放了我吧……………… (14字) (GoodHope [430] 2004-12-17 21:03)
        扑！你走吧！把你放了。你说不明白就不要说了 (空) (王中王 [418] 2004-12-17 21:04)
        看看蚂蚁或是快车的下载状态图，肯定不是你这种思路。 (空) (王中王 [523] 2004-12-17 20:50)
        我错了，您放过我吧………… (98字) (GoodHope [650] 2004-12-17 21:01)
        你才是猪头！你不要一个劲的猜，你去观察一下那些软件嘛 (69字) (王中王 [597] 2004-12-17 21:07)
        靠！你用快车多线程下文件是一点点的涨的啊！都是一开始就分配了。 (46字) (GoodHope [669] 2004-12-17 21:13)
        你在选项中的其它项里的“获得文件大小后分配空间选项”关掉试一试 (空) (王中王 [596] 2004-12-18 00:06)
  - 上传和下载还不是一回事。让服务器把对它的上传当成对客户端的下载不就行了嘛 (54字) (王中王 [603] 2004-12-17 19:46)
    - ………………………… (34字) (GoodHope [606] 2004-12-17 19:54)
      - 那些八百年的协议就定在那了，如果被你改了，那还叫http或FTP协议嘛？ (71字) (王中王 [667] 2004-12-17 20:00)
        这是没有办法的咯。。你可以完成后，让更多人用，那就变成事实协议就是了。。看你的影响力了 (空) (CJF [499] 2004-12-17 20:05)
        所以啊，不如多研究P2P，少打那些CS协议的主意了 (空) (王中王 [491] 2004-12-17 20:10)
        我觉得BT比较好。。真的不错。。 (空) (CJF [427] 2004-12-17 20:12)
        好Y个头！没有BT、ED的时候，CS多快啊！！！看看现在，简直没得玩了！ (空) (GoodHope [460] 2004-12-17 20:17)
        这个。。。 (4字) (CJF [497] 2004-12-17 20:27)
        …………………………………………………………………………………………………… (空) (GoodHope [473] 2004-12-17 20:07)
- 我的一个想法，将每个下载的流，分别记录下它们的起始位置，全部完成后，再合并起来。。就不需要插入的操作了～～ (空) (CJF [507] 2004-12-17 19:37)
  - 事实上，目前的几个常用下载工具都不是这么做的。可以看到一个唯一的文件大小在不断的增长 (空) (王中王 [527] 2004-12-17 19:42)
- 先下载，最后合并嘛。分成几块，就保存为几个临时文件。 (空) (pcplayer [651] 2004-12-17 19:42)
  - 事实上，目前的几个常用下载工具都不是这么做的。可以看到一个唯一的文件大小在不断的增长 (空) (王中王 [547] 2004-12-17 19:43)
    - 一个文件的办法---》 (174字) (pcplayer [618] 2004-12-17 19:56)
      - 嘿嘿。。。如果是下载D9容量的光盘映像，你就死定了。。 (空) (CJF [1238] 2004-12-17 20:01)
      - I服了Y！这种办法也………… (空) (GoodHope [480] 2004-12-17 20:03)
      - 怎么“插进”？还不是象我说的那样移动数据？ (138字) (王中王 [608] 2004-12-17 20:03)
        用点力呗 (空) (GoodHope [949] 2004-12-17 20:06)
        涂点润滑油(空) (GoodHope [0] 今天 20:06) (空) (CJF [0] 今天 20:07) (空) (坏鼠标 [438] 2004-12-17 21:06)
        再用点力呗 (空) (GoodHope [0] 今天 20:06) (空) (CJF [479] 2004-12-17 20:07)
        你不会直接插在文件的结尾啊？按顺序来就行了。 (78字) (pcplayer [538] 2004-12-17 20:37)
        如果前面那一段没当完，后面的先当完，则后面那一段先放着，等前面那一段接到文件尾巴上了，再把后面那一段接上去不就行了。 (空) (pcplayer [545] 2004-12-18 00:30)
- 有内存映像文件应该是最高校的办法 (空) (老玉米 [541] 2004-12-17 20:53)
  - 。 (10字) (CJF [537] 2004-12-17 21:05)
    - 关键在于怎么写文件 (空) (王中王 [665] 2004-12-17 21:06)
- 几个线程顺序写一个文件,每次写的时候在写的数据块前面加个头,记录本块在原始文件中的位置,长度等信息,都完成之后合并一下就是了. (空) (bjwf [633] 2004-12-17 23:00)
  - 你有没有注意到，一个流媒体文件，下载一半的时候去播放它，是可以播放到第一个下载中断点的 (29字) (王中王 [6] 今天 19:49) (空) (王中王 [683] 2004-12-17 23:18)
- 仔细的观察了一下FlashGet和NetTransport的形为，结论如下： (177字) (王中王 [589] 2004-12-18 00:09)
  - Goodhope自负的分段分块理论、什么结束时都忙上一阵子等言论全部不攻自破 (14字) (王中王 [552] 2004-12-18 00:19)
    - P，文件慢慢增加的做法是最愚蠢的。既省不了多少空间，又暴露了开发者的无能。 (77字) (GoodHope [671] 2004-12-18 13:32)
      - 几个主流的下载工具都支持这两种模式啊。供用户自己选择而已。只是快车是缺省的先分配空间 (空) (王中王 [573] 2004-12-18 22:42)
  - 那这个和预先把文件直接设置为文件的原始大小的办法是一样的嘛。但是，最后一段接上去了，然后才收到第2段，不还是要插进去吗？ (空) (pcplayer [495] 2004-12-18 00:23)
    - 是啊，但是多少会在启动的时候省一点空间，可以边下载边清理空间来放文件 (36字) (王中王 [645] 2004-12-18 00:29)
      - 按你的这段描述做，还是需要在文件中间插入数据。按我的办法做，就不需要在中间插入数据。 (空) (pcplayer [519] 2004-12-18 00:31)
        不用。其它线程都是在已申请的空间上写数据。 (30字) (王中王 [988] 2004-12-18 00:35)
  - 如果不在文件中间插入，还是我的办法：让这第10个线称先等着，等到它前面的线称都接收到并把数据接到文件的尾巴上了，才把自己接到文件的尾巴上。 (空) (pcplayer [625] 2004-12-18 00:25)
    - 那如果等待时死了机，下载的东西没了，如果按流量计费就惨了 (32字) (王中王 [552] 2004-12-18 00:32)
      - 死机了？你写的磁盘文件也没用，鬼知道WINDOWS是不是真的写上去了？所以，这里根本不用考虑死机。 (空) (pcplayer [591] 2004-12-18 00:34)
        这里死机指的是进程非正常终止。我比较赞成预分配空间的做法，然后就是开辟大内存缓冲分块存储 (空) (Miracle [684] 2004-12-18 04:26)
        要是怕内存缓冲因为进程非正常终止带来太大的损失，可以减小内存缓冲尺寸，然后配合磁盘缓存 (空) (Miracle [556] 2004-12-18 04:28)
  - 靠，这和一次分配整个文件有多大区别。Y仔细看看自己的要求！ (24字) (GoodHope [520] 2004-12-18 13:28)
    - 这种肯定是内存映像文件了，几个线程个写一块 (空) (老玉米 [567] 2004-12-18 13:38)
    - 别又丫又靠的。我是说能正常的播放到第一个下载断点 (空) (王中王 [607] 2004-12-18 22:50)
  - Y自己没分清几种不同的下载模式，需求都没有弄明白！ (3字) (GoodHope [609] 2004-12-18 13:35)
- cute ftp是分段下载,完成后再合并的,符合GH说的下载完后忙一阵的说法. (86字) (oyjt [998] 2004-12-18 13:21)
- 网上帖子很多啊，自己搜啊，懒人啊 (空) (mhappy [545] 2004-12-18 13:39)

欢迎光临本社区，您还没有登录，不能发贴子。请在这里登录

页面内容处理时间: 0.020 - 607448