曾经参考Google File System做一个分布式文件系统来者，有一点很浅的探究，也需要在本地机做一个虚拟的文件系统，可惜当时所有的这一切都是我一个人在做，没多久俺就闪人了，…… <- 中国开发网

CNDEV.ORG

当前在线

论坛

CBD
- 程序员情感CBD
- 程序员见面交流会
CBD开发区
- Java/J2ME
- .NET/C#
- 数据库
- Delphi/BCB
- Visual C
其它
情感
游戏
- CNDEV-CS/WOW
- 浩宇长空
生活
论坛系统

周星驰：曾经参考Google File System做一个分布式文件系统来者，有一点很浅的探究，也需要在本地机做一个虚拟的文件系统，可惜当时所有的这一切都是我一个人在做，没多久俺就闪人了，……

[阅读: 1889] 2005-12-08 04:09:46

1、挂多少硬盘都是当作一块看；
2、特殊用途下的效率提升；
3、提供API访问；
等等，总之和一个系统的文件系统无异，google lab的这篇文章可以看看，我觉得对你的这个一个文件里做的虚拟文件系统一样有参考意义，如果大牛了解很深了就不必了:>：
http://labs.google.com/papers/gfs-sosp2003.pdf

相关信息:

[技术贴]实现包含在一个文件中的文件系统 (107字) (holly [1431] 2005-12-08 03:02)
- vmware的虚拟硬盘就是这样的啊。。。 (24字) (haitao [1041] 2005-12-08 03:05)
  - 海涛同学又跑题了 (74字) (holly [829] 2005-12-08 03:07)
    - 动态增长，如果要求节省空间，就要做一张映射表了，类似虚拟缓存的映射关系。 (空) (GoodHope [960] 2005-12-08 03:09)
      - 接下来就是文件碎片，整理，空间回收，etc (空) (Miracle [808] 2005-12-08 15:51)
    - 先把什么样（需求）的明确了，才可以放心地讨论怎么做到这样。。。 (21字) (haitao [896] 2005-12-08 03:11)
      - 是啊, 问题在于你还没仔细看前面的描述就开始想想了 (54字) (holly [722] 2005-12-08 03:15)
        
        一语中的。 (空) (ycm0263 [712] 2005-12-08 03:18)
        
        马屁贴，鉴定完毕。 (空) (GoodHope [766] 2005-12-08 03:20)
        ╭∩╮（︶︿︶）╭∩╮ (空) (ycm0263 [676] 2005-12-08 03:24)
        
        嗯，这个是个问题。。。我照自己的思路，也是尽量找最简单、常见的东西 (104字) (haitao [814] 2005-12-08 03:21)
        
        说了等于没说阿 (空) (Miracle [723] 2005-12-08 15:51)
        
        就是先找出大家共同认可的基础啊 (55字) (haitao [775] 2005-12-09 00:46)
        
        最主要的问题就在于 (40字) (holly [847] 2005-12-09 02:11)
        
        说实话，到现在我也不敢确定是否理解你的需求 (196字) (haitao [823] 2005-12-09 02:32)
        
        你的理解果然有问题 (501字) (holly [824] 2005-12-09 02:58)
        
        我的意思就是先找现成的借鉴，它们应该都遇到过大多数的问题 (26字) (haitao [912] 2005-12-09 03:15)
        
        说你只管朝自己的思路理解吧 (23字) (holly [657] 2005-12-09 03:19)
        
        早说嘛 (76字) (haitao [857] 2005-12-09 03:28)
        
        我以为 (38字) (holly [644] 2005-12-09 03:32)
- 把整个文件映射成一个分区的逻辑结构 (空) (GoodHope [875] 2005-12-08 03:07)
  - 不需要做到跟操作系统集成的. (44字) (holly [751] 2005-12-08 03:10)
    - 不用和操作系统集成？动态增长不难。要解决删除文件留下的空洞到比较罗嗦。 (空) (GoodHope [862] 2005-12-08 03:11)
    - 没有大小限制？其实应该也是有限制的吧 (35字) (haitao [823] 2005-12-08 03:16)
      - 呵呵, 这里根本就没有分区这个概念存在 (35字) (holly [812] 2005-12-08 03:19)
        
        不一定是分区，但是文件总要分块吧。。。除非真的不考虑效率 (52字) (haitao [840] 2005-12-08 03:24)
        
        你这里的文件指宿主文件? 内部的逻辑文件? (空) (holly [759] 2005-12-08 03:25)
        
        当然是内部的逻辑文件了 (35字) (haitao [806] 2005-12-08 03:28)
    - 当然要集成也不过就是写一个 driver. (176字) (pcplayer [785] 2005-12-08 03:23)
      - 新闻联播说的技术也信的话基本上就是圈外人士了 (空) (holly [846] 2005-12-08 03:26)
        
        所以你搞一个 Driver，也可以上新闻联播了啊！ (19字) (pcplayer [795] 2005-12-08 03:28)
        
        别, 偶还不想被大多数人民群众 bs (空) (holly [799] 2005-12-08 03:36)
        
        哪怕是这样，你也还离芙蓉JJ十万八千里呢，你就放心被bs吧，不会出人命的 (空) (Miracle [778] 2005-12-08 16:11)
- 你不是玩过了吗？ (空) (品雪 [725] 2005-12-08 03:07)
- 如果不考虑性能的话，链表，大量的链表 (76字) (GoodHope [843] 2005-12-08 03:19)
  - 不知道说明白了没有？ (32字) (GoodHope [775] 2005-12-08 03:21)
    - 性能当然要考虑的. 你当然不能从第一逻辑块到最后一逻辑块来线性搜索某个文件 (空) (holly [780] 2005-12-08 03:24)
      - 偶只管实现，性能可以用Cache和Defrage来提升。 (135字) (GoodHope [902] 2005-12-08 03:30)
  - 文件数据动态增长好办，直接往后面追加数据就行了。但文件名/大小/数据位置等信息，得放到某个能找得到的地方，才能找到文件的实际数据 (空) (pcplayer [831] 2005-12-08 03:31)
- 此人在发明轮子 (4字) (黄黑黄 [750] 2005-12-08 03:22)
  - 而且是方轮子 (空) (holly [722] 2005-12-08 03:24)
    - 为什么不是三角的呢？多稳定啊 (空) (GoodHope [759] 2005-12-08 03:31)
- 都是大牛。俺来个偷懒的BT方法 (11字) (pcplayer [877] 2005-12-08 03:26)
  - 请看俺昨天写的 blog (空) (holly [742] 2005-12-08 03:27)
    - url？ (844字) (haitao [784] 2005-12-08 03:31)
      - 不是这个 (12字) (holly [778] 2005-12-08 03:32)
        
        我靠，你每次不是要通过Google上自己的Blog吧 (空) (GoodHope [912] 2005-12-08 03:33)
        
        家里机器里在浏览器的历史记录里呢 (空) (holly [715] 2005-12-08 03:34)
    - 你的Blog (7字) (GoodHope [732] 2005-12-08 03:31)
      - 一半一半吧 (空) (holly [737] 2005-12-08 03:32)
        
        那也得给出URL来啊 (空) (GoodHope [775] 2005-12-08 03:32)
        
        俺真的记不住啊 (8字) (holly [702] 2005-12-08 03:33)
        
        唉，我最近连7位的电话号码都记不住了。 (空) (GoodHope [675] 2005-12-08 03:35)
        BS，大牛的Blog的URL都记不住：http://www.freecoder.org/mt/blogs/lee/ (空) (sealw [883] 2005-12-08 03:35)
        
        记性真好! (6字) (holly [744] 2005-12-08 03:37)
        
        严重怀疑使用了书签 (空) (GoodHope [685] 2005-12-08 03:37)
        
        . (空) (GoodHope [704] 2005-12-08 03:37)
    - 建议修改： (121字) (sealw [823] 2005-12-08 03:37)
      - CRUD又是什么？ (空) (GoodHope [1715] 2005-12-08 03:39)
        
        Create, Replace, Update, Delete. 好象是这样 (空) (holly [809] 2005-12-08 03:40)
        
        ……………………………………………………………………………………………………………………………………………………………… (空) (GoodHope [798] 2005-12-08 03:41)
        R好像是Read (空) (sealw [791] 2005-12-08 03:41)
        
        。。 (空) (nostalgic [697] 2005-12-08 03:43)
        
        嗯, 应该是 Read (空) (holly [708] 2005-12-08 03:43)
        
        这个是偶的强项 (空) (nostalgic [691] 2005-12-08 03:42)
        
        如果仅仅用CRUD还不行 (15字) (haitao [783] 2005-12-08 03:46)
        R = Retrieve (空) (Miracle [638] 2005-12-08 15:50)
        
        这个是正解 (空) (sealw [720] 2005-12-09 02:28)
        
        为什么 R 不是 Run？ (空) (Fish [726] 2005-12-08 16:13)
        
        NB! (空) (黄黑黄 [720] 2005-12-08 04:07)
      - 嗯, 可能我还是高估了 (空) (holly [725] 2005-12-08 03:39)
      - ... (7字) (nostalgic [711] 2005-12-08 03:44)
      - 批判，在那个口气里明显带有一种高某些程序员一等的优越感 (空) (Miracle [698] 2005-12-08 15:55)
        
        批判，在老 M 的口气里明显带有一种以为能批判某些程序员的优越感 (空) (holly [722] 2005-12-09 02:12)
    - 又被大牛BS了。 (空) (pcplayer [595] 2005-12-08 03:46)
      - 被大牛BS的又不是你一个人 (空) (nostalgic [825] 2005-12-08 03:50)
- 完全模拟一个现成的文件系统，只要把文件分配表中的硬块逻辑位置改成对应文件里的开始位置即可。如果要不限长度，就要把目录结构和文件分配表结构改为链表或其他可不限长的数据机构 (空) (李战 [1018] 2005-12-08 03:34)
  - 文件分配表本身的大小是否是固定的？ (13字) (pcplayer [844] 2005-12-08 03:35)
    - 要求当然是一切都不能固定 (空) (holly [769] 2005-12-08 03:37)
      - ACID是什么？ (9字) (GoodHope [1210] 2005-12-08 03:38)
        
        。 (空) (nostalgic [684] 2005-12-08 03:40)
    - 有文件分配表，就走入歧途了。 (空) (GoodHope [814] 2005-12-08 03:37)
      - 用链表来模拟文件分配表，不就可以不限大小了。 (空) (pcplayer [780] 2005-12-08 03:41)
        
        这样还要文件分配表干嘛？ (空) (GoodHope [766] 2005-12-08 03:43)
        好处是可以利用别人写好的文件系统啊。又可以偷懒了。 (空) (pcplayer [745] 2005-12-08 03:47)
- linux下有个cramfsck.和mkcramfs 正好满足你的要求. (空) (bjwf [1964] 2005-12-08 03:44)
  - 不对, 那是需要大小的 (空) (holly [689] 2005-12-08 03:45)
    - 改一下应该能满足 (空) (bjwf [680] 2005-12-08 03:46)
- 曾经参考Google File System做一个分布式文件系统来者，有一点很浅的探究，也需要在本地机做一个虚拟的文件系统，可惜当时所有的这一切都是我一个人在做，没多久俺就闪人了，…… (186字) (周星驰 [1888] 2005-12-08 04:09)
  - 对它这个分布式磁盘系统有兴趣。可惜没时间去深入研究。 (空) (pcplayer [727] 2005-12-08 07:12)
- N年以前，Norton里面的 Diskreet 就是干这个的 (空) (Fish [742] 2005-12-08 05:04)
  - 那个是有大小限制的。 (空) (ycm0263 [626] 2005-12-08 05:10)
    - 是有限制，并且狠危险。文件一被删除，就啥都木有了 (空) (Fish [779] 2005-12-08 05:34)
      - 它本来就是只防被盗取 (7字) (haitao [661] 2005-12-08 05:40)
- 偶的看法，比较肤浅。。。 (128字) (mhappy [826] 2005-12-08 05:22)
  - 因为holly同学想走上一条与大家不同的路 (空) (李战 [694] 2005-12-08 06:34)
  - 没错，就是要研究一下各种实现啊，讨论一下，有何不可呢，光看书不行，现在不是在提问题么 (空) (Miracle [789] 2005-12-08 16:00)
- 还有个BT的办法 (17字) (pcplayer [793] 2005-12-08 05:45)
  - 够变态 (空) (李战 [692] 2005-12-08 06:35)
    - 技术上还是可以做得出来的嘛。 (空) (pcplayer [800] 2005-12-08 07:06)
  - 理论上可以这么做，但是你想过没有，当文件尺寸扩充的时候，你应该怎么分配空间，虽然是xml (60字) (Miracle [813] 2005-12-08 15:49)
- 有没有程序阿？我也需要一个类似的系统来管理ramdisk (空) (MaoMao [832] 2005-12-08 06:58)
  - 我也想要一个，自己写灭有时间，而且也没什么好的方案能象大牛说的不限大小 (空) (pigprince [745] 2005-12-08 07:10)
  - win2k/linux都有现成的吧 (57字) (haitao [729] 2005-12-08 07:12)
- 忍不住了，告诉你吧，自己做用IFS DDK来写，现成的代码可以看TrueCrypt (158字) (只谈技术 [2873] 2005-12-08 10:38)
  - 明显文不对提 (空) (holly [758] 2005-12-08 12:13)
  - 修改过，好像又不合了。。。。 (空) (周星驰 [798] 2005-12-08 12:17)
  - 有趣有趣，有马甲要给大牛上课了，搬凳子先 (空) (品雪 [687] 2005-12-09 02:55)
- 要求不是很高的话，Windows下倒是有现成的structured storage (空) (Miracle [835] 2005-12-08 11:16)
  - 那是 COM 的. 偶希望跨平台的 (33字) (holly [808] 2005-12-08 12:14)
    - 我觉得应该让大家想一些BT的办法。太正统的没意思。 (空) (pcplayer [783] 2005-12-08 13:26)
      - 嗯, 有理. 我也希望看到谁能 bt 得更出色 (空) (holly [710] 2005-12-08 15:53)
        
        其实我看你的需求，和做一个以单一文件为数据库库文件的大型数据库差不多。 (空) (pcplayer [765] 2005-12-08 15:57)
        
        因此，可以拿一个开源的数据库对库文件的管理方式来模仿。 (空) (pcplayer [742] 2005-12-08 15:58)
        
        归根结底，BT的方向是 (133字) (Miracle [865] 2005-12-08 16:04)
    - 还是数据库吧，不一定是RDBMS (空) (Fish [757] 2005-12-08 16:03)
    - 嘿嘿，明白，你就是要一个general idea，看看大家的想法，对问题的挖掘深度，地球人都知道 (16字) (Miracle [790] 2005-12-08 16:05)
      - 磁盘不比内存。磁盘上保存的数据不是说干掉就干掉的。干掉也就四做个标记，留个空洞。否则没效率可言。 (46字) (pcplayer [807] 2005-12-08 16:11)
        
        空洞可以重复使用的 (空) (holly [715] 2005-12-08 16:14)
        要么刚好要写入空洞那么大个数据，要么还要留下小空洞。好象FAT处理这个问题也没处理好。 (空) (pcplayer [750] 2005-12-08 16:17)
        
        FAT 处理得可以了。 (35字) (ycm0263 [748] 2005-12-08 16:19)
        
        可以智能一点：不只是找空洞来写数据，在写数据的同时也顺便搬一点小数据，做一点小的碎片整理。 (空) (pcplayer [739] 2005-12-08 16:27)
        
        pcplayer 同学有很多很不错的想法 (空) (holly [697] 2005-12-08 16:36)
      - BT点的做法是，最好可以不单是把数据追加到文件的结尾，还可以加到文件的前头。 (54字) (pcplayer [806] 2005-12-08 16:15)
- 有一本书，叫《linux文件系统》 (空) (leejd [826] 2005-12-09 01:39)
  - 这本书写得恶烂 (空) (holly [693] 2005-12-09 02:08)
- 其实就是如何平衡空间和时间的关系。总之不是空间换时间，就是时间换空间。 (39字) (pcplayer [901] 2005-12-09 02:39)
  - pcplayer 同学说的都是公理啊 (17字) (holly [730] 2005-12-09 03:09)
  - 其实就是如何平衡命和钱的关系。总之不是拿命换钱，就是拿钱换命。 (39字) (pcplayer [3] 今天 10:39) (空) (sealw [742] 2005-12-09 03:12)
    - 嘿嘿, 拿命换钱可以, 拿钱换命太难了 (空) (holly [653] 2005-12-09 03:22)
      - 不可逆啊 (16字) (haitao [673] 2005-12-09 03:33)
    - 钱和命不是守恒的，命可以换钱，但死了之后就钱就换不回来了 (空) (李战 [707] 2005-12-09 03:24)
  - 我把这个称为编程中的“时空守恒定律” (空) (李战 [748] 2005-12-09 03:21)
    - 这2个也不是守恒的 (62字) (haitao [788] 2005-12-09 03:35)
      - 这只能说明时间和空间的转换不成比例而已，你可以去把转换公式研究出来了，就像爱因斯坦的E=MC2，但质能还是守恒的。 (空) (李战 [1042] 2005-12-09 03:40)
        
        要守恒也是：时、空、算法的守恒 (47字) (haitao [812] 2005-12-09 03:50)
- 种大树 (161字) (pcplayer [765] 2005-12-09 16:36)
  - 要是分文件何苦来呢，直接利用操作系统的文件系统好了。 (109字) (GoodHope [858] 2005-12-09 16:57)
  - 说对了, 就是玩数据结构那些东西 (30字) (holly [784] 2005-12-09 17:01)
    - 这个数据结构的条件也太古怪了 (空) (GoodHope [749] 2005-12-09 17:05)
      - 其实在实际中很有用的 (空) (holly [723] 2005-12-09 17:07)
        
        除了锻炼人的逻辑能力，暂时看不到有什么需求这么变态。 (空) (GoodHope [814] 2005-12-09 17:14)
      - 其实所有的考虑都是基于磁盘的数据是串行传输这个事实。 (71字) (pcplayer [743] 2005-12-09 17:11)
        
        你还是串行的啊 (26字) (holly [698] 2005-12-09 17:15)
        
        一个页面就N百G了，再读N个页面出来。拿什么装啊。 (空) (GoodHope [827] 2005-12-09 17:22)
        
        少了随机和分块啊 (26字) (GoodHope [601] 2005-12-09 17:15)
        
        在一片磁盘上，数据的读和写是串行的。当然可以多个盘片一起来。但这个也并不了多少。 (65字) (pcplayer [853] 2005-12-09 17:20)
        
        你对串行传输理解有偏差 (45字) (GoodHope [787] 2005-12-09 17:24)
        
        我说的是读写，不是传输。 (空) (pcplayer [665] 2005-12-09 17:27)
        
        文件读写也不是串行传输 (11字) (GoodHope [703] 2005-12-09 17:32)
  - 种大树 (空) (zengr [711] 2005-12-10 08:42)
- 说来说去，什么碎片空洞，都是在那个文件内部，逻辑上的。物理上，数据是否在硬盘的一个连续的块上，没法保证。 (32字) (pcplayer [916] 2005-12-10 03:07)
  - 这个思路既没有必要 (20字) (老玉米 [805] 2005-12-10 03:16)
    - 如果数据吞吐量很大，这是很有必要的。 (空) (pcplayer [693] 2005-12-10 03:30)
    - 必要是有的。 (空) (空山新雨 [592] 2005-12-10 07:33)
  - 像很多数据库一样，直接操作裸盘吧 (空) (leejd [779] 2005-12-10 03:25)
    - 直接操作裸盘就没法利用文件系统的 cache 了 (4字) (holly [765] 2005-12-10 08:48)
      - 能自己直接操作裸盘的，就有能力自己实现一套cache机制的了 (48字) (haitao [848] 2005-12-10 09:32)
        
        那些自己操作 raw disk 自己控制 cache 的 RDBMS system 这么做的原因是 (30字) (holly [725] 2005-12-10 09:39)
      - 用缓存也是有坏处的 (27字) (leejd [755] 2005-12-10 09:36)
        
        一般的硬盘本身就是有内部缓存的 (39字) (haitao [807] 2005-12-10 09:39)
        
        硬盘控制器还有缓存呢. (7字) (holly [787] 2005-12-10 09:40)

欢迎光临本社区，您还没有登录，不能发贴子。请在这里登录

页面内容处理时间: 0.024 - 1074120