数据需要预先抓取的？ <- 中国开发网

CNDEV.ORG

当前在线

论坛

CBD
- 程序员情感CBD
- 程序员见面交流会
CBD开发区
- Java/J2ME
- .NET/C#
- 数据库
- Delphi/BCB
- Visual C
个人
- 袁国术的个人网站
- 翟旭东网!!!
其它
情感
游戏
- CNDEV-CS/WOW
- 浩宇长空
生活
论坛系统

中国开发网: 论坛: 程序员情感CBD: 贴子 632582

haitao：

数据需要预先抓取的？

[阅读: 395] 2008-05-21 01:52:49

那岂不是需要很大的硬盘？
而且原网页有了新内容，又需要重新抓了？？

我还以为是用户查询时实时去抓的。。。。。。。

相关信息:

发布了：www.softkb.cn (38字) (freegink [641] 2008-05-20 17:19)
- 请问你怎么抓取数据的啊？ (空) (风无影 [461] 2008-05-20 17:24)
  - 专门做了抓取数据的软件 (45字) (freegink [534] 2008-05-20 17:26)
    - 软件呢？可以看看吗？ (5字) (风无影 [449] 2008-05-20 17:30)
      - 抱歉哈，没有演示版，可以简单说说 (21字) (freegink [576] 2008-05-20 17:35)
        不明白！ (空) (风无影 [410] 2008-05-20 19:34)
- Ubuntu 搜索不到 (空) (Apache [447] 2008-05-20 17:35)
  - 哈哈，还没抓它呢 (空) (freegink [393] 2008-05-20 17:37)
- 目前正在抓取开发工具中的软件的数据中 (空) (freegink [386] 2008-05-20 17:36)
- 软口爆处男 (空) (核弹头 [602] 2008-05-20 17:38)
  - 靠靠靠 (空) (freegink [419] 2008-05-20 17:39)
- 注册用户可以建立个人软件知识库，欢迎大牛们落户 (21字) (freegink [479] 2008-05-21 09:23)
- 想法不错，有客户端吗？ (54字) (pinxue [510] 2008-05-21 09:42)
  - 有做客户端的计划，但是现在还没有做出来，现在可以用RSS访问自己的知识库，一个人做东西太慢 (25字) (freegink [560] 2008-05-21 09:48)
- 搜索结果页面下面那个搜索框没作用。。。 (空) (变废为宝 [450] 2008-05-21 09:49)
  - 确实，谢谢指出BUG (空) (freegink [373] 2008-05-21 09:51)
  - 已更正 (空) (freegink [380] 2008-05-21 09:56)
- 数据需要预先抓取的？ (60字) (haitao [394] 2008-05-21 09:52)
  - 我的想法是开始的时候先抓取目前互联网存在的内容，以后就靠注册用户来更新内容了。。。 (空) (freegink [376] 2008-05-21 09:57)
    - 抓区的哪些网站？ (空) (龙之吻 [498] 2008-05-21 10:04)
      - 自己从网上找的一些网站，欢迎提供 (空) (freegink [372] 2008-05-21 10:17)
- 大牛 (空) (龙之吻 [407] 2008-05-21 09:56)
- 不错，垂直搜索。 (空) (pcplayer [403] 2008-05-21 10:04)
- 支持一下！ (空) (李战 [365] 2008-05-21 10:20)
- 哪位有抓数据的需要，我可以帮忙 (54字) (freegink [443] 2008-05-21 10:31)
  - 难道是以文件的方式保存？不需要保存到数据库吗？ (空) (风无影 [446] 2008-05-21 10:42)
    - 见内吧 (196字) (freegink [495] 2008-05-21 10:50)
      - 你的软件是通用的吗？比我我的表有很多字段需要插入 (空) (风无影 [457] 2008-05-21 10:54)
        通用的，没有限定数据库必须是哪些字段 (空) (freegink [394] 2008-05-21 10:58)
        Cooooool (空) (风无影 [337] 2008-05-21 11:00)
- 用JAVA的牛们，请教一下java究竟分哪几块儿啊？ (34字) (freegink [661] 2008-05-21 13:08)
  - 以前程序员杂志附加过一张Java体系图，大概几百项吧，你在网上嗖嗖，应该能找到 (空) (Fish [490] 2008-05-21 13:19)
    - 搜了一下，找到了，你按照这个分类准没错 (93字) (Fish [511] 2008-05-21 13:23)
      - 它生成的临时文件有314M！ (54字) (haitao [419] 2008-05-21 13:42)
        你用什么看的？俺用foxit reader，很正常。快抛弃 abode 的 acrobat reader 吧 (空) (Fish [672] 2008-05-21 13:51)
        家里安装过。。。。刚才下载了2.3的，不支持转存。。。。。。。 (32字) (haitao [423] 2008-05-21 14:11)
      - 谢谢，基本上看明白了 (107字) (freegink [512] 2008-05-21 14:38)
  - 分为用来做事的和用来忽悠的两块。 (空) (空山新雨 [357] 2008-05-21 14:19)
- 首页搜索框直接按回车没反应，一定要鼠标点按钮。 (空) (zhong [617] 2008-05-21 13:53)
  - 已添加，谢谢 (空) (freegink [380] 2008-05-21 18:33)
- 请教大牛摸板抓取如何实现? (空) (龙之吻 [403] 2008-11-06 10:51)
  - 我猜是这样 (79字) (zhong [434] 2008-11-10 21:51)
- 咦，不错！ (空) (周星驰 [333] 2008-11-06 13:23)

欢迎光临本社区，您还没有登录，不能发贴子。请在这里登录

页面内容处理时间: 0.029 - 530944