我当时就觉得论坛的目录差别太大的，有树形的，有平板的。。。。。 <- 中国开发网

CNDEV.ORG

当前在线

论坛

CBD
- 程序员情感CBD
- 程序员见面交流会
CBD开发区
- Java/J2ME
- .NET/C#
- 数据库
- Delphi/BCB
- Visual C
个人
- 袁国术的个人网站
- 翟旭东网!!!
其它
情感
游戏
- CNDEV-CS/WOW
- 浩宇长空
生活
论坛系统

中国开发网: 论坛: 程序员情感CBD: 贴子 561766

haitao：

我当时就觉得论坛的目录差别太大的，有树形的，有平板的。。。。。

[阅读: 507] 2007-09-07 02:33:14

我当时就觉得论坛的目录差别太大的，有树形的，有平板的。。。。。
各个元素（发贴时间，根话题id，作者，标题，帖子id.....）出现的先后各不相同
为了实现顺序扫描截取，很难搞一个通用的模板来控制分析过程。。。。

相关信息:

最近想搞一个基于IE内核的网络爬虫程序方案 (603字) (李战 [1103] 2007-09-06 09:58)
- 好像有的离线浏览器是这样搞的 (空) (龙之吻 [442] 2007-09-06 10:02)
- 现在基本上都能取到动态的路径了，不过遇到JavaScript弹出对话框时，还要手工点击啊。怎样不让JavaScript对话框弹出来？ (空) (李战 [644] 2007-09-06 12:13)
  - 已消灭了脚本错误提示对话框，但JavaScript的alert等对话框还消灭不了 (空) (李战 [700] 2007-09-06 14:56)
    - 成功消灭JavaScript的alert,comfirm等窗口！ (空) (李战 [1217] 2007-09-06 21:33)
- 主意挺好： (142字) (王中王 [966] 2007-09-06 12:30)
  - 通信借用ie（wininet?）还行，解释、执行脚本都靠ie恐怕不好。。。。。 (54字) (haitao [569] 2007-09-06 12:43)
    - 打开新窗口可以控制的，不会出现窗口乱弹现象。只需模拟关键元素的点击即可，调其click方法。 (空) (李战 [550] 2007-09-06 15:11)
  - 不需要去管复杂的表单处理，只要能把WebForm等那些基于VIEW_STATE和JavaScript等导航的路径找出来就可以了，这些只需模拟点击即可。 (空) (李战 [515] 2007-09-06 15:08)
- 基于IE内核 (17字) (老玉米 [540] 2007-09-06 12:55)
  - IE内核有MSDN大量资料可查，看其他开源Browser，工作量就大了。 (空) (李战 [555] 2007-09-06 15:12)
    - 在GUI上模擬 (空) (老玉米 [378] 2007-09-06 15:23)
      - 效率太低了，干不了大事 (空) (老玉米 [419] 2007-09-06 15:24)
        nod,这东西用来做成个通过网页猜解密码，或者根据脚本定制浏览动作的工具还行。用这个来抓取搜索结果确实意义不大。 (46字) (Water-E [984] 2007-09-06 15:51)
        其实，俺这个东东是给抓取某些网站内的部分结构化数据服务的，每天抓取几千或上万条即可。不干大事的 (空) (李战 [411] 2007-09-06 15:56)
        現成得東西大把，比如ibm的 (71字) (老玉米 [498] 2007-09-06 16:23)
        說實話，個人認為，這個產品不是什么新東西了 (13字) (老玉米 [448] 2007-09-06 16:25)
        俺是孤陋寡聞，搜了一下，是一個自動測試工具哈，應該是自行定義腳本來控制網頁測試流程的吧。可能與我的需求不同 (空) (李战 [490] 2007-09-06 17:04)
        RFT看怎么用了 (空) (老玉米 [436] 2007-09-06 17:13)
        关于这个，俺做过一个小工具 (51字) (Apache [493] 2007-09-06 17:24)
        show me the source..... (空) (pcplayer [400] 2007-09-06 17:25)
        在家里的机器，回头找找... (28字) (Apache [450] 2007-09-06 17:27)
        小牛！ (空) (李战 [459] 2007-09-06 17:29)
- 我做了一个类似的东西，不过不是基于IE内核的，只是分析HTML (21字) (freegink [587] 2007-09-07 09:57)
  - 一样一样 (空) (Apache [429] 2007-09-07 10:00)
  - 厉害！我的论坛离线是直接程序写死的，多支持一种论坛就要多派生一个抓取类(虽然处理过程基本类似)。。。。。。。 (85字) (haitao [515] 2007-09-07 10:08)
    - 一个模板 (3832字) (freegink [556] 2007-09-07 10:23)
      - 这个模版比俺的那个高级，俺那个是取两个特征字符串中间的内容 (空) (Apache [564] 2007-09-07 10:29)
    - 另一个模板，这个是一个页面多条数据的，刚才那个是一个页面一条数据的 (3645字) (freegink [595] 2007-09-07 10:25)
      - 我当时就觉得论坛的目录差别太大的，有树形的，有平板的。。。。。 (108字) (haitao [506] 2007-09-07 10:33)
      - 能不能讲一下用模板抽取数据的思路？ (空) (李战 [417] 2007-09-07 10:53)
        就是根据正则表达式分析，不过做个模板还是挺麻烦 (24字) (freegink [486] 2007-09-07 10:59)
        肯定是用正则 (326字) (李战 [524] 2007-09-07 11:11)
        分析页面源码提取字段的特征规律 (40字) (freegink [482] 2007-09-07 11:43)
        其实我第二个模板就是一个比较规则的表格数据，这种的比较容易，因为规律很明显 (108字) (freegink [626] 2007-09-07 13:38)
        不理会HTML的标签，也就是说不一定用于HTML分析，其他文本数据也是可以的 (空) (freegink [463] 2007-09-07 11:01)
        不过这个处理不了你说的例如window.open之类的东西 (空) (freegink [471] 2007-09-07 11:02)
        这个问题已经被我消灭掉了 (22字) (李战 [450] 2007-09-07 11:24)
- 如果都是格式化的东西用python狠方便，我写过一个 (空) (pigprince [519] 2007-09-07 11:27)
  - 他的网址有些是动态生成的，python的beautifulsoup是不错，但是对于动态的还是有点麻烦的 (空) (leejd [814] 2007-09-07 11:29)
- 顶起来 (空) (Apache [424] 2007-10-22 17:43)
  - 这不是完美解决了吗？？ (43字) (haitao [452] 2007-10-22 17:58)
- 这个东西挺有意思，俺也要弄 (空) (Apache [434] 2007-10-22 18:30)

欢迎光临本社区，您还没有登录，不能发贴子。请在这里登录

页面内容处理时间: 0.017 - 543672