苏州北大青鸟|电脑人才培训中心『官方网站』

高中生毕业了做什么?高中生学什么好 苏州北大青鸟、苏州北大青鸟学费、苏州北大青鸟地址
ACCP7.0培训-入手最快 JAVA培训—收入最高 .NET培训—就业面最宽 网络营销培训—需求量最大
高中毕业学什么好 大学生找不到工作怎么办 学什么技术有前途(好转行) 初中(中专)毕业学什么好
当前位置: 主页 > 青鸟百科 >

JSP搜索引擎毕业设计与实现

时间:2012-05-11 17:45来源: 作者: 点击:

第三章 网络机器人

3.1什么是网络机器人

网络机器人又称为Spider程序,是一种专业的Bot程序。用于查找大量的Web页面。它从一个简单的Web页面上开始执行,然后通过其超链接在访问其他页面,如此反复理论上可以扫描互联网上的所有页面。

基于因特网的搜索引擎是Spider的最早应用。例如搜索巨头Google公司,就利用网络机器人程序来遍历Web站点,以创建并维护这些大型数据库。

网络机器人还可以通过扫描Web站点的主页来得到这个站点的文件清单和层次机构。还可以扫描出中断的超链接和拼写错误等。

3.2网络机器人的结构分析

    Internet是建立在很多相关协议基础上的,而更复杂的协议又建立在系统层协议之上。Web就是建立在HTTP ( Hypertext Transfer Protocol ) 协议基础上,而HTTP又是建立在TCP/IP ( Transmission Control Protocol / Internet Protocol ) 协议之上,它同时也是一种Socket协议。所以网络机器人本质上是一种基于Socket的网络程序。

3.2.1如何解析HTML

因为Web中的信息都是建立在HTML协议之上的,所以网络机器人在检索网页时的第一个问题就是如何解析HTML。在解决如何解析之前,先来介绍下HTML的几种数据。

文本:除了脚本和标签之外的所有数据

注释:程序员留下的说明文字,对用户是不可见的

简单标签:由单个表示的HTML标签

开始标签和结束标签:用来控制所包含的HTML代码

我们在进行解析的时候不用关心所有的标签,只需要对其中几种重要的进行解析即可。

超连接标签

超连接定义了WWW通过Internet链接文档的功能。他们的主要目的是使用户能够任意迁移到新的页面,这正是网络机器人最关心的标签。

 

图像映射标签

图像映射是另一种非常重要的标签。它可以让用户通过点击图片来迁移到新的页面中。

表单标签

表单Web页面中可以输入数据的单元。许多站点让用户填写数据然后通过点击按钮来提交内容,这就是表单的典型应用。

表格标签

表格HTML的构成部分,通常用来格式化存放、显示数据。

我们在具体解析这些HTMl标签有两种方法:通过JavaTM中的Swing类来解析或者通过Bot包中的HTMLPage类来解析,本人在实际编程中采用后者。

Bot包中的HTMLPage类用来从指定URL中读取数据并检索出有用的信息。下面给出该类几种重要的方法。

HTMLPage构造函数 构造对象并指定用于通讯的HTTP对象

Public HTMLPage(HTTP http)

    GetForms方法 获取最后一次调用Open方法检索到的表单清单

        Public Vector getForms()

    GetHTTP方法 获取发送给构造函数的HTTP对象

        Public HTTP getHTTP()

    GetImage方法 获取指定页面的图片清单

        Public Vector getImage()

    GetLinks方法 获取指定页面的连接清单

        Public Vector getLinks()

    Open方法 打开一个页面并读入该页面,若指定了回调对象则给出所有该对象数据

        Public void open(String url,HTMLEditorKit.ParserCallback a)

 


标签:

(原文标题:JSP搜索引擎毕业设计与实现

(责任编辑:苏州北大青鸟



相关新闻

  • 基于WEB的成本管理系统的设计
  • 基于WEB的学生成绩管理系统的设计及
  • 基于WEB的汽车信息网站的设计
  • 基于WEB的信息信息发布系统的设计及
  • 基于WEB的JSP实验室管理系统的设计
  • 基于WEB的企业人事管理系统的设计
  • 基于JSP的商场进销存管理系统的设计
  • 基于JSP的网络交易市场物业管理系统
  • 基于WEB的毕业设计选题系统的设计及
  • 基于WEB的jsp毕业设计互动平台的设计
    更多
    分享按钮
    ------分隔线----------------------------
    招生专题