盐城鹤翔网络是专业的盐城网站建设公司!专业的网站建设、网页设计、网站优化团队,已成功服务过千家用户。
盐城鹤翔网络公司 盐城网站建设咨询电话
企业网站建设  营销型网站建设  网站优化
seo密码

蜘蛛爬取网站的基本方式

发布时间:2013年9月28日 发布人:盐城网站建设公司

为抓取到网站上尽量多的页面,搜索引擎蜘蛛会跟踪网页上的链接,从一个页面爬到下一个页面,这和蜘蛛在蜘蛛网上爬行是一样的,这也就是搜索引擎机器人称为蜘蛛的由来。
    整个互联网是由相互链接的网站及页面组成的。从理论上说,蜘蛛可以从任何一个页面出发,顺着链接可以爬行到网上任何一个页面。当然,由于网站及页面链接结构异常复杂, 蜘蛛需要采取一定的爬行策略才能行走于整个互联网海洋。
    通常搜索引擎蜘蛛爬行遍历策略分有两种,一种是深度优先,另一种是广度优先。
    所谓深度优先,指的是蜘蛛沿着发现的链接一直向前爬行,直到前面再也没有其他链接,正所谓不撞南墙;然后返回到第一个页面,沿着另一个链接再一直往下爬行。

蜘蛛爬取网站的基本方式

    如图1所示,蜘蛛跟踪链接,从A页面爬行到Al,A2, A3,A4,到A4页面后, 己经没有其他链接可以跟踪就返回A页面,顺着页面上的另一个链接,爬行到Bl,B2, B3, B4。在深度优先策略中,蜘蛛一直爬到这个链接的尽头,在返回到起点,爬向另一条链接。
    广度优先是指蜘蛛在一个页面上发现多个链接时,不是顺着一个链接一直向前,而是把页面上所有第一层链接都爬一遍,然后再沿着第二层页面上发现的链接爬向第三层页面。
    如图2所示,蜘蛛从A页面顺着链接爬行到Al,Bl, C1页面,直到A页面上的所 有链接都爬行完,然后再从A1页面发现的下一层链接,爬行到A2, A3, A4,……页面。

返回到:seo密码 下一篇:常见的搜索引擎蜘蛛
建站百科 更多>>
企业网站建设只有这样做 才能起到营销... 2017-10-12
网页设计是美工重要还是什么重要 2017-6-16
营销型网站建设绝不是精美那么简单 2017-6-13
网站策划是网站建设中极为重要的环节... 2017-5-31
做网站 域名策划真的很重要 2017-5-3
盐城哪家公司做网站做的比较好 2017-4-28
企业网站备案的重要性 2017-4-27
企业网站应该做成什么样 2017-4-26
网络建设的策划工作非常重要 2017-3-21
企业如果不做手机网站建设将会失去好... 2017-2-3
2017年网站建设最新发展趋势 2017-1-11
企业网站该用什么样的空间 2017-1-10
网络营销常识 更多>>
云付为什么能成为万众创业的好项目 2017-11-14
企业网络营销真正开始与网站建设后期... 2017-9-13
盐城网站建设公司谈网站售后的重要性... 2017-8-31
企业在网站建设合同签订之后一定要做... 2017-8-21
企业如何构建有效网络营销体系 2017-8-15
为什么很多企业网站得不到想要的效果... 2017-8-4
企业网站建设应该注重什么? 2017-7-31
企业开展网络营销需要一个什么样的网... 2017-7-19
要做有价值的网站 不能做价格便宜的网... 2017-7-7
盐城阿里巴巴店铺装修公司哪家好 2017-6-27
盐城鹤翔网络谈阿里巴巴店铺装修 2017-6-22
企业网络营销怎么做才会有效果 2017-6-12
SEO密码 更多>>
做网站优化的5个好处 2017-8-19
对网站优化认识的不足 会让企业网络营... 2017-6-9
如何提升产品关键词在百度搜索结果中... 2017-5-18
聚合页或站内搜索将成为SEO的过去 2017-4-10
网站内容建设在网站推广中的作用非常... 2017-3-9
网站关键词分析应该这样去做 2016-10-2
网站优化中绝对不可以轻视网页标题策... 2016-10-2
网站优化始于网站建设 2016-9-24
网站优化方法需要在实践中摸索前行 2016-9-22
从百度霸屏来看网站关键词优化排名 2016-9-21
盐城网站优化公司告诉你什么是锚文本... 2016-9-17
做网站优化千万不要把眼光局限在网站... 2016-9-17
网站首页 | 营销型网站建设 | 盐城网站优化 | 产品服务 | 盐城短信群发 | 客户案例 | 鹤翔简介 | 联系鹤翔

电话:0515-89889736 15862089008 地址:盐城市东进国际装饰城1栋5楼8536室
盐城鹤翔网络技术有限公司专业从事于盐城网站建设,盐城网站制作,盐城网页设计, 欢迎来电咨询!
苏公网安备 32090202000679号 版权所有 2008-2020 苏ICP备10220343号-5
网站地图

收缩
    电话咨询
  • 15862089008