这些原因导致了所搜引擎蜘蛛抓取的异常

作者 : 振兴网络     2019-1-14 10:53:39     阅读: 99 次

郑州网站建设】这些原因导致了所搜引擎蜘蛛抓取的异常

 

  我们在给网站做seo优化推广的时候会碰到这样的情况,有些网站内容质量确实还挺不错的,用户也能看的到,但是却没有被百度蜘蛛抓取到,这对于搜索引擎来说是一种损失,那我们把这种情况叫做抓取异常,那造成这样情况的原因有哪些呢?关键词精灵根据关键词排名优化给大家分析一些常见的抓取异常原因:
  
  1.服务器的问题
  
  服务器不稳定的情况下会造成网站终端访问不了,无法链接。或者出现一直连接不上的情况,针对这种情况就只能换好的服务器了,千万不贪图小便宜,最终害了网站。
  
  2.运营商的问题
  
  国内正常情况下都使用的是电信和联通这两种,一般用的是双线服务,如果使用了单线服务造成的网站无法访问,那么最好升级国双线服务或者使用CND服务等方法解决。
  
  3.DNS异常
  
  当蜘蛛无法解析你网站的IP的时候,就会出现DNS异常或者DNS错误问题,可能是服务商把蜘蛛设置封禁了,或者网站IP的地址不正确造成的。可使用工具检查域名是否解析正确,如果不正确或者无法解析,那么联系域名商更新IP解决即可。
  
  4.禁止蜘蛛抓取
  
  这个就要看查看相关的代码设置,是否有禁止Baiduspider抓取设置,或者robots协议的设置问题等。
  
  5.UA封禁
  
  UA是用户代理(User-Agent),服务器通过UA识别访问者的身份,返回异常页面(如403,500)或跳转到其他页面的情况,即为UA封禁。
  
  当网站不希望Baiduspider访问的时候,需要设置对应的访问权限。
  
  6.死链
  
  死链是网站中的无效页面,没有任何价值并且出现访问无效的情况。有协议死链和内容死链。
  
  对于死链问题,通过采用404页面制作或统计好404页面向百度站长平台提交数据即可。
  
  7.异常跳转
  
  异常跳转也就是当前的无效页面比如死链、已经删除的页面通过301直接跳转到首页或相关目录页面的情况。
  
  或者是跳转到出错、无效的页面上。
  
  这些情况都需要重视。主要还是301协议的问题,没有必要的建议不要设置即可。
  
  8.其它情况
  
  a.JS代码问题,JS代码与搜索引擎并不友好,也不是重点识别的对象,如果JS代码蜘蛛识别不了,那么也会现问题异常。
  
  b.百度会根据网站的内容、规模、访问情况等自动设定一个合理的抓取压力。但是异常情况下,压力控制失常的话,会导致服务器负荷作出自我保护的突发性封禁情况。
  
  c.压力过大引起的偶然封禁:百度会根据站点的规模、访问量等信息,自动设定一个合理的抓取压力。但是在异常情况下,如压力控制失常时,服务器会根据自身负荷进行保护性的偶然封禁。这种情况下,请在返回码中返回503(其含义是“Service Unavailable”),这样搜索引擎蜘蛛会过段时间再来尝试抓取这个链接,如果网站已空闲,则会被成功抓取。
  
  总结:那网站出现抓取异常的情况对自己网站的本身也是不好的,因为对于一些经常更新内容但是又不能正常抓取的网站,各个搜索引擎会觉得这个网站的用户体验度是不好的,同时还会降低对网站的评价,在抓取、索引、排序上都会受到一定程度的负面影响,最终的影响会造成网站本身从百度获取流量的多与少。
  
  经过搜索引擎各种算法的推出,相信站长做站都是防不胜防,作为一名老站长也结合了自身的一些优化经验,来告诉大家,哪些词是绝对不能优化的,不然会得不偿失的,轻则页面被K,重则整个网站都会被K。
  
  非法类的
  
  非法类的关键词是绝对不能用一个正规的站点去优化,当一个正规的站点,哪怕是某一篇文章加入了两个非正规的词进去,都很有可能在云服务器给屏蔽,其实阿里云就是这样的,当一篇文章内部有非法的词,那么服务器会给你屏蔽这个词。让你整个页面都打不开。
  
  擦边行业类
  
  那么擦边行业类的文章一样是不能出现的,虽然说服务器是能够接受一些擦边行业类的文章,比如说棋牌游戏之类的,但搜索引擎是不能接受的,因为像新站发布这类文章,搜索引擎是绝对接受不了的,他不知道你什么时候会拿着这篇文章来盈利,所以干脆直接不收录你这篇文章,或者直接K掉你这篇文章,当然前提是以文章的形式发布。
  
  医疗保健类
  
  虽然说这个东西是合法的内容,但是搜索引擎不会轻易让一个医疗保健类的站点seo优化排名,除非这个站点名气非常大,并且没有商业性质,比如39问答网,他只是一个问答平台,并不卖产品,所以给出排名并不会有很大影响。
  
  而我们来操作站点的时候,首先如果你用企业站来做某个病的排名,可以肯定的告诉你绝对做不上,你做的在久,也不会给你出现排名,就连收录都非常困难。
  
  经验教学类
  
  大家肯定纳闷,这类词为何不能够做SEO优化呢,而这类词大多数的情况都是使用文章在做排名。
  
  百度通过走后门的形式让自己的产品优先排名,首先是自身的产品,其次是管理在于自己并不会出现广告类的信息,所以我们在做排名的时候,尽可能不要选择这类词去做优化,不然会徒劳无功的!


郑州振兴网络:郑州网站建设,郑州网站推广,郑州网站优化,
郑州网站设计,郑州网站制作,联系方式:15238019964