署理加盟 2019全新署理方案 挣钱+省钱左右开弓,独立渠道,丰盛赢利!

您现在的方位: unibet网 > 站长学院 > SEO资讯 >

什么是robots协议对搜索引擎优化的影响

来历:不知道 发布时刻:2019-03-30热度:我要谈论
什么是robots协议 蜘蛛spider在拜访一个网站时,会首先会检查该网站的根域下是否有一个叫做 robots.txt的纯文本文件,这个文件用于 指定spider在您网站上的抓取规模 。前期robots协议是避免网站内的隐私,避免抓取用户不想让搜索引擎曝光的页面。 robots.txt文件方位 r...

unibet注册unibet淘宝店开业,好礼送不断

robots协议的效果

什么是robots协议

蜘蛛spider在拜访一个网站时,会首先会检查该网站的根域下是否有一个叫做 robots.txt的纯文本文件,这个文件用于指定spider在您网站上的抓取规模。前期robots协议是避免网站内的隐私,避免抓取用户不想让搜索引擎曝光的页面。

robots.txt文件方位

robots.txt文件应该放置在网站根目录下。比方https://www.vi586.com/robots.txt这个文件

robots一般格局

User-agent: *
Disallow: 
allow:

robots不支撑中文

百度蜘蛛现在在robots里不支撑中文,假如途径里边带了中文,能够挑选UrlEncode编码的写法,如

http://www.xx.com/tags/%D7%B0%D0%DE%CE%AC%BB%A4%B1%A3%D1%F8.html

"*"和"$"的意义

Baiduspider支撑运用通配符"*"和"$"来含糊匹配url。

"$" 匹配行完毕符。
"*" 匹配0或多个恣意字符。

robots协议对搜索引擎优化优化的影响

1.屏蔽隐私内容或无内容页面。前面说到蜘蛛的爬取对索引量有着重要的效果,能缩短录入周期。蜘蛛一般都会全站爬取内容,但有些质量一般的页面被抓取会影响全体排名,比方:登陆页、注册页、购物车、表纲、个人隐私文件等。

2.屏蔽某些动态的内容屏蔽,如:tag标签,在刚开端的时分尽量屏蔽蜘蛛抓取,到后期安稳的时分再收拾后敞开。tag标签的效果能够参阅《TAG标签的正确用法》

3.屏蔽重复内容页面。如:多个页面无内容或空谈论;不同途径翻开的页面都相同。跟带www和不带www的页面说法不相同,能够把这两个页面301重定向到其间一个,会集权重。

4.屏蔽死链接。一般的死链会回来404过错,当然站内过错或服务器问题,是无法屏蔽的。

robots的主要功用

1.制止蜘蛛抓取

dede后台有许多php、js、css等内容,但这些内容对排名没有太大效果,能够运用disallow制止抓取

User-agent: sogou spider
Disallow: /

代表制止搜狗蜘蛛进行抓取,在中国大陆规模内,一般的企业网站只需百度蜘蛛,谷歌蜘蛛,360蜘蛛就能够了,其他蜘蛛频频抓取网站会形成网站拜访速度受到影响。假如制止这些蜘蛛进行抓取,搜索引擎以为你是不友好的。

2.引导蜘蛛抓取

Sitemap: http://www.vi586.com/sitemap.xml

以上字段是引导蜘蛛依照sitemap网站地图的要求抓取。蜘蛛的抓取次序是依照编写自上而下,假如操控得越准确,则遵从准确的规矩。

3.操控抓取规模

该行有符号“/”,代表着只包括该栏目下的文章/目录/子类,不包括自身;

反之无“/”,代表包括包括该栏目下的文章/目录/子类和自身。

4.举例最常见的robots.txt写法

DedeCMS的robots的写法:

User-agent: *
Disallow: /plus/ad_js.php
Disallow: /plus/advancedsearch.php
Disallow: /plus/car.php
Disallow: /plus/carbuyaction.php
Disallow: /plus/shops_buyaction.php
Disallow: /plus/erraddsave.php
Disallow: /plus/posttocar.php
Disallow: /plus/disdls.php
Disallow: /plus/feedback_js.php
Disallow: /plus/feedback.php
Disallow: /plus/mytag_js.php
Disallow: /plus/rss.php
Disallow: /plus/search.php
Disallow: /plus/recommend.php
Disallow: /plus/stow.php
Disallow: /plus/count.php
Disallow: /plus/heightsearch.php
Disallow: /tags.php
Disallow: /member
Disallow: /include
Disallow: /templets
User-agent: sogou spider
Disallow: /
User-agent: MSNBot
Disallow: /
User-agent: Slurp
Disallow: /
User-agent: Teoma
Disallow: /
User-agent: Gigabot
Disallow: /
User-agent: Scrubby
Disallow: /
User-agent: Robozilla
Disallow: /
User-agent: Nutch
Disallow: /
Sitemap: http://www.vi586.com/sitemap.xml

这儿要留意网站地图网站robots的最后边,让搜索引擎先遵从抓取规模再引导抓取结构。

robots安全重要说明

robots不管是对搜索引擎仍是对任何人都是能够拜访的,简单露出某些隐私或后台程序,而每个建站程序都有缝隙,树大才招风,黑客运用这些缝隙做些欠好的工作,后果不堪设想。一般的大型网站都是自己建立程序,本钱较高,缝隙也较少(仅仅没那么多人进犯)。

对DEDE、DZ、PW等运用的比较多的建站程序,有许多开源的功用,没有经验的站长很简单成为他人的“肉鸡”,常常检查自己网站的外链、快照状况就能发现是不是被人动了四肢。检查文章《别让网站的robots成为最大的缝隙》。

本文地址:https://www.m88nob1.com/搜索引擎优化/1214.html

    责任编辑:unibet网

    宣布谈论

    谈论列表(条)