首页 | 心情日记 | 建站心得 | 编程技术 | 大盘分析 | 股市信息 | 学习园地 | 电脑技巧 | 物流外贸 | 另类其它 | 站长推荐 | 给我留言 | 相册

用户登陆
用户:
密码:
 
不保存保存一天
保存一月保存一年

站点日历
73 2024 - 10 48
  12345
6789101112
13141516171819
20212223242526
2728293031


站点统计

最新评论

日志搜索

 标题   内容


ACCESS数据库在线维护工具 利用ResponseXML的方法调用163天气预报
未知 如何屏蔽搜索引擎的蜘蛛抓取   [ 日期:2010-10-29 17:38:51 ]   [ 来自:本站原创 ]

海外邮件中继,海外退信中继,美国高速VPS,不限流量VPN,邮局维护和管理,邮件网关,EMOS邮件中继,POSTFIX邮件中继,Winwebmail邮件中继,Winmail邮件中继,DBMail邮件中继,JDMail邮件中继,Exchange邮件中继,MDaemon邮件中继 淘宝店:http://shantan.taobao.com 云邮科技官网:www.yunrelay.com

【字体设置:
一、创建robots.txt文本。
     robots.txt文本的文件应该同时包含2个域,“User-agent:”和“Disallow:”,每条指令独立一行。
     1.User-agent:
     指定允许抓取的蜘蛛,如给出参数,只有指定的蜘蛛能够抓取;如果值为通配符“*”号,代表允许所有蜘蛛抓取。如:
     User-agent: Googlebot*,表示只允许Google的蜘蛛抓取;
     User-agent: *,则表示允许所有蜘蛛抓取。
     注意:User-agent必须出现在第一行(有意义的行,注释除外),用以首先声明用户代理。
     2.Disallow:
     指定禁止蜘蛛抓取的目录或文件,如:
     Disallow: /help.php,表示禁止抓取根目录下help.php文件;
     Disallow: /admin/,表示禁止抓取根目录下的admin子目录中任何内容;
     Disallow:,值为空时,表示不限制,蜘蛛可以抓取站内任何内容。
     Disallow: /,表示禁止蜘蛛抓取根目录下的所有内容。
     如果需要指定多个目录或文件,可以用多个“Disallow: 文件或目录名”来指定,但必须每一项单独一行。
     二、robots Meta标签。
     robots.txt是放在网站中,文件级的网络蜘蛛授权;而robots Meta标签是放在网页中,用于部分网页需要单独设置的情况,两者的功能是一样的。
     Meta robots标签必须放在<head>和</head>之间,格式:
     <meta name=”robots” content=”index,follow” />
     content中的值决定允许抓取的类型,必须同时包含两个值:是否允许索引(index)和是否跟踪链接(follow,也可以理解为是否允许沿着网页中的超级链接继续抓取)。共有4个参数可选,组成4个组合:
     index,follow:允许抓取本页,允许跟踪链接。 
     index,nofollow:允许抓取本页,但禁止跟踪链接。 
     noindex,follow:禁止抓取本页,但允许跟踪链接。 
     noindex,nofllow:禁止抓取本页,同时禁止跟踪本页中的链接。 
     以上第一条和第四条还有另一种写法:
     index,follow可以写成all,如:
     <meta name=”robots” content=”all” />
     noindex,nofollow可以写成none,如:
     <meta name=”robots” content=”none” />
     需要注意的是,很多搜索引擎是不支持robots Meta标签的,只有少数搜索引擎能够识别并按给定的值抓取。所以,建议您尽可能的使用robots.txt文件来限制抓取。

引用这个评论 香香公主 于 2010-11-01 15:27:08 发表评论: 
学习


引用这个评论 jiagqiagxu 于 2010-10-30 15:30:04 发表评论: 
学习了。

引用这个评论 牛呀牛 于 2010-10-30 14:37:21 发表评论: 

引用这个评论 Thanatus 于 2010-10-30 07:07:20 发表评论: 
楼上的兄弟说的有道理。。纯顶。。

引用这个评论 weirz 于 2010-10-29 23:15:10 发表评论: 
这个有些高深,非兄弟那样博学所以看不懂,纯顶了

   发表评论 - 不要忘了输入验证码哦!
作者: 用户:  密码:  我要注册 验证码: 
为防止广告注册机程序,验证码不会自动显示,请点击此处显示或者(刷新)验证码!
评论:

禁止表情
禁止UBB
禁止图片
识别链接
识别关键字
确定发布?
最多可以输入200个字,目前你已经输入了0个字;你今日还可以发表10条评论!
 
   

CopyRight © 2008-2010 广东金融学院030904班 All Rights Reserved
Powered by www.030904.com