科技时代新浪首页 > 科技时代 > 互联网 > 正文

搜索曝光企业机密 网管学习避开Google抓取


http://www.sina.com.cn 2006年02月06日 18:02 ZDNet China

  CNET科技资讯网2月6日国际报道 企业得小心放在互联网上但又不想曝光的信息不会让Google找到,戴尔上周就学了一个经验。

  戴尔尚未发布的新款笔记型标准上周就可在Google搜索中找到,戴尔得知后立即将信息从戴尔 FTP网站中卸载。

  一如其他主要搜索引擎,Google有一套自动搜索机制,会发送软件机器人(称之为蜘蛛)在网络上“爬行”,并将找到的网站加入网站检索中。由于蜘蛛会追踪各个网站中的链接,因此不需网管人员申请就可找出网站。

  根据Google所公布给网管人员的信息,网管人员若不想让自己的网站或部分网页加入Google搜索中,可在服务器根目录下放置一个robots.txt的标准文件,告知爬虫不要下载内容。

  若有紧急情况需要卸载者,Google也有提供一个自动的URL卸载机制给网管人员使用,但这需提供email地址与密码才行。

  卸载的网页其实还是可以在Google的库存网页中看到,网管人员也可插入特定源代码来避免网页遭Google“库存”。

  网管人员也需切记网络上除了Google外还有许多搜索引擎都会做同样的爬行机制,光是卸载Google的库存内容不见得其他搜索网站就看不到。

发表评论

爱问(iAsk.com) 相关网页共约99,600,000篇。



评论】【论坛】【收藏此页】【 】【多种方式看新闻】【下载点点通】【打印】【关闭




科技时代意见反馈留言板 电话:010-82628888-5595   欢迎批评指正

新浪简介 | About Sina | 广告服务 | 联系我们 | 招聘信息 | 网站律师 | SINA English | 会员注册 | 产品答疑

Copyright © 1996 - 2006 SINA Corporation, All Rights Reserved

新浪公司 版权所有