全部回复
(11)
2011-04-18 14:51:00
沙发
知道了后台有什么用，没帐号、密码你侵入得了别人网站？
2011-04-18 14:55:00
板凳
有本事用他盗我球球，在此恭候
2011-04-18 14:56:00
地板
你抓住的是稻草
2011-04-18 15:10:00
#5
1楼，你建过网站么？抓取的是管理员登录后的页面，你进去就是管理员，知道SID了密码就好破，一般都是MD5加密的，网上破MD5的网站很多的
2011-04-18 15:13:00
#6
呵呵，楼主可能不清楚我的工作，我是做搜索引擎优化的，你说我建站没...
2011-04-18 15:15:00
#7
再说，有多少中国人有谷歌，基本都在用百度。
2011-04-18 15:24:00
#8
呵呵，是我班门弄斧了，不过我想请问一下一般网站都有robots.txt保护重要页面不被抓取，谷歌是怎么抓取的呢？
2011-04-18 15:32:00
#9
我们只做百度的搜索，至于谷歌的抓法不是很了解。
当蜘蛛访问站点时，它首先会检查站点根目录下是否存在robots.txt，如果存在，搜索机器人就会按照该文件中的内容来确定访问的范围；如果该文件不存在，所有的蜘蛛将能够访问网站上所有没有被保护的页面，重要页面无法访问。至于谷歌为什么能抓取到，不明白。
当蜘蛛访问站点时，它首先会检查站点根目录下是否存在robots.txt，如果存在，搜索机器人就会按照该文件中的内容来确定访问的范围；如果该文件不存在，所有的蜘蛛将能够访问网站上所有没有被保护的页面，重要页面无法访问。至于谷歌为什么能抓取到，不明白。
2011-04-18 15:36:00
#10
要是想阻止百度、谷歌等搜索引擎抓取网站内容，那就在服务器的根目录中放入一个 robots.txt 文件 文件
2011-04-18 15:46:00
#11
好担心哦！
2011-04-19 11:01:00
#12
路过
登录 后才能回复
flag举报帖子