首页   >   心得技巧

关于机器人协议robots.txt的一点儿看法

近期在使用Google的站长工具时,发现了一个让我很震惊而又觉着很好玩的事情,有人利用网站的搜索结果打广告。。。

关于机器人协议robots.txt的一点儿看法

一瞬间就让我反应过来,我的机器人协议写的不够好,并没有将这类搜索结果展示的页面给屏蔽掉,而这个人刚好利用了这个漏洞,真的是让我蛮佩服的,这个广告打得我真的是服气。

我之前试过写robots.txt之后,依旧还是有大大小小的爬虫来爬取我的网站,所以我一度认为这玩意儿没有什么鸟用,所以也就没在意了。哎,大家千万要引以为鉴,不要像我一样,网站中该屏蔽的接口就老老实实屏蔽了,千万别偷懒,否则一不小心就为他人做了嫁衣不说,还把自己网站给坑死了!!!

QQ群Ⅰ: 686430774 (已满)

QQ群Ⅱ: 718410762 (已满)

QQ群Ⅲ: 638620451 (已满)

QQ群Ⅳ: 474195684

如果文章有帮到你,可以考虑请博主喝杯咖啡!

分享到:

欢迎分享本文,转载请注明出处!

作者:不忘初心

发布时间:2019-03-14

永久地址:https://www.jiweichengzhu.com/article/d65be9cab700425f840398d3c0c11024

评论

相关阅读