所有文章

• 【原】关于机器人协议robots.txt的一点儿看法

  SEO技术

  近期在使用Google的站长工具时，发现了一个让我很震惊而又觉着很好玩的事情，有人利用网站的搜索结果打广告。。。一瞬间就让我反应过来，我的机器人协议写的不够好，并没有将这类搜索结果展示的页面给屏蔽掉，而这个人刚好利用了这个漏洞，真的是让我蛮佩服的，这个广告打得我真的是服气。我之前试过写robots.txt之后，依旧还是有大大小小的爬虫来爬取我的网站，所以我一度认为这玩意儿没有什么鸟用，所以也就没在意了。哎，大家千万要引以为鉴，不要像我一样，网站中该屏蔽的接口就老老实实屏蔽了，千万别偷懒，否则一不小心就为他人做了嫁衣不说，还把自己网站给坑死了！！！...

  不忘初心 2019-03-14 围观(471) 评论(0) 点赞(12) 【SEO技术】

  阅读更多