您现在的位置是：网站首页 > 网站建设 > SEO技术SEO技术

【原】关于机器人协议robots.txt的一点儿看法

不忘初心 不忘初心 2019-03-14 围观() 评论() 点赞() 【SEO技术】

简介：近期在使用Google的站长工具时，发现了一个让我很震惊而又觉着很好玩的事情，有人利用网站的搜索结果打广告。。。一瞬间就让我反应过来，我的机器人协议写的不够好，

近期在使用Google的站长工具时，发现了一个让我很震惊而又觉着很好玩的事情，有人利用网站的搜索结果打广告。。。

关于机器人协议robots.txt的一点儿看法

一瞬间就让我反应过来，我的机器人协议写的不够好，并没有将这类搜索结果展示的页面给屏蔽掉，而这个人刚好利用了这个漏洞，真的是让我蛮佩服的，这个广告打得我真的是服气。

我之前试过写robots.txt之后，依旧还是有大大小小的爬虫来爬取我的网站，所以我一度认为这玩意儿没有什么鸟用，所以也就没在意了。哎，大家千万要引以为鉴，不要像我一样，网站中该屏蔽的接口就老老实实屏蔽了，千万别偷懒，否则一不小心就为他人做了嫁衣不说，还把自己网站给坑死了！！！

robots.txt机器人协议

看完文章，有任何疑问，请加入群聊一起交流！！！

很赞哦！ ()

上一篇：Nginx限制IP访问频率，防止暴力攻击

下一篇：事务的特性和隔离级别

相关文章

文章评论

    • 请先说点什么
    人参与，条评论

请使用电脑浏览器访问本页面，使用手机浏览器访问本页面会导致下载文件异常！！！

雨落无影

关注上方公众号，回复关键字【下载】获取下载码

用完即删，每次下载需重新获取下载码

若出现下载不了的情况，请及时联系站长进行解决

热门阅读

IntelliJ IDEA 2020.1版本最新激活方法（向下兼容）IntelliJ IDEA 2020.1版本最新激活方法（向下兼容）

站长推荐

写给关注支持我的朋友和攻击我网站的人（封面针对后者）写给关注支持我的朋友和攻击我网站的人（封面针对后者）

标签云

猜你喜欢

站点信息

  • 网站程序：spring + freemarker
  • 主题模板：《今夕何夕》
  • 文章统计：篇文章
  • 标签管理：标签云
  • 微信公众号：扫描二维码，关注我们