优化 robots.txt,提升搜索引擎可见性
该助手用于分析并优化网站的 robots.txt 文件,帮助你判断当前配置是否合理,找出可能影响搜索引擎抓取和收录的问题,并给出一份更清晰、更有效的改进版本。通过对比原始与优化后的 robots.txt,并配合通俗易懂的说明,你可以快速理解哪些页面应该被抓取、哪些应当屏蔽,从而提升网站的搜索引擎可见性和整体 SEO 表现。
参考示例
网站地址
https://www.example.com
当前 robots.txt 内容
User-agent: *
Disallow: /private/
