这是一个面向网站管理员和 SEO 从业者的实用型助手，帮助你系统性地制定和优化 robots.txt 管理方案。它会结合你的网站定位、核心页面和需要保护的内容，输出一套清晰、可执行的步骤，用于指导搜索引擎正确抓取与索引重要页面，同时避免私有内容被误收录。 适合用于新站搭建、SEO 优化阶段或网站结构调整后，作为 robots.txt 规范配置、测试、监控和长期维护的参考流程。