# robots.txt for http://www.tiancj.xyz # 禁止所有搜索引擎爬取 日记本 和 个人知识库 相关页面 User-agent: * Disallow: /feelings_/ # 禁止爬取 Feelings日记本 Disallow: /confluence/ # 禁止爬取 个人知识库 Sitemap: http://www.tiancj.xyz/sitemap.xml # 主流搜索引擎单独适配 User-agent: Baiduspider Disallow: /feelings_/ Disallow: /confluence/ Sitemap: http://www.tiancj.xyz/sitemap.xml User-agent: Googlebot Disallow: /feelings_/ Disallow: /confluence/ Sitemap: http://www.tiancj.xyz/sitemap.xml User-agent: Sogou Spider Disallow: /feelings_/ Disallow: /confluence/ Sitemap: http://www.tiancj.xyz/sitemap.xml User-agent: 360Spider Disallow: /feelings_/ Disallow: /confluence/ Sitemap: http://www.tiancj.xyz/sitemap.xml