User-agent: * Allow: / # 网站地图位置 Sitemap: https://yunhuodong.top/sitemap.xml # 禁止访问的目录(如果有的话) # Disallow: /admin/ # Disallow: /private/ # 爬取延迟(秒) Crawl-delay: 1 # 特定搜索引擎的规则 User-agent: Googlebot Allow: / Crawl-delay: 1 User-agent: Baiduspider Allow: / Crawl-delay: 2 User-agent: 360Spider Allow: / Crawl-delay: 2 User-agent: Sogou web spider Allow: / Crawl-delay: 2