Getting Started

10 Robots.txt

配置网站 Rotots 规则,调整被爬取规则。

前言

robots.txt 是告诉搜索引擎是否可以索引。哪些页面我们需要保护,不能加入索引。或者我们处于开发阶段,先不要索引。所以还是很有用的。

开发阶段屏蔽搜索

.env 配置

# robots

NUXT_SITE_ENV=preview

启用索引

  • 删掉 NUXT_SITE_ENV 配置
  • 配置 nuxt.config.ts 文件
      robots: {
        disallow: ['/api', '/account']
      },
    

    屏蔽 /api /account 目录

  • 查看 robots.txt https://saas-fast.ducafecat.com/robots.txt
    # START nuxt-robots (indexable)
    User-agent: *
    Disallow: /api
    Disallow: /account
    
    Sitemap: https://saas-fast.ducafecat.com/sitemap.xml
    # END nuxt-robots
    

end


Resources

Features

Company

Copyright © 2024. All rights reserved.