Getting Started
10 Robots.txt
配置网站 Rotots 规则,调整被爬取规则。
前言
robots.txt 是告诉搜索引擎是否可以索引。哪些页面我们需要保护,不能加入索引。或者我们处于开发阶段,先不要索引。所以还是很有用的。
开发阶段屏蔽搜索
.env
配置
# robots
NUXT_SITE_ENV=preview
启用索引
- 删掉
NUXT_SITE_ENV
配置 - 配置
nuxt.config.ts
文件robots: { disallow: ['/api', '/account'] },
屏蔽
/api
/account
目录 - 查看 robots.txt
https://saas-fast.ducafecat.com/robots.txt
# START nuxt-robots (indexable) User-agent: * Disallow: /api Disallow: /account Sitemap: https://saas-fast.ducafecat.com/sitemap.xml # END nuxt-robots
end