13 lines
280 B
Text
13 lines
280 B
Text
# https://www.robotstxt.org/
|
|
|
|
User-agent: *
|
|
Allow: /
|
|
|
|
# Заблокированные страницы
|
|
Disallow: /auth/
|
|
Disallow: /404
|
|
Disallow: /blog/search
|
|
|
|
# url файла sitemap после деплоя проекта
|
|
Sitemap: https://avtourist-surgut.ru/sitemap-index.xml
|
|
|