astro_avtourist/frontend/public/robots.txt

# https://www.robotstxt.org/

User-agent: *
Allow: /

# Заблокированные страницы
Disallow: /auth/
Disallow: /404
Disallow: /blog/search

Sitemap: https://avtourist-surgut.ru/sitemap-index.xml
Добавлен файл robots.txt 2026-04-01 19:54:32 +05:00			`# https://www.robotstxt.org/`

			`User-agent: *`
			`Allow: /`

Добавлена система Sitemap 2026-04-14 18:59:12 +05:00			`# Заблокированные страницы`
			`Disallow: /auth/`
			`Disallow: /404`
			`Disallow: /blog/search`

			`Sitemap: https://avtourist-surgut.ru/sitemap-index.xml`