Правка файла robots.txt

2026-04-15 00:15:06 +05:00 · 2026-04-15 00:15:06 +05:00 · 762727290f
commit 762727290f
parent 2e892cccfb
3 changed files with 31 additions and 1 deletions
--- a/frontend/astro.config.mjs
+++ b/frontend/astro.config.mjs
@ -10,7 +10,24 @@ import solidJs from '@astrojs/solid-js';
 // https://astro.build/config
 export default defineConfig({
  site: 'https://advokat086.ru',
-  integrations: [astroIcon(), mdx(), sitemap(), solidJs()],
+  integrations: [
+    astroIcon(),
+    mdx(),
+    sitemap({
+      filter: (page) => {
+        // Исключаем технические страницы
+        const blockedPaths = [
+          '/auth/',       // авторизация и регистрация
+          '/admin',       // админ-панель
+          '/api/',        // API-эндпоинты
+          '/blog/search', // поиск по блогу
+          '/404',         // страница ошибки
+        ];
+        return !blockedPaths.some(path => page.includes(path));
+      },
+    }),
+    solidJs(),
+  ],
  prefetch: true,
  vite: {
    plugins: [tailwindcss()]
--- a/frontend/public/robots.txt
+++ b/frontend/public/robots.txt
@ -0,0 +1,11 @@
+User-agent: *
+Allow: /
+
+# Заблокированные страницы
+Disallow: /auth/
+Disallow: /admin
+Disallow: /api/
+Disallow: /blog/search
+Disallow: /404
+
+Sitemap: https://advokat086.ru/sitemap-index.xml
--- a/frontend/src/layouts/Layout.astro
+++ b/frontend/src/layouts/Layout.astro
@ -48,6 +48,8 @@ if (Astro.request) {
    {canonicalLink ? <link rel="canonical" href={canonicalLink} /> : null}
    <!-- yandex verification -->
    <meta name="yandex-verification" content="b10d32bf1e46a882" />
+    <!-- sitemap -->
+    <link rel="sitemap" href="/sitemap-index.xml" />
  </head>
  <body class={`${props.bodyClass || "bg-gray-50"}`}>
    <Header />