Правка файла robots.txt

frontend/astro.config.mjs

@@ -10,7 +10,24 @@ import solidJs from '@astrojs/solid-js';
 // https://astro.build/config
 export default defineConfig({
   site: 'https://advokat086.ru',
-  integrations: [astroIcon(), mdx(), sitemap(), solidJs()],
+  integrations: [
+    astroIcon(),
+    mdx(),
+    sitemap({
+      filter: (page) => {
+        // Исключаем технические страницы
+        const blockedPaths = [
+          '/auth/',       // авторизация и регистрация
+          '/admin',       // админ-панель
+          '/api/',        // API-эндпоинты
+          '/blog/search', // поиск по блогу
+          '/404',         // страница ошибки
+        ];
+        return !blockedPaths.some(path => page.includes(path));
+      },
+    }),
+    solidJs(),
+  ],
   prefetch: true,
   vite: {
     plugins: [tailwindcss()]