Проверьте настройки robots.txt и убедитесь, что поисковые боты OpenAI, Anthropic, Perplexity и других компаний могут обходить страницы