Вы поделились папкой в Яндекс.Диске, создали публичную ссылку и отправили её коллегам. Всё выглядит безопасно: доступ есть только у тех, кто знает адрес. Но на практике эта папка — часть открытого веба. Её содержимое может проиндексировать поисковая система, а уникальные названия документов — появиться в результатах выдачи по имени вашего клиента или внутреннему коду проекта. Сервис предоставляет инструмент для предотвращения этого — файл robots.txt. Его наличие и содержание прямо отвечают на главный вопрос: открыт ли ваш публичный контент для сканирования. Проверить это можно за минуту, не будучи специалистом по SEO...