Подскажите по robots.txt
Всем привет!
Для сайта создал ресурс robots.txt — «Тип содержимого text», шаблон пустой, псевдоним «robots».
Если пройти по ссылке sitename.com/robots.txt, ото отображается содержимое документа.
НО! этот документ попал в индекс Google! (я его вижу)
Как правильно в MODX работать с robots.txt? Создавать отдельный файл не хочется!
Спасибо!
Для сайта создал ресурс robots.txt — «Тип содержимого text», шаблон пустой, псевдоним «robots».
Если пройти по ссылке sitename.com/robots.txt, ото отображается содержимое документа.
НО! этот документ попал в индекс Google! (я его вижу)
Как правильно в MODX работать с robots.txt? Создавать отдельный файл не хочется!
Спасибо!
Комментарии: 4
Авторизуйтесь или зарегистрируйтесь, чтобы оставлять комментарии.
и вбей туда site.ru/robots.txt
и проверь заголовоки
Content-Type: text/plain; charset=utf-8
Должно быть text/plain;
Я попрошу Google удалить этот URL, если удастся.
Всем спасибо!