Генератор Robots.txt файла

Поисковая оптимизация

Robots.txt - генератор


По умолчанию - все роботы:  
    
Crawl-Delay:
    
Карта сайта: (оставьте пустым, если у вас нет) 
     
Поиск роботов: Google
  Google Image
  Google Mobile
  MSN Search
  Yahoo
  Yahoo MM
  Yahoo Blogs
  Ask/Teoma
  GigaBlast
  DMOZ Checker
  Nutch
  Alexa/Wayback
  Baidu
  Naver
  MSN PicSearch
   
Ограниченные каталоги: Путь относительно корня и должен содержать косую черту "/"
 
 
 
 
 
 
   



Теперь создайте файл robots.txt в корневом каталоге. Скопируйте текст выше и вставьте в текстовый файл.


Около Robots.txt - генератор

Файл robots.txt представляет собой текстовый файл, хранящийся в корневом каталоге веб-сайта, который дает информацию  о том, к каким страницам, папкам и / или типам файлов они должны или не должны иметь доступ для сканирования и индексации сайта.