Секреты продвижения сайтов

Повесть о важности robots.txt

Ппц, о чудо, яндекс при addurl стал нормально определять то, что сайт не может проиндексироваться из за неправильного robots.txt. Теперь при добавлении в аддюрл сайта с неправильно созданным !!!!или отсутствующем!!!! файле robots.txt вы увидете такое сообщение :

Возможно и раньше было так, но расскажу я вам одну историю. Дело в том, что примерно месяц назад я намутил около 20 доменов с тиц 10+. Намутил сам и домены вроде бы должны были быть чистее чистого т.к до этого предположительно не юзались вебмастерами из рунета. Но не тут то было, создавая один за одинм на этих доменах сайты на разных хостерах в 80% случаев при добавлении этих сайтов в аддюрл мне яндекс писал, что «Ваш домен запрещен к индексации». Я естественно расстроился нехило, вроде и через вебархив смотрел и по бекам — все было чисто. Да и домены все в gltd зонах net com biz org. › Читать далее

Метки : addurl, robots.txt, платон