Роботс.тхт нужен чтобы закрыть страницы от индексации или чтобы вместо главной стояла другая страница и тд. Но никак не для лучшей индексации...%)