Что нам нужно от поиска? В попытке ответа на этот вопрос вновь таки обратимся к проблеме обеспечения безопасности от нежелательной индексации тех или иных страниц или даже целых разделов и подразделов сайта.
Зная, поведение поискового программного кода и предполагая, что он может индексировать все общедоступные и закрытые файлы папки, мы прибегаем к удобному способу, устанавливая в корневой папке файл под названием Robots.txt, который закрывает доступ к указанным папкам.
Это очень простой, и в тоже время, довольно действенный метод. Ну, а если же нам нужна еще более мощная система охраны, то тогда нам, как не старайся, не обойтись без специально написанного метатега, который ни за что не пропустит поискового паука для индексации закрытых разделов проекта. Профессионалы обеспечат вам надежную защиту.