Направо от Google:
Мета таговете са чудесен начин за уеб администраторите да предоставят на търсачките информация за своите сайтове. Мета маркерите могат да се използват за предоставяне на информация на всякакви клиенти, а всяка система обработва само мета таговете, които разбират, и игнорира останалите.
Ако искате да блокирате напълно всички търсачки:
Защо?
Може би това е малко частен URL адрес на вашия сайт, но не е защитен по такъв начин, че бот за търсене да не може да го види. Например, ако дадена страница изисква влизане, за да я види, това така или иначе е блокирано от бот за търсене. Но ако това е просто скрит URL, кой знае как се движат ботовете за търсене, така че може да искате да предотвратите индексирането.
Резултатите от търсенето са друг често срещан. Странно да е резултатът от търсенето да бъде резултат от търсенето, може би. Темите на WordPress обикновено включват това:
Може да променим това малко и да кажа на ботове, хей, можете да следвате връзки тук, за да продължите да индексирате сайта, но не индексирайте тази страница специално.
Други
Търсачките обикновено използват описателния маркер за текстово съдържание до :
Вижте страницата на Google за други специфични за Google, като например възможността да се спрат специфични за Google потребителски интерфейси, като тяхното „поле за търсене на връзки към сайта“.