Du kan bruge Meta robotter tags til at forhindre en søgemaskine edderkop at gennemgå bestemte sider på dit websted. Du kan medtage en særlig tag i HTML-koden på siden til at fortælle robotter ikke at indeksere den pågældende side, eller ikke at følge de links på denne side. Du ville placere dette tag efter de øvrige Meta tags, som er en del af HTML-koden placeret i hovedafsnittet af en webside.
Brug af Meta robotter tags er mindre effektivt end at bruge en hele webstedet robotter tekstfil af to grunde. Først robotter til tider ignorere Meta robotter tags, og for det andet disse tags bremse robotterne læser dine sider, hvilket kan formindske antallet af sider theyâ € re villige til at kravle. Desuden kan denne metode giver din webmaster hovedpine, fordi mærkerne skal opretholdes på de enkelte sider i stedet for i et centralt arkiv.
Meta robotter tag nedenfor fortæller søgemaskinen robot ikke at indeksere siden og ikke at følge nogen af de links på siden:
<META NAME = "robotter" CONTENT = "NOINDEX, nofollow">
Du kan bruge dette mærke til at fortælle robotten til at læse og indeksere pageâ € s indhold, men ikke at følge nogen af de links:
<META NAME = "robotter" CONTENT = "INDEX, nofollow">
Den næste tag instruerer robotten at ignorere pageâ € s indhold, men følg links:
<META NAME = "robotter" CONTENT = "NOINDEX Følg">