Wat is robots.txt?
In het kort
Robots.txt is een tekstbestand in de hoofdmap van je website waarin je zoekmachines vertelt welke delen ze wel of niet mogen crawlen.
Het robots.txt-bestand staat op jouwdomein.nl/robots.txt. Crawlers lezen het als eerste. Je kunt er bijvoorbeeld in aangeven dat de beheeromgeving niet gecrawld hoeft te worden, en waar je XML-sitemap staat.
Let op: robots.txt voorkomt crawlen, maar niet altijd indexeren. Een geblokkeerde pagina kan nog in Google verschijnen als andere sites ernaar linken. Wil je een pagina echt uit Google houden, gebruik dan een noindex-tag.
In de praktijk
Een verkeerde regel in robots.txt kan een hele website onzichtbaar maken voor Google. Na een verhuizing of nieuwe website is het daarom altijd een van de eerste dingen die we controleren.