Wat is crawlen?
Crawlen is het proces waarbij zoekmachines met een programma (crawler) websites bezoeken en links volgen om nieuwe en gewijzigde pagina’s te ontdekken.
Zoekmachines gebruiken crawlers, ook wel spiders of bots genoemd. Googlebot bezoekt pagina’s, leest de inhoud en volgt de links naar andere pagina’s. Zo ontdekt Google nieuwe pagina’s en ziet het wat er veranderd is.
Crawlen is de eerste stap: een pagina die niet gecrawld wordt, kan ook niet in de zoekresultaten komen. Een logische interne linkstructuur, een XML-sitemap en een snelle server helpen Google om je site efficiënt te doorlopen.
In de praktijk
Staat een nieuwe dienstpagina nergens in je menu en verwijst geen enkele pagina ernaar? Dan kan het lang duren voordat Google hem vindt. Een link vanaf een bestaande pagina lost dat vaak al op.