crawler

Alles over de crawler

De crawlers van zoekmachines zoals Google zijn cruciaal voor de werking van Google en de vindbaarheid van jouw website. Als je al een website hebt voor je bedrijf heb je vast weleens van crawlers gehoord. Crawlers worden ook wel spiders genoemd omdat ze als spinnen in een web te werk gaan. In dit geval is het niet zomaar een web maar ‘The World Wide Web’. Ben jij benieuwd wat een crawler is en hoe deze crawlers te werk gaan? Lees dan vooral even verder, wij van iKy Creative leggen het graag aan je uit!

Wat is een crawler?

Een crawler zoals de Googlebot, is een ontworpen softwareprogramma. Zoekmachines zoals Google maken gebruik van deze software om het internet te doorzoeken op zoek naar nieuwe en/of aangepaste webpagina’s. Na het crawlen begint het indexeren. Dus wanneer jouw website niet gecrawld kan worden zal jouw website ook niet verschijnen in de resultatenpagina van Google.

Wil jij ervoor zorgen dat jouw website goed geoptimaliseerd is, maar kom je er niet uit? Wij helpen je graag een handje! Neem contact met ons op voor vrijblijvend advies en laten we het onmogelijke mogelijk maken!

Hoe werkt een crawler?

Het proces van de crawler is simpeler dan dat je misschien denkt. Wanneer de crawler op jouw website komt gaat de crawler alle vindbare URL’s af om de achterliggende pagina’s te vinden. Het is dus belangrijk dat de interne linkbuilding van jouw website in orde is. Wanneer er geen link is naar een bepaalde pagina zal deze niet gevonden worden door de crawler.

Het belang van de crawler

Voor SEO-redenen is het van groot belang dat jouw website toegankelijk is voor de crawler. Als de crawler op een website terecht komt via de URL’s maakt de crawler een kopie van de website. Deze kopie komt terecht in de database van Google waarna de website ook daadwerkelijk geïndexeerd wordt. Zonder de crawler komt jouw website dus nooit terecht in de resultatenpagina van Google. Zo zou je veel mogelijke klanten mislopen. De website wordt nu namelijk niet meer gevonden door mensen die op zoek zijn naar jouw dienst of product.

Linkbuilding-computer

De crawler beïnvloeden

Gelukkig zijn er wel degelijk manieren om crawlers zoals Googlebot een handje te helpen. Hieronder zetten wij de verschillende manieren voor jou op een rijtje:

  • Robots.txt

De robots.txt is een klein tekstbestand die instructies geeft aan crawlers zoals de Googlebot. Zo kan je via de robots.txt de crawler bijvoorbeeld verwijzen naar de sitemap wat het crawlen makkelijker maakt. Verder kan je ook de toegang tot pagina’s zoals de afrekenpagina weigeren. Dit soort pagina’s hoeven namelijk niet in de resultatenpagina te komen.

  • Gebruik een sitemap

Zoals je al eerder had gelezen maak je het de crawler makkelijker door de crawler te verwijzen naar de sitemap van jouw website. Maar dan moet je uiteraard wel een sitemap hebben op jouw website. Een sitemap dient namelijk als een soort inhoudsopgave voor de crawler. Erg handig dus!

  • Canonical URL

Een canonical URL is een code in de URL van een bepaalde webpagina. Door je webpagina van een canonical URL te voorzien laat je aan de crawler weten welke pagina geïndexeerd moet worden. Zo voorkom je dat pagina’s die op elkaar lijken worden gezien als duplicate content. Het kan namelijk zo zijn dat duplicate content niet geïndexeerd wordt en dit zou erg zonde zijn.

Wanneer je deze manieren gebruikt op jouw website zal je de crawlability van de website verhogen. Zo weet je zeker dat ook jouw website terecht komt op de resultatenpagina van Google!

Wil je meer leren over online marketing of heb je een brandende vraag over een ander onderdeel ervan? Ga terug naar onze Online Marketing Uitgelegd-pagina en vind een ander interessant onderwerp.