Vaak is het onduidelijk hoe je de robots.txt aanpast. In dit document geef je aan welke pagina's wel en niet gecrawld (en dus geïndexeerd) mogen worden door zoekmachines. Door ‘allow’ of ‘disallow’ te typen voor de link die je al dan niet wil laten opnemen in de zoekresultaten optimaliseer je het crawl budget die zoekmachines jouw toekennen. Gezien SEO ons nauw aan het hart ligt, leggen we je uit hoe je dit document kan aanpassen.
Omdat elk CMS-systeem een andere manier heeft om het document aan te passen, is het belangrijk om een onderscheid te maken tussen de verschillende CMS-systemen.
Hoe pas je de robots.txt aan in WordPress
Er zijn verschillende mogelijkheden om wijzigingen te maken in je robots.txt binnen WordPress. Hier volgen 2 eenvoudige manieren.
Robots.txt creëren en aanpassen via Yoast
We halen wel vaker aan dat Yoast een geweldige plugin is voor alles omtrent SEO in WordPress. Ook bij het creëren van een robots.txt laat deze SEO tool je niet in de steek.
Na activatie van de Yoast plugin klik je op SEO in je ‘dashboard’. Daarna navigeer je naar "Extra" en verder naar de bestandsbewerker/file editor. Nu krijg je de optie om jouw robots.txt aan te maken en/of aan te passen.
Alternatief:
-
Download de better robots.txt plugin en activeer deze.
-
Klik op deze plugin onderaan in je settings/instellingen via je ‘dashboard’.
-
Pas je robots.txt aan.
Robots.txt aanpassen bij Drupal?
Het aanpassen van robots.txt in Drupal verloopt iets complexer dan in WordPress.
Kijk na of je de robots.txt kan vinden in de volgende standaardlocatie: Home > administration > configuration > search and metadata.
Indien je deze hier niet terugvindt, is het mogelijk dat deze enkel via een FTP (File Transfer Protocol) beschikbaar is.
Om de robots.txt alsnog te kunnen wijzigen moet je een FTP-programma installeren, FileZilla en CyberDuck zijn daar 2 voorbeelden van. Een uitgebreide handleiding voor overzetten van ‘files’ met deze programma’s vind je bij de webhost van je website (bv. Combell).
Nadien kan je de module Robot.txt wel gebruiken om de robots.txt via Drupal te wijzigen. Belangrijk hierbij is het aanpassen van de naam die het originele robots.txt-bestand heeft, dit om conflicten te vermijden. Deze module is vooral handig wanneer je meerdere sites beheert.
Robots.txt in Joomla
Ook in dit geval gaat de robots.txt via een FTP-programma. Anderzijds kan je dit ook beheren via een webhosting account als cPanel.
Wix.com SEO-dashboard
Wix implementeerde onlangs extra mogelijkheden wat betreft SEO. Nu kan je onder andere je robots.txt op een eenvoudige manier wijzigen. De instructies hiervoor zijn:
-
Open je ‘dashboard’ en klik op Marketing & SEO.
-
Bij SEO-tools vind je de robots.txt editor.
-
Klik op weergave en maak de nodige aanpassingen.
We hopen dat deze post jouw hielp, indien zo laat het ons zeker weten.
Staat jouw CMS-systeem/web builder hier niet tussen? Geen nood, we kunnen deze lijst steeds uitbreiden met nieuwe toevoegingen. Laat zeker iets van je horen.
