Testa Robots.txt i Webmaster Tools.

Har du en hemsida som behöver en robots.txt-fil så är det kanske inte helt lätt att hålla ordning på denna, länkar ändras, tas bort eller läggs till, och har man en stor sida, med flera hundra länkar, så kanske detta inte ligger högst upp på ”att-göra-listan”.

Nu lanserar Google en uppdatering i Webmaster Tools som gör det oerhört mycket enklare att hålla reda på detta. Du hittar uppdateringen under Crawl-sektionen (Genomsökningsåtgärder) i Webmaster Tools under rubriken ”testverktyg för robots.txt”.

google robots

Här kan man se den robots.txt-fil som finns för sidan samt göra ändringar och söka i den efter specifika länkar. Den ger ett överskådligt svar på var den specifika länken finns och om den följs eller inte, du kan även ändra och testa igen så att dina ändringar fungerar som du har tänkt dig. Det man ska komma ihåg bara är att spara eventuella ändringar och ladda upp dessa på servern efteråt, då detta inte görs i WMT.

Man kan även gå tillbaka i tiden och se gamla robots.txt-filer och se vad som kan ha stoppat en eventuell genomsökning. Google rekommenderar även att man går igenom de robots.txt-filer man har då dessa kan innehålla fel, som nu enkelt går att hitta och åtgärda. Du kan exempelvis kombinera detta med att använda den uppdaterade ”hämta som Google” funktionen för att rendera viktiga sidor på din hemsida.

Hittar man blockerade länkar, som exempelvis blockerar CSS eller Javascript, så kan man enkelt hitta vad som blockerar dessa och enkelt åtgärda detta, dessa problem finns oftast i äldre robots.txt-filer.

Google hoppas att denna uppdatering leder till ett enklare förhållningssätt till robots.txt-filer, som i sin tur gör det enklare för Googlebot att indexera och genomsöka våra hemsidor.

Kommentarer inaktiverade.