robots.txt

Filen ligger alltid på samme sted: rett under domenet, som dittdomene.no/robots.txt. Den består av enkle linjer som sier hvilke roboter regelen gjelder for, og hvilke mapper de skal holde seg unna. Google skriver at filen først og fremst brukes for å unngå at nettstedet får for mange forespørsler.

Den skjuler ikke sider

Mange tror en sperre i robots.txt holder en side ute av Google. Det gjør den ikke. Ifølge Google kan en sperret side fortsatt dukke opp i søkeresultatene hvis andre nettsteder lenker til den. Vil du holde en side ute, er en noindex-merking eller passord riktig verktøy.

Den vanligste feilen er motsatt. En linje som sperrer hele nettstedet, blir glemt igjen etter utviklingen, og siden forsvinner fra indeksen.

Sjekk din egen på ett minutt

Åpne dittdomene.no/robots.txt i nettleseren. Står det «Disallow: /» rett under «User-agent: *», er hele nettstedet stengt for søkemotorer. Da bør du si fra til den som drifter nettsiden med en gang. Finnes ikke filen, er det ikke farlig. Google behandler det som om det ikke finnes noen sperrer. Ser du en linje som begynner med «Sitemap:», viser den hvor sitemapen din ligger.