# robots.txt

robots.txt er en tekstfil på nettsiden din som forteller søkemotorenes roboter hvilke deler av nettstedet de får besøke.

Source: https://ibenta.no/ordliste/robots-txt
Publisher: Ibenta (https://ibenta.no)
Updated: 2026-09-27

---

Filen ligger alltid på samme sted: rett under domenet, som dittdomene.no/robots.txt. Den består av enkle linjer som sier hvilke roboter regelen gjelder for, og hvilke mapper de skal holde seg unna. [Google skriver](https://developers.google.com/search/docs/crawling-indexing/robots/intro) at filen først og fremst brukes for å unngå at nettstedet får for mange forespørsler.

## Den skjuler ikke sider

Mange tror en sperre i robots.txt holder en side ute av Google. Det gjør den ikke. Ifølge Google kan en sperret side fortsatt dukke opp i søkeresultatene hvis andre nettsteder lenker til den. Vil du holde en side ute, er en noindex-merking eller passord riktig verktøy.

Den vanligste feilen er motsatt. En linje som sperrer hele nettstedet, blir glemt igjen etter utviklingen, og siden forsvinner fra [indeksen](/ordliste/indeksering).

## Sjekk din egen på ett minutt

Åpne dittdomene.no/robots.txt i nettleseren. Står det «Disallow: /» rett under «User-agent: *», er hele nettstedet stengt for søkemotorer. Da bør du si fra til den som drifter nettsiden med en gang. Finnes ikke filen, er det ikke farlig. [Google behandler det som om det ikke finnes noen sperrer](https://developers.google.com/search/docs/crawling-indexing/robots/robots_txt). Ser du en linje som begynner med «Sitemap:», viser den hvor [sitemapen](/ordliste/sitemap) din ligger.