Robots.txt Generator

Hvad er robots.txt – og hvorfor er den vigtig?

robots.txt er en simpel tekstfil, der ligger i roden af dit domæne (fx https://ditdomæne.dk/robots.txt). Den fortæller søgemaskiner (som Google), hvilke områder de må og ikke må crawle.

Begræns crawling af irrelevante eller følsomme områder (fx /wp-admin/ eller interne søgesider)
Skån dit crawlbudget på store websites
Link til dit sitemap.xml så nye sider findes hurtigere

Bemærk: Disallow stopper crawling, ikke indeksering. En URL kan stadig optræde i søgeresultater, hvis den linkes udefra.

Sådan bruger du værktøjet

Indsæt dit sitemap-link (valgfrit – anbefales)
Tilføj stier du vil tillade (sjældent nødvendigt) og blokere
Klik Generér → kopiér eller download din robots.txt

Placér filen i webroden: https://ditdomæne.dk/robots.txt (ikke i en undermappe).

Generér robots.txt

Hurtige eksempler

Standard (tillad alt + sitemap)

User-agent: *
Sitemap: https://www.ditdomæne.dk/sitemap.xml

Blokér søgesider & carts

User-agent: *
Disallow: /?s=
Disallow: /search
Disallow: /cart
Sitemap: https://www.ditdomæne.dk/sitemap.xml

Typiske fejl du skal undgå

Blokere hele sitet ved en fejl: Disallow: / (brug kun midlertidigt)
Tro at Disallow fjerner indeksering: den stopper kun crawling
Glemt sitemap-linje: gør det sværere at finde nye sider
Forkerte stier: tjek case, trailing slash og wildcards

Test og validering

Tjek live: /robots.txt (skal returnere 200 OK)
GSC → Indstillinger → Crawlstatistik for at se eventuelle fejl
Valider dine regler på et par vigtige URLs

Annonce · Hosting

Klar til at få dit website online?

Du har robots.txt på plads – næste skridt er at få dit site live. Simply.com gør det nemt at købe domæne & webhotel på få minutter.

Køb domæne & hosting hos Simply.com