User-agent: *
Allow: /

# Exemples de SERP servis en iframe depuis la home, sans interet en tant que page
Disallow: /example-html-
Disallow: /example-json

# Apercus de fichiers (JSON/CSV) et telechargements
Disallow: /preview/

# Parametres publicitaires et de tracking : evite de crawler des doublons
Disallow: /*?gad_campaignid=
Disallow: /*?utm_

Sitemap: https://www.semscraper.com/sitemap.xml