# robots.txt — Dattha
# Doel: maximale indexeerbaarheid van publieke content + blokkeren van technische/gevoelige paden.
# Plaats dit bestand in de webroot: /robots.txt

User-agent: *
Disallow:

# Blokkeer technische/gevoelige mappen (pas aan op jouw echte structuur)
Disallow: /assets/config/
Disallow: /vendor/
Disallow: /logs/
Disallow: /cache/
Disallow: /tmp/
Disallow: /private/
Disallow: /includes/

# Blokkeer API/actie endpoints (indexeren heeft geen zin)
Disallow: /api/
Disallow: /ajax/
Disallow: /cron/
Disallow: /webhook/

# Blokkeer modals/templates (als ze als losse URL’s bereikbaar zouden zijn)
Disallow: /modal/

# Blokkeer queryvarianten die vaak duplicate content veroorzaken (alleen als je ze gebruikt)
# Let op: robots.txt ondersteunt geen echte regex; deze zijn “prefix based”.
Disallow: /*?utm_
Disallow: /*&utm_
Disallow: /*?gclid=
Disallow: /*?fbclid=
Disallow: /*?ref=
Disallow: /*?replytocom=

# Crawl budget: maak crawling efficiënter (veilig om te zetten)
Crawl-delay: 2

# Sitemap (zet altijd een absolute URL)
Sitemap: https://Dattha.nl/sitemap.xml