Zeptix Crawler Policy
Der Zeptix-Indexer lädt öffentlich erreichbare Webseiten ausschließlich dann, wenn ein Bot-Betreiber diese Quelle für seine eigene Wissensbasis hinzufügt.
Technische Regeln
- User-Agent:
Zeptix-Indexer/1.0 (+https://zeptix.io/legal/crawler) - robots.txt, noindex und noai werden standardmäßig respektiert.
- Keine Cookies, keine Logins, kein JavaScript-Rendering, keine Captcha-Umgehung.
- Harte Limits für Seitenzahl, Tiefe, Datenvolumen und Laufzeit pro Crawl.
Sperrwunsch oder Beschwerde
Wenn du Webseiten-Betreiber bist und nicht möchtest, dass deine Inhalte über Zeptix verarbeitet werden, blockiere den User-Agent per robots.txt oder kontaktiere uns unter [email protected].