AI-SEO-Radar Bot
Naš crawler poštuje robots.txt, rate-limiti (≤1 req/s/host), i vašu infrastrukturu.
User-Agent
AISEORadarBot/1.0 (+https://aiseo.megzo.biz/bot)Šta radimo
Dohvatamo robots.txt i sitemap.xml
Rendiramo stranice headless Chrome-om (Browser Rendering API)
Ekstraktujemo sirov HTML, renderovan DOM, JSON-LD, meta tagove
Ne interagujemo sa UI (klikovi, skrolovanje, forme)
Ne pristupamo privatnim / admin putanjama
Udžbenik politeness
- ≤ 1 zahtev/sekund po hostu
- Poštujemo Crawl-delay i crawl-rate hintove
- Backoff na 429/5xx sa eksponencijalnim kašnjenjem
- Identifikujemo se jasno: AISEORadarBot/1.0 (+https://aiseo.megzo.biz/bot)
Kako nas blokirati (ako zaista želite)
Dodajte u robots.txt: User-agent: AISEORadarBot Disallow: / Napomena: ovo VAM NE POMOŽE za AI vidljivost — samo nas sprečava da auditiramo.
User-agent: AISEORadarBot
Disallow: /Tehnički kontakt
Pitanja o bot ponašanju: bot@megzo.bizaudit@megzo.biz