Cloudflare 追蹤驗證爬蟲是否遵守網站規則
Cloudflare 於 10 月 16 日公布 Verified bots 持續問責機制，除驗證爬蟲身分，也會觀察是否遵守 robots.txt 及收到 HTTP 429 後是否降速。
標籤
BotBase
與「BotBase」相關的科技新聞。
與「BotBase」相關的科技新聞。
Cloudflare 於 10 月 16 日公布 Verified bots 持續問責機制，除驗證爬蟲身分，也會觀察是否遵守 robots.txt 及收到 HTTP 429 後是否降速。