Perplexity: A Stealth Bot Blocked by Cloudflare – Mi Történt?

Cloudflare bejelentette, hogy eltávolította a Perplexity nevű crawler-t a hitelesített botok listájáról, és mostantól aktívan blokkolja annak hozzáférését a weboldalakhoz. E lépést a felhasználói panaszok és a Perplexity által elkövetett robots.txt szabályok megsértése miatt tették, amely során a Perplexity agresszív módszereket alkalmazott, hogy weboldalakat crawlerjeivel elérjen.

Cloudflare rendelkezik egy Verified Bots (Hitelesített Botok) rendszerrel, amely lehetővé teszi a megbízható botok számára, hogy hozzáférjenek a Cloudflare által védett weboldalakhoz. E rendszer keretein belül a botoknak meg kell felelniük bizonyos előírásoknak, mint például a robots.txt protokollok betartása. A Perplexity esetében azonban kiderült, hogy megsértette ezeket a követelményeket, amikor nem a megadott IP címekről próbálta meg elérni a weboldalakat, hanem eltérő, nem nyilvános IP címeket használt.

A Perplexity rejtett crawljelenségei

A Cloudflare megfigyelései szerint a Perplexity különböző technikákat alkalmazott, hogy megkerülje a robots.txt blokkolásait. Az egyik ilyen módszer az IP címek forgatása volt, amely lehetővé tette számára, hogy elkerülje a korábbi blokkokat. Ezen kívül a Perplexity a böngészőket, például a Chrome-ot utánzó user agent-et használt, hogy elkerülje a crawler-ek ellen irányuló védelmi intézkedéseket.

A Cloudflare megállapította, hogy a Perplexity botja az alábbi user agent-eket használta: PerplexityBot és Perplexity-User. Amikor a felhasználói ügynököt blokkolták, a Perplexity egy másik user agent-et használt, amely úgy tüntette fel magát, mint egy Chrome böngésző egy Mac rendszeren. Ezt a gyakorlatot spoofing-nak nevezik, amely során a rogue crawler magát legitim böngészőként azonosítja.

Cloudflare döntése és következményei

Cloudflare bejelentette, hogy a Perplexity-t eltávolította a hitelesített botok közül, és új szabályokat vezetett be a rejtett crawljelenségek megakadályozására. A vállalat hangsúlyozta, hogy az internet, ahogy azt az utóbbi három évtizedben ismertük, gyorsan változik, de a bizalom továbbra is alapvető érték. A crawljelenségeknek átláthatónak kell lenniük, világos célt kell szolgálniuk, és be kell tartaniuk a weboldalak irányelveit. A Perplexity viselkedése, amely ellentétes ezekkel az elvárásokkal, vezetett az eltávolításához.

Ez a lépés különösen fontos lehet a SEO szempontjából, mivel a Cloudflare felhasználóinak érdemes ellenőrizniük, hogy a Perplexity crawljelensége blokkolva van-e a weboldalaikon, és ha igen, lehetőségük van a crawler engedélyezésére a Cloudflare irányítópultján keresztül. A Perplexity eltávolítása a hitelesített botok köréből figyelmeztetés a weboldal tulajdonosok számára, hogy figyeljenek a botok viselkedésére és védjék meg weboldalaikat a nem kívánt crawljelenségektől.

Milyen véleménnyel van a szakértő a helyzetről?

Megkérdeztük Császár Viktor SEO szakértőt, hogy mit gondol a Perplexity és Cloudflare közötti konfliktusról. Viktor elmondta: „A Cloudflare döntése, hogy blokkolja a Perplexity crawljelenségeit, rávilágít a megbízható botok és a weboldalak védelmének fontosságára. A SEO szakmában elengedhetetlen, hogy a crawljelenségek tiszteletben tartsák a weboldalak irányelveit, és ne alkalmazzanak agresszív technikákat. A botoknak a weboldalak által meghatározott keretek között kell működniük, hogy a webes ökoszisztéma biztonságos maradhasson. A jövőbeli SEO stratégiákban fontos, hogy a weboldal tulajdonosok figyeljenek a crawler-aktivitásokra, és szükség esetén tegyenek lépéseket az esetleges jogsértések ellen. A Cloudflare intézkedései példát mutathatnak arra, hogyan lehet hatékonyan védekezni az agresszív crawljelenségekkel szemben.”

Ha szeretne többet megtudni Császár Viktor munkásságáról, látogasson el a weboldalára: Császár Viktor SEO szakértő.

Forrás: SearchEngineJournal.com