Ko Meta, Microsoft in drugi obremenjujejo spletne strežnike

V zadnjih mesecih se vse več ponudnikov spletnega gostovanja srečuje z novim problemom – agresivnimi AI pajki oziroma “crawlerji”, ki jih uporabljajo velika tehnološka podjetja za zbiranje podatkov za umetno inteligenco. Med najbolj znanimi so Meta, Microsoft, Amazon, OpenAI, Anthropic in številni SEO ter podatkovni servisi.

Če so bili nekoč največja težava klasični spam bot-i in napadi na WordPress strani, danes vedno več obremenitev povzročajo legitimni, vendar izredno agresivni pajki velikih podjetij.

Kaj pravzaprav počnejo ti pajki?

AI pajki obiskujejo spletne strani podobno kot Googlebot, vendar z drugačnim namenom. Njihov cilj ni zgolj indeksiranje strani za iskalnik, ampak množično zbiranje vsebin za treniranje modelov umetne inteligence.

Takšni pajki pogosto:

• pregledujejo ogromno število strani v zelo kratkem času,
• nalagajo velike količine slik,
• obiskujejo tudi stare ali nepomembne URL-je,
• izvajajo več deset ali celo sto vzporednih povezav,
• ignorirajo priporočene omejitve hitrosti,
• povzročajo visoko CPU in RAM porabo na strežniku.

Na strežnikih se to pogosto pokaže kot:

• nenadni skoki load-a,
• počasno delovanje spletnih strani,
• povečano število Apache ali LiteSpeed procesov,
• visoka poraba PHP procesov,
• obremenitev MySQL baze,
• težave pri delovanju WordPress strani.

Kateri pajki trenutno povzročajo največ težav?

Med najpogosteje opaženimi so:

• Meta External Agent
• FacebookExternalHit
• Amazonbot
• GPTBot
• ChatGPT-User
• ClaudeBot
• Bytespider
• CCBot
• PetalBot
• SemrushBot
• AhrefsBot
• MJ12Bot
• DotBot
• DataForSeoBot

Velik problem je predvsem to, da se nekateri od teh predstavljajo kot legitimni crawlerji, dejansko pa ustvarjajo promet, primerljiv z manjšim DDoS napadom.

Zakaj je to problem za ponudnike gostovanja?

Na deljenih hosting strežnikih si več spletnih strani deli iste sistemske vire. Če ena ali več strani postane tarča agresivnega crawlerja, lahko to vpliva tudi na druge uporabnike na istem strežniku.

Pogoste posledice:

• počasnejše nalaganje strani,
• prekoračitve LVE limitov,
• večje število timeout napak,
• težave z wp-admin okoljem,
• počasno delovanje administracije,
• občasni HTTP 503 odzivi,
• povečana poraba pasovne širine.

Težava je še posebej izrazita pri WordPress straneh, WooCommerce trgovinah in straneh z veliko slikami ali dinamično vsebino.

Zakaj Googlebot običajno ni tak problem?

Google že vrsto let uporablja precej dobro optimiziran sistem crawlanja:

• spoštuje robots.txt,
• prilagaja hitrost obiska,
• zmanjšuje obremenitev ob počasnem odzivu strežnika,
• uporablja učinkovito cache logiko.

Mnogi novejši AI crawlerji pa trenutno delujejo precej bolj agresivno in manj “uvidevno” do strežnikov.

Kako se ponudniki gostovanja branimo?

V zadnjem času številni ponudniki uvajajo dodatne zaščite:

• omejevanje števila povezav iz posameznega IP-ja,
• blokiranje znanih AI crawlerjev,
• ModSecurity pravila,
• dodatne firewall zaščite,
• rate limiting,
• DDoS zaščito,
• cache optimizacije.

Na nekaterih strežnikih je danes brez dodatnih zaščit praktično nemogoče zagotavljati stabilno delovanje večjega števila WordPress strani.

Ali je rešitev popolna blokada?

Ne nujno.

Nekateri crawlerji imajo tudi legitimne namene:

• prikaz predogledov povezav,
• SEO analize,
• indeksiranje vsebin,
• raziskovalne namene.

Zato se večina ponudnikov odloča za kombinacijo:

• omejevanja hitrosti,
• selektivnih blokad,
• zaščite najbolj obremenjenih URL-jev,
• dinamičnih pravil glede na obremenitev strežnika.

Kaj lahko naredijo lastniki spletnih strani?

Če imate WordPress stran ali spletno trgovino, priporočamo:

• redne posodobitve,
• uporabo cache sistema,
• zmanjšanje števila nepotrebnih vtičnikov,
• uporabo CDN zaščite,
• spremljanje porabe virov,
• zaščito wp-login.php in xmlrpc.php,
• optimizacijo slik in baze.

Pri večjih straneh pa je pogosto smiselno razmisliti tudi o zmogljivejšem gostovanju ali dodatni zaščiti pred boti.

Zaključek

Internet se spreminja. Klasične iskalnike vse bolj dopolnjuje umetna inteligenca, z njo pa prihaja tudi povsem nova vrsta obremenitev spletnih strežnikov.

Čeprav AI prinaša ogromno koristi, trenutno mnogi ponudniki gostovanja opažamo, da nekateri AI pajki povzročajo precejšnje obremenitve in težave pri stabilnosti spletnih strani.

Zato postajajo napredne zaščite, firewall sistemi in pametno filtriranje prometa danes pomembnejši kot kadarkoli prej.