Sigurohuni që crawler-at e AI-së mund ta lexojnë vërtet faqen tuaj
Shumë faqe i bllokojnë crawler-at e AI-së pa e ditur — me një rresht në robots.txt, një rregull firewall-i ose përmbajtje që shfaqet vetëm pasi ekzekutohet JavaScript. Ne ndreqim së pari aksesin, pastaj e bëjmë çdo faqe të lehtë për t'u lexuar.
“Nëse një crawler nuk mund ta marrë faqen, përgjigjja do të shkruhet pa ju.”
Pse nisim gjithmonë nga këtu
Shtresa teknike midis jush dhe AI-së
Aksesi, rendering-u, shpejtësia dhe freskia — si për motorët e kërkimit, ashtu edhe për crawler-at e AI-së.
Politika e aksesit për crawler-at e AI-së
Një vendim i qëllimshëm për çdo bot — GPTBot, OAI-SearchBot, ChatGPT-User, PerplexityBot, ClaudeBot, Google-Extended e të tjerë — duke ndarë aksesin për trajnim nga aksesi për kërkim.
Rishikimi i firewall-it dhe CDN-së
Rregullat e Cloudflare dhe të hostimit që i bllokojnë botët e AI-së si parazgjedhje, të gjetura dhe të përshtatura me politikën tuaj.
Përmbajtje nga serveri
Përmbajtja dhe lidhjet kryesore të dërguara në HTML-në fillestare. Shumë crawler-a të AI-së nuk e ekzekutojnë JavaScript-in siç e bën Googlebot.
llms.txt dhe sinjalet e freskisë
Një skedar llms.txt, sitemap XML të pastra me data lastmod të sakta dhe IndexNow për motorët që e mbështesin.
Cili crawler bën çfarë
Bllokimi i user agent-it të gabuar mund t'ju heqë nga kërkimi me AI pa ndikuar fare te trajnimi. Këta janë kryesorët që konfigurojmë.
- GPTBot
- Crawler-i i OpenAI për trajnimin e modeleve. Bllokimi i tij nuk ju heq nga kërkimi i ChatGPT.
- OAI-SearchBot
- Përdoret për të shfaqur faqe në rezultatet e kërkimit të ChatGPT. Nëse e bllokoni, kërkimi i ChatGPT nuk mund t'i shfaqë faqet tuaja.
- ChatGPT-User
- Merr një faqe kur e kërkon biseda e një përdoruesi.
- PerplexityBot
- Indekson faqe për përgjigjet e Perplexity.
- ClaudeBot
- Crawler-i i Anthropic; Anthropic përdor gjithashtu agjentë të veçantë për kërkimin dhe për marrjet e kërkuara nga përdoruesit.
- Google-Extended
- Një token në robots.txt që kontrollon përdorimin e përmbajtjes suaj për modelet Gemini. Nuk ndikon në Google Search apo AI Overviews, të cilat përdorin Googlebot.
Si zhvillohet puna
Testi i aksesit
I kërkojmë faqet tuaja si secili crawler i AI-së dhe regjistrojmë çfarë kthehet.
Vendimi për politikën
Bashkë vendosim çfarë të lejohet për trajnim, kërkim dhe marrje nga përdoruesit.
Ndreqjet
robots.txt, rregullat e firewall-it, rendering-u dhe sitemap-et të përditësuara fillimisht në staging.
Verifikimi
Log-et e serverit të kontrolluara për 30 ditë për të konfirmuar që crawler-at e AI-së arrijnë faqet e duhura.
Çfarë merrni
Gjithçka mbetet e juaja: dokumentet, të dhënat dhe aksesi.
- Raport testi për aksesin e crawler-ave të AI-së
- Politikë e dokumentuar për robots.txt dhe firewall
- Ndreqje rendering-u për përmbajtjen që varet nga JavaScript
- llms.txt dhe sitemap XML të segmentuara
- Verifikim i log-eve për 30 ditë
Pyetje për GEO-n teknike
A duhet t'i bllokojmë crawler-at e AI-së?
Varet nga ajo që shisni. Shumica e bizneseve që duan të rekomandohen duhet t'i lejojnë crawler-at e AI-së që lidhen me kërkimin. Botuesit që licencojnë përmbajtjen e tyre mund të bllokojnë crawler-at e trajnimit. Rëndësi ka të zgjidhet me vetëdije — shumica e bllokimeve që gjejmë janë të rastësishme.
A funksionon llms.txt?
llms.txt është një standard i propozuar, dhe kompanitë e mëdha të AI-së nuk kanë konfirmuar se e përdorin për kërkim. Krijimi i tij zgjat një orë, ndaj e shtojmë si mirëmbajtje me kosto të ulët — por nuk e shesim si faktor renditjeje.
A ndryshon kjo nga SEO teknike?
Mbivendoset shumë. Shtesat janë crawler-at specifikë të AI-së, dallimi midis trajnimit dhe kërkimit, dhe fakti që shumë crawler-a të AI-së e trajtojnë JavaScript-in më pak mirë se Googlebot.
Kontrolloni nëse AI mund t'ju arrijë
Test falas: kërkojmë faqen tuaj kryesore si pesë crawler-a të ndryshëm AI dhe ju dërgojmë çfarë mori secili.