Сървърни логове: какво показват за Googlebot и AI ботовете

Сървърният лог (access log) е файл, в който сървърът записва всяка заявка към сайта: кой е поискал адреса, кога, какво е отговорил сървърът и с какъв браузър или бот. За SEO това е единственото място, където виждате как Googlebot и AI ботовете наистина обхождат сайта ви, а не как би трябвало да го правят.

Какво пише в един ред от лога

Най-разпространеният формат е combined. Той е формат по подразбиране на Nginx и един от стандартните формати в Apache. Всеки ред съдържа IP адреса, часа, заявката (метод, адрес и протокол), кода на отговора, размера на отговора, страницата, от която идва посетителят (referrer), и user agent, тоест името на браузъра или бота.

Какво показват логовете за SEO

• Кои страници обхожда Google и кои не. Важна страница, която Googlebot не е посещавал седмици, рядко се обновява в търсенето.
• Колко често идва. Новите и често обновявани страници трябва да се обхождат по-често от старите.
• Какъв отговор получават ботовете. Пренасочвания (3xx), липсващи страници (404) и сървърни грешки (5xx), които посетителите не виждат, но ботовете виждат.
• Къде се хаби обхождане. Параметри, филтри и сортирания в онлайн магазин, които дават хиляди почти еднакви адреси.
• Страници без вътрешни линкове. Адреси, които Google още обхожда, но в сайта няма линк към тях.
• Бавни отговори. В някои формати се записва и времето за отговор.

AI ботовете в логовете

В логовете вече се срещат и AI ботове. Те не са един вид: едни събират данни за обучение на моделите, други търсят информация за отговорите в чат асистента, трети отварят страница, защото потребител я е поискал в момента.

Източници: документацията на OpenAI, Anthropic и Perplexity. OpenAI подчертава, че всяка настройка е отделна: можете да забраните GPTBot за обучение и да пуснете OAI-SearchBot, за да ви цитира ChatGPT.

Google-Extended не го търсете в логовете. Google пише, че той няма собствен user agent: обхождането става с обикновените ботове на Google, а Google-Extended е само знак в robots.txt. С него решавате дали съдържанието да се ползва за обучение на моделите Gemini. На класирането в Google Search не влияе.

Как да проверите, че ботът е истински

Всеки може да напише „Googlebot“ в user agent. Bing го казва директно: user agent може да се фалшифицира. Затова проверявате IP адреса:

• Google. Обратен DNS на IP адреса трябва да води към домейн googlebot.com, google.com или googleusercontent.com, а прав DNS на този домейн трябва да върне същия IP. Google публикува и списъци с адресите си, например common-crawlers.json за Googlebot.
• Bing. Обратният DNS трябва да завършва на search.msn.com. Bing има и инструмент Verify Bingbot и списък bingbot.json.
• AI ботовете. OpenAI (gptbot.json, searchbot.json, chatgpt-user.json), Anthropic (bots.json) и Perplexity (perplexitybot.json, perplexity-user.json) публикуват списъци с IP адресите си.

Случай от нашия сайт: robots.txt разрешава, сървърът забранява

През юли 2026 г. в логовете на нашия сайт видяхме, че истински адрес на OpenAI от официалния им списък получава код 403, тоест „забранено“. robots.txt пускаше AI ботовете, но защитната стена на хостинга (ModSecurity) ги блокираше, независимо от това какво пише там. Хостингът потвърди проблема и правилото беше изключено.

Без логовете нямаше как да разберем. Search Console показва само Google, а отвън изглеждаше, че AI ботовете просто не идват. Ако сайтът ви не се появява в отговорите на ChatGPT или Claude, проверете първо дали ботовете им изобщо стигат до страниците.

Логове или Search Console

Отчетът „Статистика за обхождането“ в Search Console показва общите заявки на Google, размера на изтегленото, средното време за отговор, състоянието на хоста, кодовете на отговор, типовете файлове, целта на обхождането (откриване на нов адрес или обновяване на познат) и вида на Googlebot. Удобен е, но има граници:

• Показва само ботовете на Google.
• Google пише, че отчетът брои повечето заявки, но не всички, и че може да има малки разлики с логовете.
• Примерните адреси не са пълен списък.
• Има го само за основни ресурси (домейн или префикс на корена на сайта).

Самият Google казва, че при сайт под хиляда страници отчетът обикновено не ви трябва. Логовете ви трябват, когато искате да видите всички ботове, всяка заявка и точния час.

Инструменти за анализ на логовете

• Screaming Frog Log File Analyser. Проверява дали ботовете на търсачките и AI са истински. Безплатната версия обработва до 1 000 реда от лога и един проект. Чете форматите на Apache, W3C Extended и Amazon Elastic Load Balancing.
• Таблица. За малък сайт логът за няколко дни се отваря в Excel или Google Sheets и се филтрира по user agent.
• Команден ред. Ред като grep "GPTBot" access.log | wc -l показва колко заявки е направил GPTBot.

При повечето хостинги логовете се свалят от контролния панел. Ако не ги намирате, поискайте ги от хостинга.

Кога си струва

Google пише, че бюджетът за обхождане е грижа главно за сайтове с над 1 милион страници, които се менят всяка седмица, за сайтове с над 10 000 страници, които се менят всеки ден, и за сайтове с много адреси в състояние „Открито - понастоящем не е индексирано“. За по-малките стига картата на сайта да е актуална и отчетът за индексиране да се гледа редовно.

Логовете обаче си струват и за малкия сайт в три случая: след преместване или смяна на адресите, когато страници изчезват от Google без ясна причина, и когато искате да знаете дали AI ботовете стигат до вас. Ако подозирате проблем с обхождането, започнете със SEO одит на сайта. Как се вписва това в цялостната SEO оптимизация, има в пълния ни наръчник.

Често задавани въпроси