Как да блокирате индексирането на сайт от ChatGPT

OpenAI предостави информация за блокиране на индексирането на сайтове от своя GPTBot crawler. За да ограничат достъпа, собствениците на сайтове могат да добавят редове към файла robots.txt или да блокират IP адресите на търсещия робот.

През последните години, с технологичния напредък на изкуствения интелект, се наблюдава повишен интерес към защитата на личната информация и съдържанието, което се поставя онлайн. Например през април 2023г. големи ресурси като Stack Overflow и Reddit обявиха намерението си да таксуват компаниите, които използват данни от техните форуми за обучение на големи езикови модели.

Сега OpenAI, разработчик на популярния инструмент за езиково моделиране ChatGPT, предостави инструменти на собствениците на сайтове за контрол на достъпа до индексиране на техните ресурси.

Какво представлява GPTBot?

GPTBot е уеб крaулeр, робот за търсачки от OpenAI. Уеб крaулерите са програми, които автоматично претърсват и анализират съдържанието на уеб страници.

Потребителският агент на GPTBot изглежда по следния начин:

Mozilla/5.0 AppleWebKit/537.36 (KHTML, като Gecko; съвместим; GPTBot/1.0; +https://openai.com/gptbot)

Страниците, които GPTBot претърсва, могат да бъдат използвани за подобряване на моделите на изкуствения интелект, с изключение на съдържание, което нарушава политиката на OpenAI.

Как може да блокирате сайта си от GPTBot?

За да блокирате достъпа на GPTBot до сайта си, можете да използвате два варианта (препоръваме паралелно и двата да сложите):

· Чрез robots.txt

Трябва да добавите следните редове към файла robots.txt на сайта си:

User-agent: GPTBot Disallow: /

Ако искате да разрешите достъпа на GPTBot само до определени части на сайта си, използвайте следния код:

User-agent: GPTBot Allow: /directory-1/ Disallow: /directory-2/

· Чрез забраняване на IP диапазон

Можете също така да блокирате достъпа до сайта си, като използвате IP адресите, които са публикувани в документа за поддръжка на уебсайта OpenAI.

20.15.240.64/28

20.15.240.80/28

20.15.240.96/28

20.15.240.176/28

20.15.241.0/28

20.15.242.128/28

20.15.242.144/28

20.15.242.192/28

40.83.2.64/28

Тези IP адреси се вписват във вашата защитна стена (ако ползвате секюрити плъгин) или в Cloudflare настройките.

Защо това е важно?

Контролирането на достъпа до съдържанието на вашия сайт не само помага да защитите информацията си от използване, но и ви дава възможност да участвате във формирането и обучението на моделите на изкуствен интелект върху вашето съдържание.

С инструментите, предоставяни от компании като OpenAI, собствениците на уебсайтове могат да контролират по-добре как се използва тяхното съдържание онлайн.