Сега Google добави нови детайли, които обясняват трите категории, в които попадат неговите роботи на Google, те включват Googlebot, роботи за специални случаи и задействани от потребители програми за извличане.
Освен това Google вече изброява в JSON форматиран файл, съдържащ списъка с IP адреси, които всеки от тези различни типове роботи използва.
Видове роботи на Google. В горната част на тази страница на Googlebot Google изброи тези три типа роботи:
- Googlebot – Основният робот за продуктите за търсене на Google. Google казва, че този робот винаги спазва правилата на robots.txt.
- Роботи за специални случаи – Роботи, които изпълняват специфични функции (като AdsBot), които могат или не могат да спазват правилата на robots.txt.
- Извличане, задействано от потребителя – Инструменти и функции на продукта, при които крайният потребител задейства извличане. Например Google Site Verifier действа по заявка на потребител или някои инструменти на Google Search Console ще изпратят Google да извлече страницата въз основа на действие, предприето от потребителя.
IP адреси. Google също изброи диапазоните на IP адреси и обратната DNS маска за всеки тип:
- Googlebot – googlebot.json (crawl- – – – .googlebot.com или geo-crawl- – – – .geo.googlebot.com)
- Special-case crawlers – special-crawlers.json (rate-limited-proxy- – – – .google.com)
- User-triggered fetchers – user-triggered-fetchers.json ( – – – .gae.googleusercontent.com)
Какво ново. Ето частта от страницата, която беше актуализирана; останалата част от страницата е почти непроменена.
Защо ни е грижа. Вярвам, че Google направи тази промяна, след като видя някои от реакциите към робота GoogleOther , който обяви онзи ден. Това сега обяснява как действат роботите на Google, кога зачитат robots.txt и как да ги идентифицират по-добре.
Сега, ако искате да не блокирате основния робот на Google, Googlebot, но решите да блокирате останалите, можете по-добре да идентифицирате тези роботи по-точно.
