Google обяснява случаите на употреба за различните си типове роботи | MOXX Advertising

Google обяснява случаите на употреба за различните си типове роботи

Google обяснява случаите на употреба за различните си типове роботи
Google обяснява случаите на употреба за различните си типове роботи

Сега Google добави нови детайли, които обясняват трите категории, в които попадат неговите роботи на Google, те включват Googlebot, роботи за специални случаи и задействани от потребители програми за извличане.

Освен това Google вече изброява в JSON форматиран файл, съдържащ списъка с IP адреси, които всеки от тези различни типове роботи използва.

Видове роботи на Google. В горната част на тази страница на Googlebot Google изброи тези три типа роботи:

  • Googlebot – Основният робот за продуктите за търсене на Google. Google казва, че този робот винаги спазва правилата на robots.txt.
  • Роботи за специални случаи – Роботи, които изпълняват специфични функции (като AdsBot), които могат или не могат да спазват правилата на robots.txt.
  • Извличане, задействано от потребителя – Инструменти и функции на продукта, при които крайният потребител задейства извличане. Например Google Site Verifier действа по заявка на потребител или някои инструменти на Google Search Console ще изпратят Google да извлече страницата въз основа на действие, предприето от потребителя.

IP адреси. Google също изброи диапазоните на IP адреси и обратната DNS маска за всеки тип:

  • Googlebot – googlebot.json (crawl-  –  .googlebot.com или geo-crawl-  –  .geo.googlebot.com)
  • Special-case crawlers – special-crawlers.json (rate-limited-proxy-  –  .google.com)
  • User-triggered fetchers – user-triggered-fetchers.json (  –  .gae.googleusercontent.com)

Какво ново. Ето частта от страницата, която беше актуализирана; останалата част от страницата е почти непроменена.

Google Crawler Purposes 800x347

Защо ни е грижа. Вярвам, че Google направи тази промяна, след като видя някои от реакциите към робота GoogleOther , който обяви онзи ден. Това сега обяснява как действат роботите на Google, кога зачитат robots.txt и как да ги идентифицират по-добре.

Сега, ако искате да не блокирате основния робот на Google, Googlebot, но решите да блокирате останалите, можете по-добре да идентифицирате тези роботи по-точно.

Полезна ли беше тази информация за вас?
Facebook
LinkedIn
Pinterest
Skype
WhatsApp
Email

Подобни новини

ChatGPT

В САЩ стартира ChatGPT за iOS

Безплатното приложение ChatGPT предлага същите функции като уеб версията, синхронизира историята между устройствата и предлага гласово въвеждане.

GIT- Google Inpection Tool

Нов Google Робот – Google-InspectionTool

Google-InspectionTool е роботът, използван от инструментите за тестване на Търсене, като Rich Result Test и URL проверка в Search Console. Освен потребителския агент и токена на потребителския агент, той имитира Googlebot.

Amazon AI

Amazon ще добави AI към търсачката си

Amazon търси обещаващи таланти в софтуерното инженерство и маркетинга, за да преосмисли използването на търсачките и да създаде безпроблемно изживяване на платформа си за електронна търговия.

Стартиране на абонаментен план

Call Now Button