Взаємодія robots з пошуковими ботами

Назва тегу дає підставу припускати, що тег пов'язаний з ботами пошуковиків. Інтеграція тега robots в код документу дає можливість показати оптимальний шлях ботам для індексування вмісту сайту. Це застосовується в різних ситуаціях. Припустимо, якщо контент на сайті містить дубльовані сторінки або, щоб не допустити перерозподілу ваги документів по посиланнях.

Використання властивостей тега robots

Для правильної інтерпретації, content повинен мати одне з наступних значень, які пишуться через кому:

  1. Параметр «index» або «noindex» - наполягає на проведенні індексації або ігноруванні документа.
  2. Слово «follow» або «nofollow» - вказує на проведення аналізу або ігнорування посилання в документі.
  3. Слово «all» або «none» - вимагає індексації або ігноруванні всього документу.
  4. Слово «noimageindex» - забороняє індексацію картинок в документі.
  5. Значення «noarchive» - не дає показувати посилання «Збережена копія», в результатах пошуку.
  6. Інструкція «nosnippet» - не дає виводити у результатах пошуку snippet, що анонсує зміст документу.

Нюанси застосування robots

Частина інструкцій з тегом robots взаємозамінні. Припустимо, якщо треба зупинити індексацію документу на ньому, застосовують в атрибуті robots замість «noindex, nofollow» інструкції «none». Бувають моменти, коли потрібно дати команду на індексацію документа одного з роботів. Тоді замість «robots» прописується ім'я бота, для якого вказані директиви.

Припустимо, Гугл зобов'язаний записати в список для індексу зміст документа, і відмовитися від аналізу посилань. Content не повинен містити повторень або наявність йдуть в протиріччя інструкцій, інакше тег буде обійдений увагою роботів.

Ще є пункт розбрату, над яким постійно обговорюють блогери - регістр. Деякі блогери вважають, що грамотно застосовувати в robots великі літери, а частина майстрів наполягають на малих буквах. Можна застосовувати обидві версії, так як йому по «барабану», великими або малими напишуть його ім'я. Спочатку виникає думка, що використання robots забезпечує однакові функції з robots.txt. Але це далеко не так, є нюанси.

Є підстави вважати, що пріоритет для використання залишається за robots:

  1. Він застосовується для точної операції індексування - припустимо, перекрити доступ до контенту, але дозволити доступ до посилань. У robots.txt такий директиви немає.
  2. Відсутність дозволу на вхід в кореневу директорію ресурсу, не дає права на редагування robots.txt. Тут виручає тег robots.
  3. В robots.txt є функція щодо закриття всього каталогу від пошукачів, щоб не пропустити роботів до всіх, що знаходяться в ньому документам, а robots доведеться застосовувати до кожного з них.

Для того, щоб якісь документи в директорії треба зробити доступними, краще застосовувати robots. Спільне застосування robots і robots.txt потрібно застосовувати для більш точного управління індексацією документів ресурсу. Якщо є суперечності в інструкціях індексації документів, пошуковики можуть видати помилкове рішення. Індексація документів не відбудеться. Грамотне адміністрування індексацією ресурсу - корисний алгоритм для розкрутки ресурсу. Тут головне, вміти визначати, коли краще застосовувати той чи інший з тегів.

Хочете дізнатися більше?

Напишіть нам