Відкрити меню

Файл robots.txt для блогу на WordPress – що це таке і як його скласти правильно

Всім читачам мої вітання! Продовжуємо говорити про блоги та їх налаштування – сьогодні розглянемо такий маленький файлик, як robots.txt для блогів на WordPress. Файлик маленький, але виконує надзвичайно важливу роботу, тому створення цього звіра необхідне одразу ж, після встановлення блогу та написання перших статей. Що це за файл такий, robots.txt, як він працює та що в ньому прописати?

Правильний файл robots.txt

Дуже багато блогерів нехтують цим файлом, а от цього робити не треба. Я спробую описати Вам без технічних понтів, на хлопський розум, що це за файл. Спілкуючись зі своїми друзями – блогерами, я помічаю одну цікаву штуку – існує великий відсоток людей, які знають про robots.txt, знають, що він вкрай необхідний, а от як працює – розуміють не завжди. Отже – поїхали.

Для початку, давайте визначимо, як працюють пошукові системи. Варто розуміти, що індексують Ваш блог не самі ПС, а їхні спеціальні програми – роботи, які заходять на Ваші ресурси, дивляться, з чого вони складаються, який матеріал на блозі та що можна додати у видачу пошукової машини.

Пошукові роботи мені нагадують добре вишколених, дресированих вівчарок, які повинні виконувати різні команди чітко та без заперечень. Що буде, коли таку вівчарку випустити на волю? Правильно, “бєспрєдєл”, тому ці роботи повинні слухатись команд досвідченого дресирувальника, а саме таким дресирувальником виступає у нас файл robots.txt.

Коли пошукові роботи заходять на блог і не знаходять robots.txt, тобто не розуміють, яким командам підкорятись, вони починають індексувати все, що їм заманеться, що потрібно і що ні. Тому такий фал на блозі просто необхідний, а ще, вкрай важливо, правильно його створити.

Отже, уявляємо, що пошуковий робот заходить на наш блог і з висунутим язиком шукає robots.txt. При відсутності такого файлу, робот починає індексувати геть все, всі файли, папки, директорії, розділи, абсолютно все, що йому попадеться під лапи.

Це займає дуже багато часу. Якщо Ви подумаєте: “Ну і дідько з ним, що мені, шкода часу пошукового робота?” – то Ви будете дуже не праві. Справа в тому, що індексуючи всіляке сміття, робот може просто філонити та халявити і випускати з уваги ті сторінки, які точно повинні бути в індексі, у видачі пошукової системи.

Індексуючи Ваші архіви, різні профілі, теги, требеки, папки з плагінами … він може “забути” проіндексувати статті з ключовими запитами, за якими Ви і просуваєте Ваш блог.

Ми, власники сайтів, блогів, залежимо від пошукових систем, що тут гріха таїти, тому змушені під них підлаштовуватись. А значить нам потрібно ось цим шпигунам, цій розвідці пошуковиків, точно вказати, що потрібно індексувати, а чого у видачі не конче. Яндекс чи Гугл, вже на основі доносів цих роботів, формують думку про наш ресурс та визначають, на яких позиціях в пошуку йому процвітати.

Надіюсь, що Вам тепер зрозуміло, що таке robots.txt. Це вказівки, команди пошуковим роботам, які визначають, що ті повинні проіндексувати, а що пропустити.

Давайте перейдемо, власне, до самого змісту файлу robots.txt, до його наповнення. Зараз всі збірки WordPress мають ці файли в стартових пакетах, але складені вони не зовсім так, як би нам того хотілось.

Тому перевірте, чи є у Вас в корені блогу файл robots.txt. Корінь блогу – це те місце, де знаходиться файл wp-config.php, як правило – це папка public_html або http_docs, в залежності від типу хостингу. Тобто, це папка, після відкриття якої, Ви бачите файли самого двигунця WordPress.

Якщо цей файл там є – копіюєте його собі на робочий стіл, якщо немає – відкриваєте звичайний блокнот або Notepad++. Далі я приведу Вам приклад того, що повинно бути в правильному файлі robots.txt, на новоствореному блозі. Якщо блог у Вас уже існує довший час, але з цим файлом Ви справи не мали – нічого, підійде, все буде працювати чудово.

Різниця між новим та бувалим блогом в тому, що на блозі, який існує певний час, можуть бути створені певні директорії, які необхідно закрити від індексування. Але основа повинна бути така, як я Вам приведу. Отже, сам вміст файлу robots.txt.

Завантажте архів з файлом, розпакуйте його і в самому robots.txt змініть адреси мого блогу на свої. копіюєте цей код та вставляєте його замість того, що був у Вас в стандартному файлі robots.txt. Якщо такого файлу у Вас не було, відповідно, вставляєте у відкритий текстовий документ та зберігаєте, як robots.txt.

Далі, все це діло закидуємо на хостинг, в корінь блогу. Замінюємо на новий, якщо такий файл був і просто копіюємо, якщо не було. Все. Далі просто пишемо статті, додаємо та налаштовуємо плагіни – запорука гарної індексації у нас вже є. Тепер пошукові вівчури Яндекса і Гугла будуть індексувати тільки те, що потрібно.

Бажаю Вам вдалого блогінгу та хорошої індексації Ваших постів.

Нічого цікавогоТак собіНормальноДобреЧудово (Голосів: 1, середній: 5,00 з 5)
Loading...
Обговорення: 22 коментарі
  1. Сергій сказав:

    Дякую. Корисна і потрібна стаття.

    Відповіcти
    1. Олег Волощук сказав:

      Користуйтеся 🙂

      Відповіcти
  2. Павло сказав:

    Вітаю, Олеже!
    Дякую за статтю. У мене робот Яндекса в останній обхід завантажив 602 статті, з них проіндексував 129. Треба й справді привести в порядок файл robots.txt. У мене тільки питання: це нічого, що у вас заборонено індексувати категорії? Якось я перевіряв у пошуку, так на першу сторінку за запитом “змієві вали” робот виніс саме категорію, а статті йшли далі, десь на другій-третій сторінках. Може, категорії треба залишити?

    Відповіcти
    1. Олег Волощук сказав:

      Нічого страшного, навіть навпаки, таким чином ми вбережемось від дублювання контенту, нехай в пошуку будуть тільки статті – це найголовніше

      Відповіcти
  3. Павло сказав:

    І таке ще питання. У вас стоїть карта сайту для пошуковиків Google XML Sitemaps, і ще одна “для людей”, але вона теж видає варіант для пошуковиків. Виходить, що робот спершу буде індексувати сайт по одній карті, а потім по другій. Тут дублювання не буде?

    Відповіcти
    1. Олег Волощук сказав:

      Не буде, можете не перейматись, цей файл опробовуваний вже багатьма.

      Відповіcти
  4. Андрій сказав:

    Привіт, Олег.
    Стаття чудова все дуже зрозуміло, але в мене є одне АЛЕ. Які саме файли треба закривати від індексації, а то що не дуже зрозумів.
    Я бачу ти на сайті поставив якийсь чудовий плагін який не дозволяє копіювати твої матеріали це також добре і я за використання таких штук, але ось наприклад мені треба скопіювати твій файл робота але виходить проблема і я не можу це зробити,а переписувати якось не охота.Вибачай що замучив тебе питаннями і докорами, але не підкажеш як цей плагін зветься а то я зараз в процесі створення блогу і мені це б не пошкодило…дякую за увагу!

    P.S. Щось такий довгий комент вийшов 😮

    Відповіcти
    1. Олег Волощук сказав:

      Взагалі то доцільно закривати сторінки та папки, а які .. це вже дивіться що у Вас на блозі є зайвого. Наприклад,

      Disallow: /wp-content/plugins

      я закрив папку з плагінами від індексації. Чи ще, створили Ви на сервері папку archive, куди складаєте різні файли до завантаження – її також варто закрити.

      З файлом робота зараз вирішу, плагін тільки сьогодні поставив.

      Відповіcти
  5. Андрій сказав:

    Так і ще одне.Краще налаштуй як слід цей плагін, а то “пересуватись” по сайту стало досить неприємно..

    Відповіcти
    1. Олег Волощук сказав:

      В чому труднощі? Змін ніяких в пересуванні я не помітив.

      Відповіcти
  6. Андрій сказав:

    Ну просто мені не подобається все в однії вкладці читати…ну ви мене зрозуміли…ну це таке для кожного своє…

    Відповіcти
    1. Олег Волощук сказав:

      Не зовсім, якщо чесно 🙂 , поясніть, можливо я знайду рішення.

      Відповіcти
      1. Андрій сказав:

        Просто наприклад відкриваєш сайт і натискаєш на різні рубрики і суть в тому щоб від кожної руюрики була окрума вкладка в браузері….ну якось так…але над цим особливо не зациклюйтеся…а от з копіюванням деяких частин статей треба буде подивитись 😉

        Відповіcти
  7. Андрій сказав:

    Що порадите я хочу створити свій блог який хостинг і домен найкраще використати???І чи не поможете мені з темою для мого сайту, а то для мене дуже важко там розбиратись(основи знаю але….))

    Відповіcти
    1. Олег Волощук сказав:

      Можу допомогти, пишіть на пошту чи в аську.

      Відповіcти
      1. Андрій сказав:

        Усе вже написав… 😳

        Відповіcти
  8. Андрій сказав:

    До речі,вибачайте що я такий настирливий,але на сайті дата коментарів,а саме година не співпадає з дійсністю(ну це таке просто щоб ви знали)

    Відповіcти
    1. Олег Волощук сказав:

      Так, помітив, година була не та, зараз все виправив.

      Відповіcти
  9. Irena сказав:

    Дуже Вам дякую за статтю!

    Відповіcти
    1. Олег Волощук сказав:

      Завжди на здоров’я, аби згодилось 🙂

      Відповіcти
  10. Аркадій сказав:

    Добрий день. В моєму файлі robots.txt є такий пункт:
    Allow: /wp-admin/admin-ajax.php

    Чи нормально що він відкритий і за що він відповідає. Дякую.

    Відповіcти
    1. Олег Волощук сказав:

      День добрий. Файл admin-ajax.php – це така своєрідна можливість, яка дозволяє сайту з’єднатись з сервером без повного перезавантаження сторінки. Фактично цей файл дозволяє робити інтерфейси більш швидкими. Інформації, як такої, у файлі немає, по великому рахунку це скрипт, який виконує певну дію.

      Спробуйте його закрити від пошукових систем, їм немає потреба бачити цей файл, а на роботу сайту це не повинно вплинути ніяк.

      Відповіcти

Залишити відповідь

Ваша e-mail адреса не оприлюднюватиметься. Обов’язкові поля позначені *

© 2017 Блог Олега Волощука · Копіювання матеріалів сайту без дозволу заборонено
Авторство підтверджено Google