Всім читачам мої вітання! Продовжуємо говорити про блоги та їх налаштування – сьогодні розглянемо такий маленький файлик, як robots.txt для блогів на WordPress. Файлик маленький, але виконує надзвичайно важливу роботу, тому створення цього звіра необхідне одразу ж, після встановлення блогу та написання перших статей. Що це за файл такий, robots.txt, як він працює та що в ньому прописати?

Правильний файл robots.txt

Дуже багато блогерів нехтують цим файлом, а от цього робити не треба. Я спробую описати Вам без технічних понтів, на хлопський розум, що це за файл. Спілкуючись зі своїми друзями – блогерами, я помічаю одну цікаву штуку – існує великий відсоток людей, які знають про robots.txt, знають, що він вкрай необхідний, а от як працює – розуміють не завжди. Отже – поїхали.

Для початку, давайте визначимо, як працюють пошукові системи. Варто розуміти, що індексують Ваш блог не самі ПС, а їхні спеціальні програми – роботи, які заходять на Ваші ресурси, дивляться, з чого вони складаються, який матеріал на блозі та що можна додати у видачу пошукової машини.

Пошукові роботи мені нагадують добре вишколених, дресированих вівчарок, які повинні виконувати різні команди чітко та без заперечень. Що буде, коли таку вівчарку випустити на волю? Правильно, “бєспрєдєл”, тому ці роботи повинні слухатись команд досвідченого дресирувальника, а саме таким дресирувальником виступає у нас файл robots.txt.

Коли пошукові роботи заходять на блог і не знаходять robots.txt, тобто не розуміють, яким командам підкорятись, вони починають індексувати все, що їм заманеться, що потрібно і що ні. Тому такий фал на блозі просто необхідний, а ще, вкрай важливо, правильно його створити.

Отже, уявляємо, що пошуковий робот заходить на наш блог і з висунутим язиком шукає robots.txt. При відсутності такого файлу, робот починає індексувати геть все, всі файли, папки, директорії, розділи, абсолютно все, що йому попадеться під лапи.

Це займає дуже багато часу. Якщо Ви подумаєте: “Ну і дідько з ним, що мені, шкода часу пошукового робота?” – то Ви будете дуже не праві. Справа в тому, що індексуючи всіляке сміття, робот може просто філонити та халявити і випускати з уваги ті сторінки, які точно повинні бути в індексі, у видачі пошукової системи.

Індексуючи Ваші архіви, різні профілі, теги, требеки, папки з плагінами … він може “забути” проіндексувати статті з ключовими запитами, за якими Ви і просуваєте Ваш блог.

Ми, власники сайтів, блогів, залежимо від пошукових систем, що тут гріха таїти, тому змушені під них підлаштовуватись. А значить нам потрібно ось цим шпигунам, цій розвідці пошуковиків, точно вказати, що потрібно індексувати, а чого у видачі не конче. Яндекс чи Гугл, вже на основі доносів цих роботів, формують думку про наш ресурс та визначають, на яких позиціях в пошуку йому процвітати.

Надіюсь, що Вам тепер зрозуміло, що таке robots.txt. Це вказівки, команди пошуковим роботам, які визначають, що ті повинні проіндексувати, а що пропустити.

Давайте перейдемо, власне, до самого змісту файлу robots.txt, до його наповнення. Зараз всі збірки WordPress мають ці файли в стартових пакетах, але складені вони не зовсім так, як би нам того хотілось.

Тому перевірте, чи є у Вас в корені блогу файл robots.txt. Корінь блогу – це те місце, де знаходиться файл wp-config.php, як правило – це папка public_html або http_docs, в залежності від типу хостингу. Тобто, це папка, після відкриття якої, Ви бачите файли самого двигунця WordPress.

Якщо цей файл там є – копіюєте його собі на робочий стіл, якщо немає – відкриваєте звичайний блокнот або Notepad++. Далі я приведу Вам приклад того, що повинно бути в правильному файлі robots.txt, на новоствореному блозі. Якщо блог у Вас уже існує довший час, але з цим файлом Ви справи не мали – нічого, підійде, все буде працювати чудово.

Різниця між новим та бувалим блогом в тому, що на блозі, який існує певний час, можуть бути створені певні директорії, які необхідно закрити від індексування. Але основа повинна бути така, як я Вам приведу. Отже, сам вміст файлу robots.txt.

Завантажте архів з файлом, розпакуйте його і в самому robots.txt змініть адреси мого блогу на свої. копіюєте цей код та вставляєте його замість того, що був у Вас в стандартному файлі robots.txt. Якщо такого файлу у Вас не було, відповідно, вставляєте у відкритий текстовий документ та зберігаєте, як robots.txt.

Далі, все це діло закидуємо на хостинг, в корінь блогу. Замінюємо на новий, якщо такий файл був і просто копіюємо, якщо не було. Все. Далі просто пишемо статті, додаємо та налаштовуємо плагіни – запорука гарної індексації у нас вже є. Тепер пошукові вівчури Яндекса і Гугла будуть індексувати тільки те, що потрібно.

Бажаю Вам вдалого блогінгу та хорошої індексації Ваших постів.

Не цікавоТак собіНормальноДобреЧудово (оцінок: 1, середнє 5,00 з 5)
Loading...