Категории

Cтандартный robots.txt

Может вопрос покажеться слегка туповат НО на всей сопроводительной документации к тем или иным скриптам идут рекомендации по елементарным методам защиты и по стандартному robots.txt (то что желательно не индексировать) здесь же не нашел, хотя возможно я плохо искал :( ......
Вооооот и было бы совсем неплохо если бы уважаемые участники форума высказались бы по этому поводу а именно
1. Какой должно быть содержание robots? (вопрос снят хотя закралось мнение что кое что из стандартного содержания robots мешает продвижению сайта)
2. Рекомендуемые права доступа на папки/файлы

У меня возник тот же вопрос, такое ощущение что закрыли и то что нужно и то что явно может помешать продвижению ресурса. Возникает вопрос какие директории все таки можно удалить из стандартного robots.txt ?

User-agent: *
Disallow: /address_book_process.php
Disallow: /ajax_shopping_cart.php
Disallow: /account.php
Disallow: /account_edit.php
Disallow: /account_edit_process.php
Disallow: /account_history.php
Disallow: /account_history_info.php
Disallow: /address_book.php
Disallow: /advanced_search_result.php?
Disallow: /affiliate_affiliate.php
Disallow: /ask_a_question.php
Disallow: /checkout_alternative.php
Disallow: /checkout_process.php
Disallow: /advanced_search.php
Disallow: /advanced_search_result.php
Disallow: /cache/
Disallow: /admin/
Disallow: /checkout_address.php
Disallow: /checkout_confirmation.php
Disallow: /checkout_payment.php
Disallow: /checkout_success.php
Disallow: /checkout_shipping.php
Disallow: /contact_us.php
Disallow: /create_account.php
Disallow: /create_account_guest.php
Disallow: /create_account_process.php
Disallow: /create_account_success.php
Disallow: /featured.php
Disallow: /index.php/manufacturers_id/
Disallow: /info_shopping_cart.php
Disallow: /shopping_cart.php
Disallow: /login.php
Disallow: /logoff.php
Disallow: /news.php
Disallow: /newsletter.php
Disallow: /products_new.php
Disallow: /password_double_opt.php
Disallow: /popup_image.php
Disallow: /popup_search_help.php
Disallow: /product_notifications.php
Disallow: /product_reviews.php
Disallow: /product_reviews_info.php
Disallow: /reviews.php
Disallow: /shipping.php
Disallow: /shop_content.php
Disallow: /media/export/
Disallow: /media/download/
Disallow: /includes/
Disallow: /media/pub/
Disallow: /media/
Disallow: /index.php/action/
Disallow: /articles.php
Disallow: /articles_new.php
Disallow: /article_info.php/action/
Disallow: /product_info.php/action/
Disallow: /manu/
Disallow: /index.php/manu
Disallow: /index.html?products_id
Disallow: /cookie_usage.php
Disallow: /index.php/products_id
Disallow: /index.php?action=buy_now
Disallow: /specials.php/action/buy_now

Например вот это вообще наводит на странные мысли о том что контент, рецензии, статьи закрыты для ботов:

Disallow: /product_reviews.php
Disallow: /product_reviews_info.php
Disallow: /reviews.php
Disallow: /shop_content.php
Disallow: /articles.php
Disallow: /articles_new.php
Disallow: /article_info.php/action/

Так ли это?

Люди! Ау! Что никто незнает? Вопрос то насущный
вся индексация от этого зависит

Да, у меня такая же проблема!
Не знаю, что точно скрыть от индексации, а что оставить!
Видел много рекомендаций по роботс для джумлы и вордпресса!
Но там в каждой программе есть свои особенности содержания папок и т.п. на сколько я понял, т.к. даже для этих двух программ файлы роботс отличаются.
Хотелось бы посмотреть удачный пример для шопоса ))

Оставьте пока все. Хост только пропишите. Ничего убирать не нужно. Скрипт выполняется более или менее нормально, есть огрехи -решаемые. Яша индексирует как нужно.

в последних версиях чуть подправлен robots.txt

действительно сильно много всего отсеивалось.

недавно заметил вот что.
магаз 5000 страниц, за год жизни проиндексировало достаточно много
но проблем в том что если нет описания товара, то версия для печати какимто образом
индексируется как пустая, самое интересное что с хорошим позиционированием, и в sitemap
этих страниц нет (или вроде нет, ну я не нашел!). еще в индекси откудато левые подкатегории,
(или категории) т.е которые без чпу, откуда тож не пойму, может кто сталкивался?

У меня такое было. Как я делал, в robots запрещал от индексации

а как запретить такое
мой.сайт\тратата.php?154
если я знаю что реально мои страницы мой.сайт\тратата.php?22 и мой.сайт\тратата.php?345 и мой.сайт\тратата.php?155
но всех ненужных числовых индексов я не знаю, и более того, не пойму откуда они лезут????!!!!!
есть идеи !?
или вот еще вариавт к своим страницам я присвиваю url(чпу), а все остольные "турум-пум-пум" запретить но чтобы не влияли
на страницы с чпу типа мой.сайт\тратата.php?турум-пум-пум !?

http://help.yandex.ru/webmaster/?id=996567 Вот вам в помощь по robots

А везде ЧПУ поставить не пробовали? Зачем что то запрещать вообще? Это не на что не повлияет серьезно

А зачем кнопка включить-выключить в плагинах?
Ведь реально выключить robots этой кнопкой нельзя.
Или я ошибаюсь?

Источник