Как запретить в robots.txt индексацию страниц http://example.net/something,category1.php http://example.net/something,category2.php (...) http://example.net/something,category152.php я пробовал Disallow: /something,*.php Но он...

Я столкнулся с довольно уникальной проблемой. Если вы занимаетесь масштабированием больших сайтов и работаете с такой компанией, как Akamai, у вас есть исходные серверы, с которыми общается Akamai. Что бы вы ни подавали Akamai, они будут...

Я новичок в Jsoup, но это отличный инструмент. Я пытаюсь извлечь метатег robots. У меня есть следующий код: Document doc = Jsoup.parse(htmlContent); Elements metatags = doc.select("meta"); Element robots = metatags.attr("name", "robots"); //...

Я проверил свой сайт через http://www.frobee.com/robots-txt-check и он вернулся с несколькими ошибками. Вот мой файл robots.txt: User-agent: * Disallow: /admin/ # Allowable Index Allow: /*?p= Allow: /blog/ Allow:...

если у меня есть субдомен с именем abc.aaa.com и теперь я перехожу на aaa.com/abc мой администратор сервера помог мне сделать перенаправление с abc.aaa.com на aaa.com/abc поэтому независимо от доступа к какой странице / разделу / файлу в...

Вот мой текущий метод обслуживания robots.txt url(r'^robots\.txt/$', TemplateView.as_view(template_name='robots.txt', content_type='text/plain')), Я не думаю, что это лучший способ. Я думаю, было...

У меня есть файл robots.txt, настроенный как таковой User-agent: * Disallow: /* Для сайта, который полностью основан на уникальном URL. Что-то вроде https://jsfiddle.net/ , когда вы сохраняете новую скрипку, она дает ей уникальный...

Я работаю над презентацией о парсинге веб-страниц и пытаюсь объяснить некоторые части файла robots.txt. Учитывая следующий раздел файла robots.txt Википедии , кажется, что IsraBot разрешено очищать / в то время как Mediapartners-Google* нет....

Я пытаюсь зафиксировать разрешенные и запрещенные правила файла robots.txt в java, используя следующий код: package robotest; public class RoboTest { public static void main(String[] args) { String robo="user-agent:hello user-agent:ppx...