Jump to content
¯\_( ツ)_/¯
  • TAD GROUP are currently hiring penetration testers. Please read the topic in Career Central subforum.
  • Sponsored Ad
ТУК НЕ СЕ ПРЕДЛАГАТ ХАКЕРСКИ УСЛУГИ ! ×
Pentester

robots.txt, предотвратяване на копирането и Crawler на сайта ви

Recommended Posts

367-do-not-copy.png 

Копирайте съдържанието на robots.txt по-долу в robots.txt, както е.
Важно: Не правете никакви промени! защото може да не работи!

Да приемем, че ги интегрирахме в robots.txt и какво ще ни помогне?


Потребителите, които използват услугите от софтуера като SiteSnagger, WebStripper, WebCopier, Offline Explorer, Teleport, TeleportPro, HTTrack, Microsoft.URL.Control, Изтегляне на Ninja, WGet, FileGetContent, WebReaper и т.н.Те се опитват да извлекат външния вид и да се опитат да го фалшифицират или да претендират, че симулират същия софтуер, който води до 85% пред него. тя няма да работи, ако се опитате да използвате този софтуер, за да изтеглите сянката на изображението на сайта си. нищо няма да може да дърпа.

 

# Cryptr.Org Robots.txt контролер (не променяйте кодовете jrCoder)
# Crawler Disabled

User-agent: UbiCrawler
Disallow: /

User-agent: DOC
Disallow: /

User-agent: Zao
Disallow: /

# Потребителските агенти, които копират екрана на уебсайта, са деактивирани

User-agent: sitecheck.internetseer.com
Disallow: /

User-agent: Zealbot
Disallow: /

User-agent: MSIECrawler
Disallow: /

User-agent: SiteSnagger
Disallow: /

User-agent: WebStripper
Disallow: /

User-agent: WebCopier
Disallow: /

User-agent: Fetch
Disallow: /

User-agent: Offline Explorer
Disallow: /

User-agent: Teleport
Disallow: /

User-agent: TeleportPro
Disallow: /

User-agent: WebZIP
Disallow: /

User-agent: linko
Disallow: /

User-agent: HTTrack
Disallow: /

User-agent: Microsoft.URL.Control
Disallow: /

User-agent: Xenu
Disallow: /

User-agent: larbin
Disallow: /

User-agent: libwww
Disallow: /

User-agent: ZyBORG
Disallow: /

User-agent: Download Ninja
Disallow: /

# fast по заявки на агенти
User-agent: fast
Disallow: /

# уеб сайтове копирни изтегляне ssh режим е забранен

User-agent: wget
Disallow: /

#
#  The 'grub' distributed client has been *very* poorly behaved.
#
User-agent: grub-client
Disallow: /

#
# block tracking robots.txt
#
User-agent: k2spider
Disallow: /

#
# хитомеметровите измерватели са деактивирани
# http://www.nameprotect.com/botinfo.html
User-agent: NPBot
Disallow: /

# обществени страници indexof страници забранен
# http://www.webreaper.net/
User-agent: WebReaper
Disallow: /

User-Agent: *
Disallow: /captcha.php
Disallow: /editpost.php
Disallow: /misc.php
Disallow: /modcp.php
Disallow: /moderation.php
Disallow: /newreply.php
Disallow: /newthread.php
Disallow: /online.php
Disallow: /printthread.php
Disallow: /private.php
Disallow: /ratethread.php
Disallow: /report.php
Disallow: /reputation.php
Disallow: /search.php
Disallow: /sendthread.php
Disallow: /task.php
Disallow: /usercp.php
Disallow: /usercp2.php
Disallow: /calendar.php
Allow: /
sitemap: http://saita.com/sitemap.xml

 

Share this post


Link to post
Share on other sites

Не, че нещо но на това не може да се разчита. Какво имаш предвид под копиране? Просто искам да поясниш малко повече нещата. Ако го направиш урока ще е по-стойностен. 

  • Like 1

Share this post


Link to post
Share on other sites

@freeman987 Тоест предотвратяване на клониране на даден сайт 🙂 

Edited by Pentester

Share this post


Link to post
Share on other sites

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Guest
Reply to this topic...

×   Pasted as rich text.   Paste as plain text instead

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.


  • Recently Browsing   0 members

    No registered users viewing this page.

×
×
  • Create New...

Important Information

By using this site, you agree to our Terms of Use. We have placed cookies on your device to help make this website better. You can adjust your cookie settings, otherwise we'll assume you're okay to continue.