Προσωπικοί ιστότοποι
Αν διατηρείτε ένα προσωπικό ιστολόγιο, χαρτοφυλάκιο, οικογενειακή σελίδα ή μικρή σελίδα δημιουργού, το μπλοκάρισμα ανιχνευτών ξεκινά με τον σωστό προσδιορισμό των user-agents και με την κατανόηση ότι το robots.txt είναι αίτημα, όχι κλειδαριά.
Κάντε το προσεκτικά
Μην αντιγράφετε μια τυχαία λίστα μπλοκαρίσματος στην παραγωγή. Οι ανιχνευτές αναζήτησης, οι ανιχνευτές αναζήτησης AI, οι ανιχνευτές εκπαίδευσης και οι ανιχνευτές που ενεργοποιούνται από τον χρήστη μπορεί να έχουν διαφορετικούς σκοπούς. Το μπλοκάρισμα του λάθος agent μπορεί να κρύψει τις σελίδες σας από εργαλεία που εξακολουθείτε να θέλετε.
Τα αρχεία καταγραφής του διακομιστή δείχνουν ποιος πραγματικά επισκέπτεται. Κρατήστε έναν σύντομο κύκλο ελέγχου: προσθέστε κανόνες, παρακολουθήστε την κίνηση, ελέγξτε αν οι σημαντικές σελίδες εξακολουθούν να εμφανίζονται εκεί που περιμένετε, και έπειτα προσαρμόστε.
| User-agent | Εταιρεία | Γιατί έχει σημασία | Προσεκτική σημείωση |
|---|---|---|---|
GPTBot | OpenAI | Χρησιμοποιείται συχνά για ελέγχους ανίχνευσης ιστού της OpenAI. | Μπλοκάρετέ το αν δεν θέλετε αυτός ο ανιχνευτής να ανακτά τις δημόσιες σελίδες σας για χρήση σχετική με AI. Επαληθεύστε την τρέχουσα τεκμηρίωση της OpenAI. |
ChatGPT-User | OpenAI | Agent περιήγησης/ανάκτησης που ενεργοποιείται από τον χρήστη, σε πολλές συζητήσεις. | Το μπλοκάρισμα μπορεί να εμποδίσει τους χρήστες του ChatGPT να του ζητήσουν να διαβάσει τη σελίδα σας. Αυτό δεν έχει την ίδια πρόθεση με την ευρεία ανίχνευση εκπαίδευσης. |
Google-Extended | Ένας έλεγχος που η Google τεκμηριώνει για ορισμένες περιπτώσεις χρήσης παραγωγικού AI. | Αυτό δεν είναι το ίδιο με το μπλοκάρισμα της Αναζήτησης Google. Μην μπλοκάρετε το Googlebot εκτός αν θέλετε να επηρεαστεί η ορατότητα στην αναζήτηση. | |
ClaudeBot | Anthropic | Όνομα ανιχνευτή της Anthropic που εμφανίζεται σε συζητήσεις ελέγχου ανιχνευτών. | Χρησιμοποιήστε το μόνο αφού ελέγξετε την πιο πρόσφατη τεκμηρίωση της Anthropic. |
Claude-SearchBot | Anthropic | Όνομα ανιχνευτή Claude σχετικού με αναζήτηση, που εμφανίζεται σε δημόσιες οδηγίες. | Σκεφτείτε τον συμβιβασμό ορατότητας πριν μπλοκάρετε agents τύπου αναζήτησης. |
PerplexityBot | Perplexity | Ανιχνευτής/user-agent της Perplexity που συζητείται από τους εκδότες. | Το μπλοκάρισμα μπορεί να επηρεάσει τον τρόπο με τον οποίο το περιεχόμενό σας ανακαλύπτεται ή αναφέρεται από μηχανές απαντήσεων τύπου Perplexity. |
CCBot | Common Crawl | Δημόσιος ανιχνευτής ιστού που χρησιμοποιείται για μεγάλα σύνολα δεδομένων ιστού. | Συχνά μπλοκάρεται από εκδότες που δεν θέλουν οι σελίδες τους να αντιγράφονται σε δημόσια σώματα ανίχνευσης. |
Bytespider | ByteDance | Ανιχνευτής που σχετίζεται με την ByteDance. | Χρήσιμο να τον εξετάσετε αν θέλετε μια ευρεία λίστα μπλοκαρίσματος ανιχνευτών AI. |
Πώς σας βρίσκουν οι ανιχνευτές
Πριν μπορέσετε να μπλοκάρετε έναν ανιχνευτή, βοηθά να γνωρίζετε πώς φτάνει. Οι αυτοματοποιημένοι ανιχνευτές σπάνια πέφτουν σε μια σελίδα τυχαία· ακολουθούν μια αρκετά προβλέψιμη αλυσίδα ανακάλυψης. Οι περιγραφές παρακάτω είναι γενικές και απλοποιημένες, και η ακριβής συμπεριφορά κάθε επώνυμου bot μπορεί να αλλάξει, γι' αυτό επαληθεύστε με την επίσημη τεκμηρίωση κάθε παρόχου πριν ενεργήσετε.
Οι ανιχνευτές βρίσκουν URL ακολουθώντας συνδέσμους από άλλες σελίδες, διαβάζοντας τον χάρτη ιστότοπου XML, ελέγχοντας το robots.txt σας και αντλώντας από μεγάλα δημόσια σύνολα δεδομένων συνδέσμων. Μια ολοκαίνουργια σελίδα συνήθως γίνεται προσβάσιμη τη στιγμή που κάτι δημόσιο τη συνδέει.
Ένας ανιχνευτής στέλνει ένα αίτημα HTTP που τον προσδιορίζει με μια συμβολοσειρά user-agent. Ο διακομιστής σας μπορεί να ελέγξει αυτή τη συμβολοσειρά και να αποφασίσει πώς θα απαντήσει, αν και τα user-agents μπορούν να παραποιηθούν, οπότε αντιμετωπίστε τα ως ένδειξη και όχι ως απόδειξη.
Οι καλά συμπεριφερόμενοι ανιχνευτές επισκέπτονται ξανά περιοδικά για να καταγράψουν αλλαγές, και πολλοί σέβονται τις υποδείξεις καθυστέρησης ανίχνευσης ή τα δικά τους όρια ρυθμού. Οι κακώς συμπεριφερόμενοι μπορεί να ανακτούν επιθετικά, κάτι που είναι ένας λόγος για τον οποίο ο περιορισμός ρυθμού έχει σημασία παράλληλα με τους ευγενικούς κανόνες.
Τρία είδη bot
Πολλά λάθη μπλοκαρίσματος προέρχονται από την αντιμετώπιση κάθε bot ως πανομοιότυπου. Οι τρεις κατηγορίες παρακάτω επικαλύπτονται ως προς τους μηχανισμούς αλλά διαφέρουν ως προς τον σκοπό, και το μπλοκάρισμα ενός μπορεί να έχει πολύ διαφορετικές συνέπειες από το μπλοκάρισμα ενός άλλου. Η ονοματολογία και η συμπεριφορά εξελίσσονται, γι' αυτό επιβεβαιώστε τον τρέχοντα ρόλο κάθε συγκεκριμένου agent πριν βασιστείτε σε αυτό το πλαίσιο.
| Τύπος | Τι κάνει | Αποτέλεσμα του μπλοκαρίσματος |
|---|---|---|
| Ανιχνευτής αναζήτησης | Δημιουργεί ευρετήριο των σελίδων ώστε να μπορούν να εμφανίζονται στα αποτελέσματα μιας μηχανής αναζήτησης. | Το μπλοκάρισμα μπορεί να σας αφαιρέσει από εκείνη τη μηχανή αναζήτησης. Συνήθως δεν είναι αυτό που θέλετε. |
| Ανιχνευτής εκπαίδευσης AI | Ανακτά σελίδες για να δημιουργήσει ή να βελτιώσει σύνολα δεδομένων εκπαίδευσης για μοντέλα AI. | Το μπλοκάρισμα ζητά από τον πάροχο να μη χρησιμοποιήσει τις δημόσιες σελίδες σας για εκπαίδευση. Αυτός είναι ο κύριος στόχος για τους περισσότερους εδώ. |
| Bot ζωντανής ανάκτησης AI | Ανακτά μια σελίδα κατ' απαίτηση όταν ένας χρήστης ζητά από έναν βοηθό AI να τη διαβάσει ή να την αναφέρει. | Το μπλοκάρισμα μπορεί να εμποδίσει την ανάγνωση ή την αναφορά της σελίδας σας σε πραγματικό χρόνο, κάτι που επηρεάζει την ορατότητα στις μηχανές απαντήσεων και όχι την εκπαίδευση. |
Οι ανιχνευτές εκπαίδευσης και τα bot ζωντανής ανάκτησης είναι αυτά που οι περισσότεροι εννοούν με τον όρο «bot AI», αλλά ορισμένα τροφοδοτούν επίσης την ανακάλυψη και την παραπομπή. Αποφασίστε σκόπιμα αν θέλετε να εκπαιδεύεστε πάνω σε αυτά, να αναφέρεστε, και τα δύο ή τίποτα, επειδή αυτές είναι ξεχωριστές επιλογές.
Μια πολυεπίπεδη προσέγγιση
Σκεφτείτε το μπλοκάρισμα ως άμυνα σε βάθος και όχι ως έναν μόνο διακόπτη. Κάθε επίπεδο πιάνει περιπτώσεις που τα άλλα χάνουν, και το καθένα έχει τα ειλικρινή του όρια. Ξεκινήστε με τα ευγενικά, χαμηλού κινδύνου επίπεδα και προσθέστε αυστηρότερα μόνο εκεί όπου ο συμβιβασμός αξίζει.
Ένα αρχείο απλού κειμένου που ζητά από επώνυμους ανιχνευτές να μην ανακτούν τις καταγεγραμμένες διαδρομές. Τα συμμορφούμενα bot το τηρούν· τα μη συμμορφούμενα το αγνοούν. Είναι το τυπικό πρώτο βήμα και το λιγότερο διασπαστικό.
Μια ετικέτα meta σε επίπεδο σελίδας ή μια κεφαλίδα απόκρισης HTTP μπορεί να ζητήσει να μην δημιουργηθεί ευρετήριο ή να μη χρησιμοποιηθεί το περιεχόμενο με ορισμένους τρόπους. Η υποστήριξη διαφέρει ανά bot, γι' αυτό αντιμετωπίστε οδηγίες όπως το noai ως αιτήματα, όχι ως εγγυήσεις.
Ένα τείχος προστασίας εφαρμογών ιστού ή ένας περιοριστής ρυθμού μπορεί να μπλοκάρει ή να περιορίσει την κίνηση ανά user-agent, εύρος IP ή συμπεριφορά. Σε αντίθεση με το robots.txt, αυτό πραγματικά επιβάλλεται στον διακομιστή, αν και χρειάζεται προσοχή για να μην πιάσει νόμιμους επισκέπτες.
Το περιεχόμενο πίσω από μια σύνδεση δεν είναι δημόσια ανακτήσιμο, κάτι που είναι ο πιο αξιόπιστος τρόπος να κρατήσετε πλήρως έξω τους περιστασιακούς ανιχνευτές. Το κόστος είναι η τριβή για τους πραγματικούς χρήστες, γι' αυτό κρατήστε το για υλικό που το χρειάζεται πραγματικά.
Οι διαχειριζόμενες πλατφόρμες προσθέτουν μια ακόμη επιλογή. Ορισμένοι πάροχοι, όπως υπηρεσίες τύπου Cloudflare, προσφέρουν ενσωματωμένους ελέγχους που προσδιορίζουν και μπλοκάρουν κατηγορίες bot AI για εσάς. Αυτά μπορεί να είναι βολικά, αλλά εξακολουθείτε να εξαρτάστε από την ακρίβεια ανίχνευσης και τους ορισμούς του παρόχου, γι' αυτό επαληθεύστε τι κάνει πραγματικά ένας δεδομένος διακόπτης πριν τον εμπιστευτείτε.
# robots.txt — a polite first layer (verify current agent names)
User-agent: GPTBot
Disallow: /
User-agent: CCBot
Disallow: /
# Keep normal search working: do NOT blanket-block Googlebot
User-agent: Googlebot
Allow: /# HTTP response header example (server or WAF config)
X-Robots-Tag: noai, noimageaiΓιατί το μπλοκάρισμα είναι ατελές
Θα ήταν παραπλανητικό να παρουσιάσουμε οποιαδήποτε από αυτές τις τεχνικές ως αδιαπέραστη. Μειώνουν ουσιαστικά την ανεπιθύμητη ανίχνευση, αλλά δεν καθιστούν το περιεχόμενό σας μη προσβάσιμο. Το να θέτετε σωστά τις προσδοκίες είναι μέρος του να το κάνετε αυτό υπεύθυνα.
Στοχεύστε να κάνετε την ανεπιθύμητη ανίχνευση AI ουσιαστικά λιγότερο βολική και να τεκμηριώσετε καθαρά τη δηλωμένη προτίμησή σας. Αυτό είναι εφικτό. Ο εγγυημένος, καθολικός αποκλεισμός δεν είναι.
Παρακολουθήστε τα αρχεία καταγραφής σας
Οι κανόνες είναι χρήσιμοι μόνο αν ελέγχετε αν λειτουργούν. Τα αρχεία καταγραφής πρόσβασης του διακομιστή σας καταγράφουν ποιος ζήτησε τι, πότε και με ποια συμβολοσειρά user-agent. Ένας σύντομος, τακτικός έλεγχος σάς λέει ποια bot επισκέπτονται πραγματικά και αν οι κανόνες σας τηρούνται. Θυμηθείτε ότι τα user-agents μπορούν να μιμηθούν, γι' αυτό αντιμετωπίστε τα αρχεία καταγραφής ως στοιχεία προς ερμηνεία και όχι ως απόλυτη αλήθεια.
Σαρώστε για γνωστές συμβολοσειρές user-agent AI όπως GPTBot, CCBot, ClaudeBot, PerplexityBot και Bytespider. Σημειώστε τον όγκο των αιτημάτων τους και ποιες διαδρομές ανακτούν.
Προσέξτε για agents που ζητούν έντονα τον ιστότοπό σας αφού τους έχετε απαγορεύσει, άγνωστους agents που ανακτούν πολλές σελίδες γρήγορα, ή γενικές συμβολοσειρές προγράμματος περιήγησης που χτυπούν URL που κανένας άνθρωπος δεν θα επισκεπτόταν.
Αν ένα συμμορφούμενο bot αγνοεί έναν κανόνα, ελέγξτε ξανά τη σύνταξή σας. Αν ένα bot γνήσια αγνοεί το robots.txt, εξετάστε έναν κανόνα τείχους προστασίας (firewall) ή ορίου ρυθμού, αποδεχόμενοι τον πρόσθετο κίνδυνο ψευδώς θετικών.
# Rough example: count requests by AI-related user agent
grep -Ei "GPTBot|CCBot|ClaudeBot|PerplexityBot|Bytespider" access.log \
| awk '{print $NF}' | sort | uniq -c | sort -rnΒήμα προς βήμα εφαρμογή
Επειδή ένας λανθασμένος κανόνας μπορεί αθόρυβα να βλάψει τη νόμιμη ορατότητα, εφαρμόστε τις αλλαγές σταδιακά και παρακολουθήστε το αποτέλεσμα σε κάθε βήμα. Η ακολουθία παρακάτω ευνοεί την αναστρεψιμότητα έναντι της ταχύτητας, κάτι που είναι η σωστή προτεραιότητα για τους περισσότερους προσωπικούς και μικρούς ιστότοπους.
Σχετική ανάγνωση
Συγκρίνετε μοντέλα AI πριν επιλέξετε μια ροή εργασίας.
ChatGPT Alternatives chatgpt-alternatives.comΒρείτε ουδέτερες εναλλακτικές όταν ένας πάροχος AI δεν αρκεί.
AI Subscription Guide aisubscriptionguide.comΜάθετε ποια συνδρομή AI ταιριάζει στην πραγματική σας εργασία.
Τεκμηρίωση ανιχνευτή OpenAI platform.openai.com/docs/gptbotΕλέγξτε τις τρέχουσες οδηγίες ανιχνευτή και user-agent της OpenAI.
Τεκμηρίωση ανιχνευτή Google developers.google.com/search/docs/crawling-indexing/overview-google-crawlersΕπαληθεύστε τα ονόματα ανιχνευτών της Google, τη συμπεριφορά ευρετηρίασης και τους ελέγχους σχετικούς με AI.
Υποστήριξη Anthropic support.anthropic.com/Ελέγξτε τις τρέχουσες οδηγίες για λογαριασμό, δεδομένα και ανιχνευτή Claude.
Συχνές ερωτήσεις
Μπορείτε να μειώσετε την έκθεση, αλλά δεν μπορείτε να εγγυηθείτε πλήρη έλεγχο μόλις οι φωτογραφίες γίνουν δημόσιες. Κρατήστε τις ευαίσθητες φωτογραφίες ιδιωτικές, ελέγξτε τις ρυθμίσεις της πλατφόρμας, αποφύγετε τα δημόσια ανεβάσματα υψηλής ανάλυσης και χρησιμοποιήστε ελέγχους ανιχνευτών για τον δικό σας ιστότοπο.
Μόνο αφού αφαιρέσετε τις λεπτομέρειες που δεν χρειάζεστε για την εργασία. Ονόματα, διευθύνσεις, αριθμοί τηλεφώνου, ημερομηνίες γέννησης, υπογραφές, εταιρικά μυστικά και συστάσεις μπορούν συχνά να αντικατασταθούν με σύμβολα κράτησης θέσης.
Να είστε προσεκτικοί. Ιατρικές επιστολές, διαβατήρια, σχολικά έγγραφα, νομικά έγγραφα, τραπεζικά αρχεία και οικογενειακά μητρώα μπορεί να περιέχουν ευαίσθητα δεδομένα για άλλα άτομα. Χρησιμοποιήστε εγκεκριμένες ρυθμίσεις ιδιωτικότητας ή μην τα ανεβάζετε.
Εξαρτάται από το προϊόν, τον τύπο λογαριασμού και τις ρυθμίσεις. Ορισμένοι πάροχοι προσφέρουν ελέγχους, ομαδικά προγράμματα ή όρους API που αντιμετωπίζουν τα δεδομένα διαφορετικά. Ελέγξτε τις τρέχουσες ρυθμίσεις πριν πληκτρολογήσετε ευαίσθητες πληροφορίες.
Όχι με έναν τεχνικό διακόπτη. Το robots.txt μπορεί να ζητήσει από τους συμμορφούμενους ανιχνευτές να μείνουν μακριά, αλλά είναι εθελοντικό και δεν αφαιρεί αντίγραφα που ήδη υπάρχουν αλλού.
Το robots.txt είναι μια τεχνική σύμβαση, όχι μια σύμβαση από μόνο του. Μπορεί να στηρίξει τη θέση της πολιτικής σας, αλλά τα νομικά ζητήματα εξαρτώνται από τη δικαιοδοσία, τους όρους, τα πνευματικά δικαιώματα, τις συμβάσεις και την επιβολή.