Το robots.txt αρχείο είναι ένα σημαντικό μέρος από το τεχνικό SEO κομμάτι της ιστοσελίδας σου. Χάρη σε αυτό, οι μηχανές αναζήτησης όπως η Google και η Bing έχουν την δυνατότητα να ανιχνεύσουν τα άρθρα και τις σελίδες του blog σου πιο γρήγορα και αποτελεσματικά.
Ένα από τα πιο σημαντικά πράγματα που πρέπει να κάνει κάθε blogger στη σήμερον ημέρα είναι να ελέγξει αν το robots.txt αρχείο του blog του είναι σωστά δομημένο, ή αν υπάρχει γενικότερα. Αν ιδρώνεις μόνο που ακούς για τεχνικό SEO, τότε επίτρεψε μου να σου πω πως αναφέρομαι για μια διαδικασία η οποία είναι παιχνιδάκι ακόμα και για τους πιο αρχάριους bloggers. Ως εκ τούτου, όχι μόνο δεν υπάρχει δικαιολογία για να μην ελέγξεις αυτό το αρχείο, αλλά θα έπρεπε να το είχες κάνει εχθές.
Τι είναι το robots.txt αρχείο;
Μέσα από το robots.txt αρχείο έχουμε την δυνατότητα να ορίσουμε ποιες σελίδες και άρθρα θέλουμε να διαβάζουν οι μηχανές αναζήτησης και ποιες θέλουμε να είναι ιδιωτικές. Μπορούμε μέσα από αυτό να επιτρέψουμε ή να αποτρέψουμε την ανίχνευση συγκεκριμένων σελίδων από τις μηχανές αναζήτησης και όσο πιο καλά δομημένο είναι το αρχείο, τόσο πιο εύκολα και αποτελεσματικά μπορούν να ανιχνεύσουν το περιεχόμενο της ιστοσελίδας μας.
Όπως και κάθε άλλο κομμάτι του τεχνικού SEO, το robots.txt αρχείο έχει την δική του γλώσσα. Ουσιαστικά, πρέπει να γνωρίζεις τις τρεις βασικές του λειτουργίες και αυτές που σε ενδιαφέρουν περισσότερο, οπότε παρακάτω σου παραθέτω τους όρους:
- User-agent: Η μηχανή αναζήτησης.
- Disallow: Λέει σε μια μηχανή αναζήτησης να μην διαβάσει έναν σύνδεσμο.
- Allow: Λέει σε μια μηχανή αναζήτησης πως έχει πρόσβαση να διαβάσει το περιεχόμενο.
Πως μπορείς να χρησιμοποιήσεις το Robots.txt
Αρχικά, έχεις την δυνατότητα να κρατήσεις συγκεκριμένες σελίδες κρυφές από τις μηχανές αναζήτησης, έτσι ώστε οι σελίδες που έχεις επιλέξει να μην εμφανίζονται στα αποτελέσματα αναζήτησης. Μπορείς επίσης να αποτρέψεις τις μηχανές αναζήτησης απ’ το να βλέπουν συγκεκριμένα αρχεία που έχεις ανεβάσει στο blog σου, ή να τις επιτρέπεις περιορισμένη ή ολοκληρωμένη πρόσβαση σε ολόκληρο το site σου.
Αν αναρωτιέσαι για πιο λόγο θέλει να κρύψει κάποιος συγκεκριμένες σελίδες ή αρχεία από το blog του έτσι ώστε να μην τα βλέπουν οι μηχανές αναζήτησης, τότε δεν είσαι ούτε ο πρώτος, αλλά ούτε και ο τελευταίος που το σκέφτηκε. Για να σου δώσω ένα απλό παράδειγμα, σκέψου πως στο blog σου θέλεις να έχεις ιδιωτικό περιεχόμενο το οποίο να διαβάζουν μόνο τα εγγραμμένα μέλη. Αν αυτό το περιεχόμενο εμφανίζεται στα αποτελέσματα αναζήτησης, τότε είναι πανεύκολο να το βρει και να το διαβάσει κάποιος (ακόμα και αν έχεις βάλει κωδικό πρόσβασης, πάλι υπάρχουν τρόποι για να το διαβάσει). Αν είσαι εταιρεία και παρέχεις συγκεκριμένες σελίδες για τους εργαζομένους σου, τότε δεν θέλεις αυτές οι σελίδες να είναι διαθέσιμες στα αποτελέσματα αναζήτησης.
Τέλος, μπορεί να θέλεις οι μηχανές αναζήτησης να ανιχνεύουν μόνο το πιο σημαντικό περιεχόμενο και τις πιο σημαντικές σελίδες του blog σου, και όχι οτιδήποτε άλλο υπάρχει το οποίο δεν θεωρείς πως είναι ιδιαίτερα σημαντικό.
Πως να ελέγξεις αν το blog σου έχει robots.txt αρχείο
Υπάρχει ένας πολύ εύκολος και απλός τρόπος για να δεις αν το blog σου περιλαμβάνει ένα robots.txt αρχείο και είναι σωστά δομημένο. Το μόνο που έχεις να κάνεις είναι να βάλεις στο τέλος του συνδέσμου σου το /robots.txt και να πατήσεις Enter.
Παράδειγμα:
https://inkstory.gr/robots.txt
Στο Inkstory έχω φτιάξει και έχω δομημένο το robots.txt αρχείο με τέτοιο τρόπο έτσι ώστε οι μηχανές αναζήτησης να είναι σε θέση να ανιχνεύουν γρήγορα και εύκολα το περιεχόμενο του blog μου, αλλά να μην ανιχνεύουν διάφορα άλλα μέρη του τα οποία δεν υπάρχει καν λόγος να εμφανίζονται στα αποτελέσματα αναζήτησης ή να καθυστερούν τα bots με περαιτέρω ανούσια πράγματα.
Το robots.txt αρχείο του Inkstory:
User-Agent: * Allow: /wp-content/uploads/ Disallow: /wp-content/plugins/ Disallow: /wp-admin/ Disallow: /readme.html Disallow: /refer/ Sitemap: https://inkstory.gr/sitemap.xml Sitemap: https://inkstory.gr/news-sitemap.xml
Ουσιαστικά, το robots.txt αρχείο που έχω φτιάξει λέει στις μηχανές αναζήτησης να μην ανιχνεύουν οτιδήποτε υπάρχει στον φάκελο με τα plugins, στο /wp-admin/, στο /refer/ αλλά και να μην διαβάζουν το readme.html αρχείο, το οποίο έρχεται με κάθε εγκατάσταση του WordPress. Έχω θέσει επίσης στο τέλος τους δύο συνδέσμους από τα sitemaps μου. Το ένα είναι το κλασικό sitemap που έχουν οι περισσότερες ιστοσελίδες, ενώ το άλλο είναι το news sitemap για να εμφανίζονται συγκεκριμένα άρθρα στις “Ειδήσεις” της Google.
Πως να δημιουργήσεις ένα robots.txt αρχείο στο WordPress
Η δημιουργία ενός robots.txt αρχείου είναι πραγματικά γελοία διαδικασία και μπορεί να την κάνει ο οποιοσδήποτε μέσα σε μερικά μόλις δευτερόλεπτα. Υπάρχουν, μάλιστα, δύο διαφορετικοί τρόποι με τους οποίους μπορείς να δημιουργήσεις ένα τέτοιο αρχείο και μπορείς να επιλέξεις όποιον τρόπο θεωρείς ευκολότερο ή καλύτερο. Και με τους δύο τρόπους κάνεις την ίδια δουλειά.
1. Χρησιμοποίησε το Yoast SEO
Το Yoast SEO είναι το δημοφιλέστερο SEO plugin στο WordPress και εκτός από τα βασικά που σου παρέχει, σου επιτρέπει επίσης να δημιουργήσεις ένα robots.txt αρχείο με το πάτημα ενός κουμπιού. Όχι μόνο θα δημιουργήσει το αρχείο, αλλά θα σου προσθέσει μέσα και την βασική δομή, η οποία επιτρέπει στα bots των μηχανών αναζήτησης να ανιχνεύουν όλο το περιεχόμενο του blog σου γρήγορα και εύκολα.
Για να δημιουργήσεις το αρχείο, από την αριστερή πλευρική στήλη του WordPress, πάνε στο SEO > Tools > File Editor > Create Robots.txt file.
Στην ίδια σελίδα, ακριβώς λίγο πιο κάτω, θα βρεις επίσης το .htaccess αρχείο. Σου προτείνω να μην το πειράξεις καθόλου το συγκεκριμένο αρχείο καθώς υπάρχει τεράστια πιθανότητα να πέσει ολόκληρο το blog σου, εκτός φυσικά αν γνωρίζεις τι κάνεις.
Σύμφωνα με την Google, το καλύτερο robots.txt αρχείο που μπορείς να έχεις για το blog σου είναι το παρακάτω:
User-agent: * Allow: / Sitemap: https://inkstory.gr/sitemap.xml
Όπως μπορείς να δεις από το παραπάνω παράδειγμα της εταιρείας, η Google επιτρέπει στα bots να ανιχνεύουν όλο το περιεχόμενο της ιστοσελίδας, ενώ στο τέλος υπάρχει και ο σύνδεσμος που οδηγεί στο sitemap του site – ακριβώς όπως το έχω και εγώ, με τη διαφορά πως δεν επιτρέπω στα bots να βλέπουν ορισμένους φακέλους.
Αν έχεις προσθέσει το blog σου στο Google Search Console, τότε έχεις την δυνατότητα να ελέγξεις μέσω του εργαλείου που παρέχει η Google για να δεις αν το robots.txt αρχείο σου λειτουργεί σωστά ή όχι.
Στην περίπτωση που δεν έχεις εγκατεστημένο το Yoast SEO στο WordPress site σου και δεν γνωρίζεις πως να το ρυθμίσεις και να το χρησιμοποιείς, τότε μπορείς να δεις το βίντεο οδηγό που έχω φτιάξει (το παραθέτω παρακάτω).
2. Δημιούργησε το χειροκίνητα
Για να δημιουργήσεις ένα robots.txt αρχείο χειροκίνητα, απλά άνοιξε το σημειωματάριο των Windows ή χρησιμοποίησε το Notepad++, το Sublime Text, το Visual Studio Code ή οποιοδήποτε άλλο πρόγραμμα επιθυμείς και επικόλλησε τα παρακάτω μέσα στο αρχείο:
User-agent: * Allow: / Sitemap: https://inkstory.gr/sitemap.xml
Άλλαξε τον σύνδεσμο (https://inkstory.gr/sitemap.xml) με τον σύνδεσμο του blog σου και αποθήκευσε το αρχείο ως robots.txt. Στη συνέχεια, απλά ανέβασε το αρχείο στον root φάκελο του server σου μέσω του FileZilla ή μέσω του cPanel, Plesk ή CentOS Panel.
Αν και τις περισσότερες φορές το τεχνικό κομμάτι του SEO φαίνεται ολόκληρο “παλούκι” με το οποίο δε θέλει κανείς να ασχοληθεί, ορισμένα απλά πραγματάκια όπως το robots.txt αρχείο μπορούν να βελτιώσουν σημαντικά το ranking του blog σου στα αποτελέσματα αναζήτησης – τόσο της Google, όσο και της Bing.
Εσύ ήξερες τι είναι το robots.txt αρχείο; Είχε το blog σου ένα ή έφτιαξες για πρώτη φορά ακολουθώντας τις οδηγίες που αναφέρονται παραπάνω στο άρθρο; Θα χαρώ να ακούσω τις απόψεις σου στα σχόλια παρακάτω.
