Les fichiers .htaccess et robots.txt

• Les fichiers .htaccess et robots.txt
• Le fichier .htaccess
• Exemple de fichier .htaccess
• Exemple de redirection avec un fichier .htaccess
• Editer le fichier .htaccess
• Taille du fichier .htaccess
• Liens
• Le fichier robots.txt
• Exemple de fichier robots.txt
• Anti aspirateur de site

 

 

.htaccess et robots.txt :

Ce sont deux fichiers que l'on peut être amené à utiliser.
Ils se placent à la racine du site.

 

 

.htaccess :

Le fichier htaccess a trois utilisations principales :
- limiter l'accès avec un mot de passe,
- faire une redirection de page,
- paramétrer une page d'erreur 404,

 

Il sert également à
- compresser les pages
- maintenir les fichiers du site dans le cache (voir ma page : Vitesse de chargement : Méthodes

- Compression Gzip : Deflate ou Mod_Gzip
- Cache et headers : Expire headers (ExpiresActive On) et Cache-control (FilesMatch...) - Etags (FileETag)
- Sécurité : Protection du fichier .htaccess (deny, CHMOD 644) et protection des répertoires (Options -Indexes)

(voir aussi, ci-dessus, la méthode pour protéger l'accès au fichier .htaccess.

 

 

Exemple de fichier .htaccess :

.htaccess est un nom de fichier particulier :
- il commence par un point
- il n'a pas d'extension.

Il est impossible de le créer avec Windows en utilisation normale.
En voici donc un modèle :

cliquer ici pour télécharger un modèle de fichier .htaccess

 

 

Exemple de redirection avec un fichier .htaccess :

Le fichier contient la ligne suivante :

Cette ligne est constituée de 3 parties :

Redirect permanent	la commande de redirection
/index.htm	le fichier à rediriger. ici, le fichier index.htm du site
http://www.aidewindows.net/	l'adresse de redirection

Evidemment, cette commande n'est donnée qu'à titre d'exemple !
Elle est à modifier suivant ses besoins.

 

 

AddDefaultCharset :

Cette commande permet d'imposer un codage de caractère :
Exemple : AddDefaultCharset UTF-8

A vérifier et à rechercher sur Google.

 

 

Editer le .htaccess :

Pour éditer le fichier .htaccess, on peut utiliser :
- Notepad++ = un Bloc-notes amélioré
- HTAccess Editor = une page web où l'on peut créer un fichier .htaccess.

 

Notepad++ :

Notepad++ est un éditeur de texte.

Voir ma page : Utilitaires bureautique - Notepad++

 

 

HTAccess Editor :

Créer un fichier htaccess en ligne très facilement !

Site officiel :
http://www.htaccesseditor.com/fr.shtml

 

Path-Tech.fr - Créez rapidement et facilement tous vos fichiers .htaccess

 

 

Taille du fichier .htaccess :

Le fichier .htaccess est tellement utile que sa taille peut augmenter de manière conséquente.

Voir sur Google

Apache Web Server Forum - .htaccess file size :
http://www.webmasterworld.com/forum92/1145.htm

Taille du fichier .htaccess et performances ?
http://www.webmaster-hub.com/topic/25794-taille-du-fichier-htaccess-et-performances/

 

 

Liens :

 

 

Le fichier .htaccess :
http://www.webmaster-hub.com/publication/Le-fichier-htaccess.html
"Ce simple fichier texte [1] vous permet d’ajuster finement certains paramètres de votre serveur Apache tels que les redirections, les réécritures d’URL, les redirections et les restrictions d’accès."

.htaccess - contrôler les réactions du serveur :
http://fr.selfhtml.org/divers/htaccess.htm

Voir aussi :

Redirection web :
http://alexandre.alapetite.net/doc-alex/redirections/index.fr.html

Protection des pages Web par htaccess
http://www.infres.enst.fr/~danzart/frames/htaccess.html

 

 

robots.txt :

Le fichier robots.txt permet de gérer l'accès des robots d'indexation au site.
Il permet notamment d'interdire l'accès à certains dossiers ou certains fichiers.

Un fichier robots.txt se crée facilement avec le Bloc-notes.

 

 

Exemple de fichier robots.txt :

 

Cette commande interdira l'accès du dossier images aux robots d'indexation.
On peut ajouter d'autres dossiers.

 

Liens :

Fr.selfhtml.org - robots.txt - contrôler les robots
http://fr.selfhtml.org/divers/robots.htm

 

 

anti aspirateur de site :

Je sais que certains (beaucoup ?) sites utilisent un anti aspirateur de site..
Ceci pour lutter contre les robots (bad bots) qui aspirent l'intégralité d'un site en consommant toute la bande passante.

Script anti aspirateur :
http://www.webmaster-hub.com/index.php?showtopic=27059

Compter le nombre de visiteurs simultanés sans base de données :
http://www.webmaster-hub.com/publication/Compter-le-nombre-de-visiteurs.html

 

Ceci dit, le risque est de bloquer outre mesure le référencement du site par Google. Dans ce cas, le mieux est l'ennemi du bien.
http://forum.webrankinfo.com/script-anti-aspirateur-google-les-autres-t9671.html

Certains considèrent qu'une liste de robots à exclure serait la solution la meilleure ?