English
protection
CrawlTrack, tableau de bord du webmaster.
Web analytique et référencement

CrawlProtect, la sécurité de votre site internet.
Protection anti-hacking, anti-spam et anti-vol de contenu

Deux scripts php/MySQL gratuits et faciles à installer
Les outils nécessaires pour piloter et garder le contrôle de votre site et de son référencement.




diable

CrawlTrack, tableau de bord du webmaster.
Web analytique et référencement

CrawlProtect, la sécurité de votre site internet.
Protection anti-hacking, anti-spam et anti-vol de contenu

Deux scripts php/MySQL gratuits et faciles à installer
Les outils nécessaires pour piloter et garder le contrôle de votre site et de son référencement.










Identifier les robots des moteurs de recherche

Google, Bing, Yahoo ou bien Baidu sont en permanence entrain de rechercher sur le web de nouvelles pages a ajouter a leur index. Alors biensûr vous pouvez utiliser CrawlTrack pour savoir quand ces robots sont passés sur votre site, mais si vous voulez plus d'information sur les adresses IP et les user-agents utilisés par ces robot vous les trouverez ci-dessous. Tout visiteur de votre site (humain ou robot) envoi dans ses requètes vers votre site deux identifiants distinct. Il s'agit de l'adresse IP d'ou proviens la requète et du User-agent (dans le cas d'un humain, c'est le navigateur Internet Explorer ou Firefox par exemple qui fourni ce User-agent). Ces deux informations vont vous permettre d'identifier ces fameux robots.


Google

Google utilise plusieurs robot différents avec chacun une mission bien particulière en théorie, car il se pourrait que de temps en temps ils se donnent des coup de main les uns aux autres.

GoogleBot
Le plus connu, c'est lui qui parcours le web à la recherche de nouvelles infos à mettre dans l'index de Google.

User-agent:
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

Adresses IP utilisées:
66.249.65.xx
66.249.68.xx
66.249.71.xx


Google-Adsences
Lui il est utilisé pour connaitre le contenu des pages qui portent des publicités Adsences afin de permettre l'affichage de publicités adaptées au contenu de la page.

User-agent:
Mediapartners-Google

Adresses IP utilisées:
66.249.65.xx
66.249.68.xx
66.249.71.xx


Googlebot-Image
Comme son nom l'indique il est utilisé pour trouver les images qui iront enrichir l'index image de Google.

User-agent:
Googlebot-Image/1.0

Adresses IP utilisées:
66.249.71.xx

Bing

Bing le moteur de recherche de Microsoft a changé de nom plusieurs fois, il s'appellai autrefois MSN search. Il est devenu pour un temps Live search avant de prendre sont nom actuel de Bing en 2009. Le robot utilisé lui n'a pas changé de nom pendant longtemps, il a continué à s'appeller MSN Bot. Depuis octobre 2010, Bingbot prend le relai progresivement.

Bingbot
User-agent:
Mozilla/5.0 (compatible; bingbot/2.0 +http://www.bing.com/bingbot.htm)

Adresses IP utilisées:
65.52.108.xx
207.46.16.xx
207.46.195.xx
207.46.199.xx
207.46.204.xx


MSN Bot
Le bon vieux MSN Bot continu a rendre service pour enrichir maintenant l'index de Bing.

User-agent:
msnbot/1.0 (+http://search.msn.com/msnbot.htm)
msnbot/1.1 (+http://search.msn.com/msnbot.htm)


Adresses IP utilisées:
65.55.104.xx
65.55.208.xx
65.55.209.xx


Yahoo

Slurp Inktomi (Yahoo)
C'est le robot principal utilisé par Yahoo pour enrichir son index.

User-agent:
Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)
Mozilla/5.0 (compatible; Yahoo! Slurp/3.0; http://help.yahoo.com/help/us/ysearch/slurp)


Adresses IP utilisées:
67.195.37.xx
67.195.110.xx
67.195.111.xx
67.195.112.xx
67.195.113.xx
67.195.114.xx
67.195.115.xx
72.30.65.xx
72.30.78.xx
72.30.79.xx
72.30.81.xx
72.30.142.xx
72.30.161.xx
74.6.8.xx
74.6.17.xx
74.6.18.xx
74.6.22.xx


Baidu

Baidu, c'est le moteur de recherche chinois. Si vous voulez des visiteurs de chine, c'est là qu'il faut être.

Baiduspider
C'est le robot utilisé par Baidu pour enrichir son index.

User-agent:
Baiduspider+(+http://www.baidu.com/search/spider.htm)

Adresses IP utilisées:
123.125.66.xx
220.181.7.xx
61.135.162.xx