#crawlgoogle

Il faut entre 4 jours et 4 semaines pour que votre tout nouveau site Web soit exploré et indexé par Google. Cette fourchette est toutefois assez large et a été contestée par ceux qui prétendent avoir indexé des sites en moins de 4 jours. Même si l'inimitable moteur de recherche de Google fonctionne sur la base d'un algorithme, les éternelles mathématiques qui se déroulent en coulisses ne peuvent pas nous donner une réponse unique et solide.

Néanmoins, une fourchette de 4 jours à 1 mois donne aux webmasters un peu de réconfort en attendant de voir où leur page apparaîtra dans les pages de résultats du géant de la recherche.

Comment les sites sont explorés et indexés par Google ?

L'ensemble du processus d'indexation est géré par l'algorithme de recherche de Google et par des robots tels que Googlebot, qui sont limités dans le monde réel par la vitesse du matériel et l'espace physique des serveurs. Les robots fonctionnent en permanence et transforment les champs numériques infinis d'informations perdues en plus de 100 000 000 gigaoctets d'index. De cette façon, Google crée une carte de la bibliothèque infinie de l'Internet visible. Googlebot : Tous les sites web du monde entier sont crawlés par le Googlebot, chargé de les analyser pour pouvoir ensuite établir un classement pertinent dans les résultats de recherche. En effet,  ce programme informatique recherche et lit le contenu des sites et modifie son index en fonction des nouveautés qu’il trouve Le site : Lorsqu'il rencontre un site il lit les informations qu'il contient en suivant les instructions décrites dans le fichier robots.txt du site. Les robots comme Googlebot préfèrent lire le texte et suivre les liens qu'ils trouvent pour obtenir plus d'informations, et ils suivront les sitemaps fournis par les webmasters. Le contenu que le robot : Le contenu que le robot découvre et ce qu'il contient est renvoyé aux serveurs de Google, où il est ajouté à une base de données. Les informations : Les informations contenues dans la base de données sont transmises à des programmes informatiques qui déterminent quels sites doivent être explorés, à quelle fréquence les robots doivent les visiter et le nombre de pages à extraire. Programmes : D'autres programmes déterminent la pertinence et la valeur du contenu des sites explorés et récompensent ceux qui répondent aux critères stricts de Google en les classant au début des résultats de recherche. Googlebot a une affinité pour les nouveaux sites, les modifications apportées aux sites existants et les liens morts. Si vous êtes propriétaire d'un nouveau site et que vous souhaitez que votre site soit indexé le plus rapidement possible, vous pouvez mettre en avant votre site à l'aide de certaines des méthodes énumérées ci-dessous afin d'attirer vers votre domaine les robots en quête de lecture fraîche.

Puis-je accélérer l'indexation par Google ?

Oui, de nombreux webmasters ont constaté qu'en prenant des mesures pour signaler à Google que vous avez un nouveau site Web réel et plein de potentiel, le temps d'indexation est plus proche de la fourchette inférieure de 4 jours à 4 semaines. Ces mesures s'appuient sur la logique selon laquelle le fait de rendre votre site visible dans le monde numérique le fera également remarquer par Googlebot.

Créez un site indexable

Avant de connecter votre site aux canaux existants sur Internet, assurez-vous que la structure de votre site est prête pour sa toute première présentation. Fournissez les éléments suivants au Googlebot : Valeur - Produisez du contenu avec du texte qu'un Googlebot peut explorer. Facilité d'utilisation - Veillez à ce que le rapport entre le texte et le code soit élevé en faveur du texte. Navigation : incluez une barre de navigation qui renvoie à l'ensemble du contenu principal et permanent de votre site. Langage réel - Utilisez des URL sur les adresses Web et du texte alt sur les images qui expliquent le contenu du site. Simplicité - Minimisez le Javascript ou codez-le pour qu'il se charge après le HTML (car Googlebot lit le texte et reçoit des signaux de l'importance du texte à partir du HTML). Direction - Vérifiez votre fichier robots.txt pour voir s'il permet à Googlebot d'explorer votre site correctement. Ce sont les bases de l'optimisation des moteurs de recherche qui permettent de déverrouiller la porte de votre site Web une fois que le robot le trouve. Des retards dans l'indexation peuvent être causés lorsque Googlebot ne peut pas entrer, même s'il voit clairement votre site. Configurer Google Analytics :

Google Analytics est un outil d'analyse Web complet et gratuit qui collecte et organise les données relatives au trafic d'un site Web dans des rapports personnalisables. Connecter Google Analytics à votre site Web est une façon de dire "Bonjour !" à Google. Bien que les données n'apparaissent pas dans Google Analytics tant que votre site Web n'est pas indexé, elles signalent à Google que vous êtes sérieux dans la construction de votre présence sur le Web. Configurer la console de recherche :

La console de recherche Google, anciennement Google Webmaster Tools, vous fournit des informations plus détaillées sur la façon dont votre site Web apparaît dans la page de résultats des moteurs de recherche (SERP) et vous informe lorsque Googlebot rencontre un problème d'exploration et d'indexation de votre site. Avant l'indexation initiale de votre site, vous ne recevrez aucune donnée de la console de recherche. Mais le fait de montrer à Google que vous activez manuellement les services Google envoie un feu vert supplémentaire à Googlebot, qui est à la recherche de tous les feux verts qu'il peut trouver. Soumettre un plan du site (Sitemap) :

Si vous souhaitez créer un plan de site, c'est-à-dire un aperçu de votre site optimisé pour les robots, utilisez le générateur de plans de site de Google. Bien que de nombreux outils de curation de contenu et kits de développement de sites Web génèrent désormais leurs propres sitemaps, vous devrez toujours en soumettre un via Google Search Console. Pour ce faire, choisissez Sitemaps sous Crawl dans Google Search Console et cliquez sur le bouton Ajouter/Tester un Sitemap. Google Fetch & Render : Vous pouvez demander manuellement à Google d'envoyer un robot sur votre site Web via l'option Fetch & Render ou l'option Soumettre l'URL dans Google Search Console. Google ne garantit pas que l'envoi de votre URL donnera lieu à un crawl ou à une indexation. En outre, même si Google est en mesure d'effectuer le rendu de votre site Web, la récupération de celui-ci peut ne pas produire de résultats rapides. Toutefois, le fait d'effectuer l'une ou l'autre de ces opérations augmente les chances d'une détection précoce par Googlebot. Obtenir des backlinks : L'obtention de liens vers votre site avant qu'il ne soit indexé crée des voies d'accès à votre site sur les sites Web que Google explore déjà. Cependant, obtenir des liens n'est pas aussi facile qu'il n'y paraît. Vous devrez parcourir le Web à la recherche d'endroits en qui vous avez confiance, qui vous font confiance en retour et qui croient suffisamment en votre site Web pour vous offrir un lien. Les approches traditionnelles de réseautage et de marketing peuvent vous aider à gagner des backlinks, alors n'ayez pas peur de battre le pavé à la recherche de liens qui accéléreront l'indexation. Sensibiliser : Pendant que vous recherchez des liens, commencez à développer des relations numériques avec votre public cible, d'autres propriétaires d'entreprises et des webmasters par le biais de la sensibilisation. Vous pouvez : - Envoyer des e-mails à des connexions potentielles - rechercher des opportunités d'écriture invitée et de blogging - inscrire votre site sur des annuaires (annuaires de blogs, annuaires d'entreprises, etc.) - envoyer des communiqués de presse. Nous sommes à l'ère du règne des médias sociaux et, que vous l'appréciiez ou non, ceux qui veulent attirer l'attention sur leur site Web et obtenir une indexation rapide doivent adopter les outils de réseaux sociaux comme moyen de créer des liens, des clients et des fans. Configurer les réseaux sociaux :