Los motores de búsqueda utilizan agentes de software (también llamados bots, crawlers, spiders, u otras derivaciones) para indexar la información de la web. Estos agentes de software navegan por la web de forma automatizada y periódica y almacenan la información que van encontrando para que el motor de búsqueda mismo la clasifique e indexe.

De esta forma, los índices de los motores de búsqueda actualizan constantemente la información relacionada a cada una de las páginas en la web y al mismo tiempo agregan información sobre páginas nuevas de forma expedita. Esto se aplica cuando se trata de un sitio web con información convencional, o incluso cuando se trata de soportes interactivos con los que se debe tener otra clase de comportamiento.

Existen métodos sencillos para que estos crawlers puedan aumentar su eficiencia con respecto a la actualización de la información almacenada en el motor de búsqueda de una página específica. Estos métodos se aplican a las URL del sitemap directamente.

Prioridad de las páginas dentro de un sitio

La etiqueta de priority (prioridad), aplicable al sitemap de forma opcional, establece una relación de prioridad entre las páginas dentro de un sitio web. Esto significa que el administrador del sitio puede manualmente determinar la prioridad que deberá tener cada una de las páginas de un sitio con respecto a las otras páginas del mismo sitio, al aparecer en los resultados de búsqueda. Esta clasificación puede ser muy útil para dirigir las visitas a ciertas páginas clave, como la página de inicio o la de ciertos productos que se quiera promocionar.

La prioridad se define utilizando parámetros de 1,0 a 0,1, en el que 1,0 es el más alto y 0,1 el más bajo. Así, se puede establecer una prioridad más alta de 0,9 para la página principal y una baja de 0,2 para páginas menos interesantes para el gran público, como artículos de temas muy específicos. Una buena estrategia puede ser reservar la prioridad máxima de 1,0 para productos que se estén promocionando con más ímpetu, para que su prioridad sea la mayor en toda la página.

Esta prioridad es dentro del sitio, por lo que no tendrá relevancia con respecto a otras páginas. Si el administrador de un sitio utiliza la misma prioridad para todas las páginas del sitio (sea la máxima o la mínima) la clasificación de prioridad no tendrá efecto alguno. Para maximizar los efectos de esta categorización por prioridad, es recomendable utilizar un rango medio para las páginas a las que no se quiere atraer una cantidad mayor de atención (de 0,7 a 0,3, dependiendo de la importancia comparativa de cada página) y dejar los extremos para casos excepcionales. La página de inicio siempre debería tener una prioridad alta, para que los usuarios puedan utilizar esta página como una guía al sitio.

Frecuencia de actualización de cada página

La etiqueta denominada changefreq es muy útil para indicarle a los crawlers la frecuencia en la cual deberían revisar cada una de las páginas. Recordemos que los crawlers periódicamente realizan una indexación de toda la información contenida en internet a la que pueden tener acceso, por lo que si existen etiquetas que indican con qué frecuencia se actualizan, se podrá ahorrar trabajo al crawler y al mismo tiempo las actualizaciones se verán reflejadas con mayor rapidez en los resultados de búsqueda.

Fecha de modificación

Agregar la fecha de modificación también es útil para que el usuario pueda encontrar su página de acuerdo a criterios de antigüedad de la información. Esto se hace mediante la etiqueta lastmod y el formato AAAA-MM-DDThh:mmHusoHorario.