del.icio.us bloqueia search engine spiders
Alguns usuários de um fórum bastante popular de SEO nos Estados Unidos, o Cre8asite, postaram que o principal serviço de bookmark online está bloqueando spiders dos mecanismos de busca. Eles acreditam que não é uma simples restrição via robots.txt, em vez disso o del.icio.us está servindo erros 404 baseados no User-Agent. Alguns testes onde os usuários conseguem mudar o user-agent simulando um spider confirmam a história.
Como eu postei anteriormente existe uma extensão para firefox que simula um spider com a troca de user-agent.
Muitas pessoas acreditam que isso não é uma boa idéia. E veem como um ponto de declínio nas estratégias do Yahoo!
Porém, o delicious não tem controle direto das url’s que são adicionadas, então existem muitos sites de apostas e spammers adicionados lá, logo seria uma estratégia de não dividir pagerank ou até mesmo ser considerado black list.
Não é a melhor solução, porém é um passo.
Outras pessoas acreditam que são apenas problemas técnicos e tudo irá se resolver em algumas semanas.