Eu tento controlar a forma como os motores de busca como Google e Yahoo são de indexação meu blog. Fui assistir ao longo das últimas duas semanas e que o Google indexou como 35 páginas, posts e tags. Agora para este blog ser um pouco mais de um mês prender Eu pensei que não era ruim. Então, eu chequei minha lista de sites do Google ontem e eu tinha 131 anúncios. Para aqueles de vocês que não sei como descobrir como os motores de busca como Google e Yahoo estão ligando o seu site é muito simples. Basta ir a qualquer um dos motores de busca e digite simplesmente
site: www.yourdomain.com
e ele lista para você todas as páginas que foram indexadas. Quando eu vi isso, eu sabia que algo não estava certo, porque eu não tenho qualquer lugar perto de muitos posts ou páginas de Google-bot ter rastreado.Então, obviamente, eu comecei a passar por todas as listas e ver o que era do meu site que o Google-bot tinha encontrado. Quanto mais eu olhava os anúncios do meu site eu achei que o Google-bot tinha indexado minha pasta wp-content, o que significa que o Google-bot tinha anotado a minha pasta do tema, juntamente com minha pasta de plug-ins. Agora, isso não é um grande problema que eu simplesmente não configurar o meu arquivo robots.txt. Então noite passada eu passei e configurar o meu arquivo robots.txt e apresentaram-lo ao Google e estou aguardando a adição de meu arquivo robots.txt para refletir meus anúncios no Google.
Aqui está um exemplo muito simples de um arquivo robots.txt.
User-agent: *
Disallow: / cgi-bin
Disallow: / wp-admin
Disallow: / wp inclui
Disallow: / wp-content
Disallow: / i /
Disallow: / f /
Disallow: / t /
Disallow: / wget /
Disallow: / httpd /
Disallow: / c /
Disallow: / j /
Agora, depois de ter criado o seu robots.txt, é importante que você vá para o Google Webmaster Tools e certifique-se que o Google bot é capaz de acessá-lo. Este pode ser feito em três passos simples:
Passo 1 - Acesse a sua Conta do Google e clique em Ferramentas do webmaster
Passo 2 - Selecione o domínio que você está adicionando o arquivo robots.txt para.
robots.txt Passo 3 - Clique na aba Ferramentas e selecione
Passo 4 - Inserir o texto do seu arquivo robots.txt dentro da primeira casa que você vê. Deveria ter listado nele "User-agent: *
Disallow: ". Isto é onde você vai querer colar o texto do seu arquivo robots.txt.
Passo 5 - Verifique se o seu url de domínio está listado na segunda caixa.
Passo 6 - Clique em verificar na parte inferior e bot-Google vai baixar o arquivo Robots.txt e seu feito.
Note que este é o único tempo que você precisará fazer alterações no seu Robots.txt no Google Webmaster Tools. Para fazer alterações no acesso ao arquivo o arquivo robots.txt no servidor e bot, o Google irá baixar as alterações.