Webmasters and content providers began optimizing websites for search engines in the mid-1990s, as the first search engines were cataloging the early Web. Inicialmente, todos os webmasters só precisavam enviar o endereço de uma página, ou URL, para os vários motores que enviariam um web crawler para rastejar essa página, extrair links para outras páginas a partir dele, e retornar informações encontradas na página para ser indexado. O processo envolve uma aranha motor de busca baixando uma página e armazenando-a no próprio servidor do motor de busca. Um segundo programa, conhecido como um indexador, extrai informações sobre a página, como as palavras que ele contém, onde eles estão localizados, e qualquer peso para palavras específicas, bem como todos os links que a página contém. Toda esta informação é então colocada em um scheduler para rastejar em uma data posterior.

proprietários do site reconheceram o valor de um alto ranking e visibilidade nos resultados do motor de busca, criando uma oportunidade para os praticantes de chapéu branco e chapéu preto SEO. De acordo com o analista da indústria Danny Sullivan, a frase “search engine optimization” provavelmente entrou em uso em 1997. Sullivan credita Bruce Clay como uma das primeiras pessoas a popularizar o termo.

As primeiras versões de algoritmos de busca baseavam-se em informações fornecidas pelo webmaster, tais como a palavra-chave meta tag ou arquivos de índice em motores como ALIWEB. As Meta tags fornecem um guia para o conteúdo de cada página. Usando metadados para páginas de índice foi encontrado para ser menos do que Confiável, no entanto, porque a escolha do webmaster de palavras-chave na meta tag poderia potencialmente ser uma representação imprecisa do conteúdo real do site. Dados imprecisos, incompletos e inconsistentes em meta tags poderiam e fizeram com que as páginas fossem classificadas para pesquisas irrelevantes. Os provedores de conteúdo Web também manipularam alguns atributos dentro da fonte HTML de uma página em uma tentativa de classificar bem nos motores de busca. Em 1997, os designers do motor de busca reconheceram que os webmasters estavam fazendo esforços para se classificar bem em seu motor de busca, e que alguns webmasters estavam mesmo manipulando seus rankings em resultados de busca por encher páginas com palavras-chave excessivas ou irrelevantes. Os primeiros motores de busca, como Altavista e Infoseek, ajustaram seus algoritmos para evitar que webmasters manipulassem rankings.

dependendo fortemente de fatores como a densidade da palavra-chave, que estavam exclusivamente dentro do controle de um webmaster, os motores de busca precoce sofriam de abuso e manipulação de classificação. Para fornecer melhores resultados aos seus utilizadores, os motores de busca tiveram de se adaptar para garantir que as suas páginas de resultados mostravam os resultados de pesquisa mais relevantes, em vez de páginas não relacionadas repletas de numerosas palavras-chave por webmasters sem escrúpulos. Isto significava afastar-se da forte dependência da densidade de termo para um processo mais holístico para a pontuação de sinais semânticos. Uma vez que o sucesso e popularidade de um motor de busca é determinado por sua capacidade de produzir os resultados mais relevantes para qualquer pesquisa dada, a má qualidade ou resultados de pesquisa irrelevantes pode levar os usuários a encontrar outras fontes de pesquisa. Os motores de busca responderam desenvolvendo algoritmos de classificação mais complexos, levando em conta fatores adicionais que eram mais difíceis de manipular pelos webmasters.as empresas que empregam técnicas excessivamente agressivas podem banir os seus sites de clientes dos resultados da pesquisa. Em 2005, o Wall Street Journal informou sobre uma empresa, a Traffic Power, que alegadamente utilizou técnicas de alto risco e não divulgou esses riscos aos seus clientes. A revista Wired informou que a mesma empresa processou o blogueiro e SEO Aaron Wall por escrever sobre a proibição. Matt Cutts do Google confirmou mais tarde que o Google de fato baniu a energia de tráfego e alguns de seus clientes.alguns motores de busca também chegaram à indústria SEO, e são freqüentes patrocinadores e convidados em conferências SEO, webchats e seminários. Os principais motores de busca fornecem informações e diretrizes para ajudar com a otimização do site. O Google tem um programa Sitemaps para ajudar webmasters a aprender se o Google está tendo problemas em indexar seu site e também fornece dados sobre o tráfego do Google para o site. As Ferramentas Bing Webmaster fornecem uma maneira para webmasters submeter um sitemap e feeds web, permite que os usuários determinem a “taxa de crawl”, e rastrear o status do Índice de páginas web.

em 2015, foi relatado que o Google estava desenvolvendo e promovendo a busca móvel como uma característica chave dentro de produtos futuros. Em resposta, muitas marcas começaram a adotar uma abordagem diferente de suas estratégias de marketing na Internet.

Relationship with Google

In 1998, two graduate students at Stanford University, Larry Page and Sergey Brin, developed “Backrub”, a search engine that depended on a mathematical algorithm to rate the prominence of web pages. O número calculado pelo algoritmo, PageRank, é uma função da quantidade e força das ligações de entrada. PageRank estima a probabilidade de uma dada página ser alcançada por um usuário da web que surfa aleatoriamente a web, e segue links de uma página para outra. Com efeito, isto significa que alguns links são mais fortes do que outros, como uma página PageRank maior é mais provável de ser alcançado pelo surfista web Aleatório.

Page and Brin founded Google in 1998. O Google atraiu seguidores leais entre o crescente número de usuários da Internet, que gostaram de seu design simples. Fatores Off-page (tais como PageRank e análise de hiperligações) foram considerados, bem como fatores na página (tais como a frequência da palavra-chave, meta tags, cabeçalhos, links e estrutura do site) para permitir que o Google para evitar o tipo de manipulação visto em motores de busca que apenas considerou fatores na página para seus rankings. Embora PageRank fosse mais difícil de jogar, webmasters já tinha desenvolvido ferramentas de construção de link e esquemas para influenciar o motor de busca Inktomi, e estes métodos provou ser igualmente aplicável ao pagerank gaming. Muitos sites focados em troca, compra e venda de links, muitas vezes em grande escala. Alguns destes regimes, ou associações de explorações agrícolas, envolveram a criação de milhares de locais com o único objectivo de ligar o spamming.

em 2004, os motores de busca incorporaram uma ampla gama de fatores não revelados em seus algoritmos de classificação para reduzir o impacto da manipulação de ligações. Em junho de 2007, Saul Hansell do New York Times afirmou que o Google classifica sites usando mais de 200 sinais diferentes. Os principais motores de busca, Google, Bing e Yahoo, não divulgam os algoritmos que usam para classificar páginas. Alguns praticantes do SEO estudaram diferentes abordagens para a otimização do motor de busca, e compartilharam suas opiniões pessoais. As patentes relacionadas com os motores de busca podem fornecer informações para melhor entender os motores de busca. Em 2005, o Google começou a personalizar os resultados de pesquisa para cada usuário. Dependendo de seu histórico de pesquisas anteriores, o Google elaborou resultados para usuários logados.

em 2007, o Google anunciou uma campanha contra links pagos que transferem PageRank. Em 15 de junho de 2009, a Google divulgou que haviam tomado medidas para mitigar os efeitos da escultura do PageRank através do uso do atributo nofollow nos links. Matt Cutts, um conhecido engenheiro de software do Google, anunciou que o Google Bot não iria mais tratar quaisquer links nofollow, da mesma forma, para impedir que os provedores de serviços SEO usassem nofollow para a escultura PageRank. Como resultado desta mudança, o uso do nofollow levou à evaporação do PageRank. A fim de evitar o acima, os engenheiros da SEO desenvolveram técnicas alternativas que substituem as tags seguradas por JavaScript ofuscado e, assim, permitem a escultura PageRank. Além disso, várias soluções têm sido sugeridas que incluem o uso de iframes, Flash e JavaScript.

Em dezembro de 2009, o Google anunciou que estaria usando o histórico de pesquisa da web de todos os seus usuários, a fim de povoar os resultados da pesquisa. Em 8 de junho de 2010, um novo sistema de indexação da web chamado Google cafeína foi anunciado. Projetado para permitir que os usuários encontrem resultados de notícias, postagens do fórum e outros conteúdos muito mais cedo do que antes, o Google cafeína foi uma mudança na forma como o Google atualizou seu índice, a fim de fazer as coisas aparecerem mais rápido no Google do que antes. De acordo com Carrie Grimes, a Engenheira de software que anunciou cafeína para o Google, “a cafeína fornece 50% de resultados mais frescos para pesquisas na web do que o nosso último índice…”Google Instant, em tempo real-search, foi introduzido no final de 2010, em uma tentativa de tornar os resultados da pesquisa mais oportuna e relevante. Historicamente, os administradores do site passaram meses ou mesmo anos otimizando um site para aumentar os rankings de pesquisa. Com o crescimento da popularidade de sites de mídia social e blogs, os principais motores fizeram mudanças em seus algoritmos para permitir que o conteúdo fresco para classificar rapidamente dentro dos resultados da pesquisa.

Em fevereiro de 2011, o Google anunciou a atualização do Panda, que penaliza sites contendo conteúdo duplicado de outros sites e fontes. Historicamente, os sites copiaram conteúdo um do outro e se beneficiaram em rankings do motor de busca por engajar-se nesta prática. No entanto, o Google implementou um novo sistema que pune sites cujo conteúdo não é único. O Google Penguin de 2012 tentou penalizar sites que usavam técnicas manipuladoras para melhorar seus rankings no motor de busca. Embora o Google Penguin tenha sido apresentado como um algoritmo destinado a combater spam web, ele realmente se concentra em links spammy, avaliando a qualidade dos sites de onde os links vêm. A atualização do Google Hummingbird de 2013 contou com uma mudança de algoritmo projetado para melhorar o processamento de linguagem natural do Google e compreensão semântica de páginas web. O sistema de processamento de linguagem do Hummingbird cai sob o termo recentemente reconhecido de “busca conversacional”, onde o sistema presta mais atenção a cada palavra na consulta, a fim de melhor corresponder as páginas ao significado da consulta, em vez de algumas palavras. No que diz respeito às alterações feitas para a otimização do motor de busca, para editores de Conteúdo e escritores, o Hummingbird tem a intenção de resolver problemas, livrando-se de conteúdo irrelevante e spam, permitindo que o Google produza conteúdo de alta qualidade e confiar neles para serem autores “confiáveis”.

em outubro de 2019, o Google anunciou que iria começar a aplicar modelos BERT para consultas de pesquisa em língua inglesa nos EUA. Representações bidirecionais de Codificadores de Transformers (BERT) foi mais uma tentativa do Google para melhorar o seu processamento de linguagem natural, mas desta vez, a fim de entender melhor as consultas de pesquisa de seus usuários. Em termos de otimização do motor de busca, a BERT pretendia conectar mais facilmente os usuários ao conteúdo relevante e aumentar a qualidade do tráfego que chega a sites que estão ranking na página de resultados do motor de busca.