Articles

1

Zipf’s law describes how the frequency of a word in natural language, is dependent on its rank in the frequency table. Assim, a palavra mais freqüente ocorre duas vezes mais do que o segundo trabalho mais freqüente, três vezes mais do que a palavra subsequente, e assim por diante até a palavra menos freqüente. A lei foi nomeada em homenagem ao linguista americano George Kingsley Zipf, que foi o primeiro a tentar explicá-la por volta de 1935.”I think it’s safe to say that Zipf’s law is the biggest mystery in computational linguistics”, says Sander Lestrade, linguist at Radboud University in Nijmegen, The Netherlands. “Apesar de décadas de teorização, suas origens permanecem evasivas. Lestrade agora mostra que a lei de Zipf pode ser explicada pela interação entre a estrutura das sentenças (sintaxe) e o significado das palavras (semântica) em um texto. Usando simulações de computador, ele foi capaz de mostrar que nem sintaxe ou semântica é suficiente para induzir uma distribuição Zipfiana por si só, mas que a sintaxe e semântica ‘precisam’ um do outro para isso.

“na língua inglesa, mas também em holandês, existem apenas três artigos, e dezenas de milhares de substantivos”, explica Lestrade. “Uma vez que você usa um artigo antes de quase todos os substantivos, os artigos ocorrem muito mais frequentemente do que os substantivos.”Mas isso não é suficiente para explicar a lei de Zipf. “Dentro dos substantivos, você também encontra grandes diferenças. A palavra “coisa”, por exemplo, é muito mais comum do que “submarino”, e assim pode ser usada com mais frequência. Mas para realmente ocorrer com freqüência, uma palavra também não deve ser muito geral. Se você multiplicar as diferenças de significado dentro das classes de palavras, com a necessidade de cada classe de palavras, você encontra uma distribuição zipfiana magnífica. E essa distribuição só difere um pouco do ideal Zipfiano, assim como a linguagem natural.”

não só as previsões baseadas no novo modelo de Lestrades são completamente consistentes com os fenômenos encontrados na Linguagem natural, sua teoria também vale para quase todas as línguas do mundo, não apenas para o Inglês ou holandês. Lestrade: “estou muito feliz com esta descoberta, e estou convencido da minha teoria. Ainda assim, sua confirmação deve vir de outros linguistas.”