La ley de Zipf describe cómo la frecuencia de una palabra en lenguaje natural depende de su rango en la tabla de frecuencias. Por lo tanto, la palabra más frecuente ocurre el doble de veces que la segunda obra más frecuente, tres veces más que la palabra posterior, y así sucesivamente hasta la palabra menos frecuente. La ley lleva el nombre del lingüista estadounidense George Kingsley Zipf, que fue el primero que intentó explicarla alrededor de 1935.

El mayor misterio en lingüística computacional

«Creo que es seguro decir que la ley de Zipf es el mayor misterio en lingüística computacional», dice Sander Lestrade, lingüista de la Universidad Radboud en Nijmegen, Países Bajos. «A pesar de décadas de teorización, sus orígenes siguen siendo esquivos.»Lestrade ahora muestra que la ley de Zipf se puede explicar por la interacción entre la estructura de las oraciones (sintaxis) y el significado de las palabras (semántica) en un texto. Usando simulaciones por computadora, fue capaz de demostrar que ni la sintaxis ni la semántica son suficientes para inducir una distribución Zipfiana por sí sola, pero que la sintaxis y la semántica «se necesitan» la una a la otra para eso.

«En inglés, pero también en holandés, solo hay tres artículos y decenas de miles de sustantivos», explica Lestrade. «Dado que se usa un artículo antes de casi todos los sustantivos, los artículos ocurren con mucha más frecuencia que los sustantivos.»Pero eso no es suficiente para explicar la ley de Zipf. «Dentro de los sustantivos, también se encuentran grandes diferencias. La palabra ‘cosa’, por ejemplo, es mucho más común que’ submarino’, y por lo tanto se puede usar con más frecuencia. Pero para que realmente ocurra con frecuencia, una palabra tampoco debe ser demasiado general. Si multiplica las diferencias de significado dentro de las clases de palabras, con la necesidad de cada clase de palabras, encontrará una magnífica distribución Zipfian. Y esta distribución solo difiere un poco del ideal Zipfiano, al igual que el lenguaje natural.»

No solo las predicciones basadas en el nuevo modelo de Lestrades son completamente consistentes con los fenómenos encontrados en el lenguaje natural, sino que su teoría también se aplica a casi todos los idiomas del mundo, no solo al inglés u holandés. Lestrade: «Estoy muy contento con este hallazgo, y estoy convencido de mi teoría. Sin embargo, su confirmación debe venir de otros lingüistas.»