Mostrando entradas con la etiqueta Newcomb. Mostrar todas las entradas
Mostrando entradas con la etiqueta Newcomb. Mostrar todas las entradas

domingo, 1 de diciembre de 2013

El extraño caso del primer dígito. Parte II



Los logaritmos estaban en el ajo desde el principio.

En un librillo parecido a este debió
de hacer Newcomb su observación.
No sé si los estudiantes de bachillerato siguen estudiando logaritmos, pero lo que es seguro es que ya no se usan habitualmente para calcular, que fue su utilidad primera. Las calculadoras y los ordenadores han hecho que las tablas de logaritmos cuyo manejo aprendí yo a eso de los quince años hayan quedado tan obsoletas como las reglas de cálculo, que eran, por cierto, unos objetos francamente bonitos. Pero hace ciento y pico años –y también hasta hace relativamente poco– estas tablas eran una herramienta de trabajo habitual de ingenieros, físicos, biólogos, sociólogos, astrónomos y cualquiera que tuviera que hacer a diario cálculos matemáticos.

La pequeña historia que les voy a contar, en la que estos numeritos tan útiles y de nombre tan amenazadoramente griego juegan distintos y todos ellos importantes papeles, pueden encontrarla ustedes en cualquiera de las tropecientas páginas que les saltarán a la pantalla si teclean "Ley de Benford" en Google, porque nadie que se ocupe de esta Ley deja de empezar con ella sus consideraciones. Tampoco yo voy a poder evitarlo, aunque intentaré despachar el trámite con la mayor rapidez posible.

Simon Newcomb, con toda la barba
El caso es que en 1881 un astrónomo nacido en Canadá pero que trabajaba en EEUU, Simon Newcomb, constató que el librillo que recogía sus tablas de logaritmos tenía mucho más estropeadas las primeras páginas que las últimas. Por motivos técnicos que no hacen al caso –en realidad sí hacen bastante al caso, pero ya tiendo yo a enrollarme lo suficiente sin necesidad de que nos pongamos ahora a explicar qué es un logaritmo y cómo funciona; sobre todo porque aspiro a que sigan ustedes leyéndome– resulta que las tablas de logaritmos agrupan los números por sus dígitos iniciales, esto es, el logaritmo de 12, el de 145 y el de 1.718 deben buscarse en las páginas de las cifras que empiezan por 1; el de 57, el de 0'00521 y el de 5.133, en las de las que empiezan por 5...

Por lo cual, lo que Newcomb acababa de descubrir es que quienes usaban las tablas habían buscado en ellas muchas más veces el logaritmo de cifras empezadas por 1 y por 2, que estaban al principio, que el de cifras empezadas por 8 y 9, que estaban al final, en las páginas claramente más limpitas y menos usadas.

El buen Simon le dió vueltas al asunto, comprobó que el fenómeno se repetía en todas las tablas de logaritmos que cayeron en sus manos, y concluyó que, por algún motivo (como buen científico práctico no parece que le diera muchas vueltas a cuál podía ser ese motivo, se limitó a constatar que la cosa ocurría), las cifras empezadas por números bajos aparecían con mucha más frecuencia que las otras en los cálculos de los usuarios más diversos de tablas logarítmicas, o sea, en una gran variedad de campos distintos. Acabó por escribir un articulito –él lo llama "Nota"– sobre la cuestión, que publicó en el American Journal of Mathematics. En él, tras referirse brevemente a su observación, ("Que los diez dígitos no se presentan con igual frecuencia, empieza diciendo el artículo, debe resultarle evidente a cualquiera que haga mucho uso de las tablas de logaritmos y advierta cuánto más deprisa se desgastan las primeras páginas que las últimas. El primer lugar significativo lo ocupa el 1 más veces que cualquier otro dígito, y la frecuencia va disminuyendo hasta el 9". Y con eso daba por suficientemente presentada la cuestión) llegaba a la sorprendente conclusión de que la probabilidad de que uno cualquiera de los nueve dígitos ocupara el primer lugar significativo de una cifra no siempre valía para todos 1/9, como hasta ahora hemos convenido que era lo razonable. "Tal como los números naturales se presentan en la naturaleza, es decir, considerados como proporciones entre cantidades" (las negritas son mías), la probabilidad de un dígito de ocupar el primer puesto, según Newcomb, debía calcularse mediante la fórmula

Prob (1er digito significativo = d) = log10 (1+1/d)

Que, leída en cristiano, viene a decir que la probabilidad de un dígito cualquiera d de ser el primer dígito significativo de una cifra es igual al logaritmo decimal de 1 más 1 partido por d. 

O sea que, por si afirmar que la probabilidad de ser el primero no era la misma para todos los dígitos no fuera suficientemente chocante, se atrevió además a señalar cómo debía calcularse para cada uno.

(Como ven, los logaritmos, que parecía que solo por casualidad habían dado la primera señal de alarma sobre la existencia de este fenómeno, se instalaban ahora en el meollo del asunto, y con toda la pinta de llegar para quedarse. Lo que se llama una buena estrategia, con los tiempos bien medidos. Si eso no es premeditación, que venga Dios y lo vea).

La fórmula en cuestión no aparece así enunciada en el escrito de Newcomb, pero lo que sí contiene su trabajo es esta bonita tabla, cuya primera columna son los valores (frecuencias de cada dígito en el primer puesto) que resultan de sustituir en la fórmula d por 1, 2, 3,... ...,9 :

Esta tabla está directamente copiada de la Nota de Newcomb.
Creo que debería citar aquí no sé qué copyright, en la Nota lo dice...

En su segunda columna la tabla, habrán visto, presenta también la probabilidad de cada dígito de ocupar el segundo puesto de una cifra, y aquí ya sí entra el 0. Las frecuencias del segundo puesto siguen siendo decrecientes, empezando por la más alta del 0, pero con una diferencia entre ellas mucho menor, es decir, formando una curva mucho más "plana". "En el caso del tercer puesto la probabilidad será casi la misma para cada dígito, y para el cuarto y siguientes la diferencia (de frecuencias) será inapreciable".

 Este gráfico,  en cambio, es de este artículo de Adrien Jamain.
He probado a hacer el mío propio, pero este queda más bonito.

El artículo de Newcomb pasó ampliamente inadvertido. El hombre se murió en 1909 con una buena reputación como astrónomo, pero mucho más conocido por un oportuno artículo en el que demostraba que una máquina más pesada que el aire nunca podría volar, que publicó solo unos meses antes de que los hermanos Wright lo desmintieran contundentemente, que por ningún otro de sus numerosos trabajos. Así de dura es, a veces, la vida de los científicos. Descanse en paz.

La tumba de Newcomb, en el Cementerio Nacional de Arlington


El Nombre de la Cosa. La Ley de Benford, y Benford, propiamente dicho.


¿Qué probabilidad había de que Frank Albert Benford fuera
inmortalizado justo el día en que se había puesto esa corbata?
Nadie había hecho el menor caso del artículo del pobre Newcomb. No sé si él se descorazonó, pero los logaritmos no lo hicieron, y cincuenta y tantos años después lo intentaron de nuevo. (Para los logaritmos, que no empezaron a dar señales de vida hasta el XVII, el tiempo es mucho menos importante que para nosotros. No tienen prisa...)

Esta vez escogieron a un físico que trabajaba en la General Electric, un tal Frank Benford, que volvió a observar el desgaste desigual de las tablas de logaritmos y sacó de él la misma conclusión que Newcomb. No solo eso, sino que siguió el mismo razonamiento y llegó a la misma fórmula para calcular la probabilidad que cada uno de los nueve dígitos tiene de ser el primero significativo en una cifra.

(Todos las alusiones a este razonamiento que he leído en Internet lo califican de "breve y heurístico". Este último palabro viene a decir que no se trata de una demostración rigurosa, sino de un apaño de andar por casa, una especie de aproximación habilidosa que procede más bien por tanteo. Yo solo lo he leído en la versión de Newcomb y, entre que está en inglés y que se basa en el concepto de límite, que yo usé por última vez con cierta soltura hace cosa de treinta años, confieso que me ha resultado algo más hermético que heurístico. Digamos que he llegado a captarlo solo en sus líneas generales, tendré que leerlo más despacio. Y leerme también el de Benford, que ocupa veintidós páginas en vez de las dos escuetas del canadiense, a ver si su explicación queda un poquito más a mi alcance).

No he averiguado si Benford conocía la Nota de su predecesor. (T.P. Hill, en un recomendable artículo sobre el asunto, dice con circunspección que era "apparently unaware of Newcomb's paper", es decir, que nunca dio señales de conocerlo. El propio escrito de Benford comienza con la austera información de que "Se ha observado que las páginas de una tabla de logaritmos muy usada presentan evidencias de un uso selectivo de los números naturales". Las negritas son mías). En cualquier caso, fuera que redescubriera él solito la cuestión o que se inspirara solapadamente en el recóndito y decimonónico trabajo del otro, se lo curró mucho más. Como primera providencia, científico concienzudo, lo comprobó. Realizó lo que él mismo llamó "un esfuerzo para reunir datos del mayor número posible de campos, y para incluir una amplia variedad de tipos... ...El rango de los asuntos estudiados fue tan amplio como lo permitieron el tiempo y la energía". Dedicó, nos cuenta Hill, "varios años a reunir datos, y la tabla que publicó en 1938 en los Proceedings of the American Philosophical Society se basaba en 20.229 observaciones provenientes de conjuntos de datos tan diversos como áreas de ríos, estadísticas de la Liga Americana de baseball, pesos atómicos de elementos y cifras aparecidas en artículos del Reader's Digest." "La tabla de primeros dígitos significativos que resulta se ajusta  a la fórmula logarítmica, dice, sumamente bien". (Las negritas son mías).
El artículo de Benford debe de devengar aún
derechos de autor, y solo he podido 
descargarlo
gratis de aquí para catorce días, tras abrirme 
una
cuenta. Lo he 
pedefeado diligentemente página
p
or página, pero como imagen. Almacenarlo en
forma de texto, de momento, ha sido imposible.

Benford tuvo más suerte que Newcomb. La comunicación que en 1937 presentó a la American Philosophical Society ("The Law of Anomalous Numbers", Proceedings of the American Philosophical Society, Vol. 78 nº 4, March, 31, 1938, pp. 551-572) obtuvo toda la atención que nunca conocíó el artículo de su predecesor. Desde su publicación, el interés de los matemáticos, físicos y demás fauna científica por la Ley de Benford (que, por cierto, ha recibido ese nombre en cumplimiento de otra ley, la de Stigler, que afirma que ningún descubrimiento científico lleva el nombre de su primer descubridor; seguro que no fue Stigler el primero en darse cuenta de eso) no ha hecho más que aumentar, y actualmente se aplica con normalidad en muchos campos, desde el diseño de rutinas informáticas y de modelos predictivos de fenómenos hasta la detección de fraude fiscal. Los investigadores de los ámbitos más variados no hacen más que encontrar nuevas magnitudes y fenómenos cuyas mediciones se ajustan a la distribución de Benford, y los matemáticos demuestran incansablemente nuevas propiedades de la Ley.

Una de las más interesantes, por cierto, es la de ser invariante respecto de la escala, esto es, que si una serie de datos cumple la Ley cuando se los expresa en una unidad cualquiera, seguirá cumpliéndola si los datos se expresan en otra unidad diferente. Una lista de altitudes de ciudades  medidas en pies, o de precios de artículos en dólares, transformada respectivamente a metros o a euros, contendrá otras cifras completamente distintas, pero los primeros dígitos de estas nuevas cifras de metros o de euros se ajustarán a la Ley de Benford del mismo modo que los de la lista inicial de cifras en pies o en dólares.  (La mente de los matemáticos funciona de un modo tan peculiar, quiero decir tan distinto de cómo funciona la mía, que tienden a presentar esta invariancia de escala como si se tratara de una explicación de la Ley. Los teólogos medievales explicaban la para ellos obvia existencia de Dios con argumentos no muy distintos, me parece a mí. Pero este género de consideraciones es ya más bien objeto de mi próximo post).

Y otra de estas propiedades que no puedo dejar de citar es la de ser invariante respecto de la base de numeración. Lo que quiere decir que si una serie de cifras en base 10 presenta una distribución de primeros dígitos conforme a la Ley de Benford, al expresar esos mismos valores con otra base de numeración distinta las nuevas cifras que resulten de la nueva base también ajustarán las frecuencias de sus primeros dígitos a la bendita Ley. (Noten ustedes que las frecuencias que para cada dígito de 1 a 9 nos da la fórmula de Newcomb, las de la tabla, se refieren a cifras en base 10, por eso el logaritmo que aparece en la fórmula es el logaritmo decimal, log10. Cuando se trate de cifras en otra base b cualquiera habrá que volver a calcular las frecuencias de los (b-1) dígitos con la misma fórmula, pero utilizando el logaritmo en base b, logb. El gráfico de estas nuevas frecuencias tendrá distinto número de barras, (b-1), con otras alturas diferentes, pero imagino que dibujará una curva muy parecida, empezando por la más alta del 1 y acabando en la más baja del b-1).


Conclusión (provisional y abierta) y despedida (hasta enseguidita).

En fin, que hay desde 1938, al menos, un montón de gente aplicando la Ley de Benford a un montón de asuntos, descubriendo su vigencia en un montón de fenómenos y dándole a la famosa Distribución Logarítmica del Primer Dígito un montón de vueltas, todo lo cual resulta, como he tratado de contarles, sumamente instructivo y ameno, amén de sorprendente, al menos para mí. Pero lo que hasta ahora, en mi opinión, no ha hecho nadie, físico, matemático o filósofo, es explicar por qué existe y se cumple la propia Ley de Benford, por qué datos tan variopintos, obtenidos de fuentes tan diversas, desde las estrellas de las galaxias más lejanas hasta las del equipo local de fútbol, se obstinan universalmente en empezar por 1 y por 2 con una frecuencia mucho mayor que lo hacen por 8 y por 9, en qué se diferencian todos estos fenómenos, productores de datos benfordianos, del Bombo Universal de Lotería de que hablábamos en mi anterior post, que ignora olímpicamente a Benford, a Newcomb y a todos sus cálculos y produce en cambio números con una frecuencia de primeros dígitos escrupulosamente equitativa; y, más misterioso todavía, qué tienen en común entre sí todos estos fenómenos que distribuyen logarítmicamente los primeros dígitos de sus datos numéricos con arreglo a la misma pauta, siendo como son, en cualquier otro aspecto en que se los considere, cada uno de su padre y de su madre. Tras leer unos cincuenta o sesenta documentos abstrusos dedicados, en teoría, a responder estas preguntas, y tras dedicar otras cincuenta o sesenta horas a reflexionar yo mismo sobre ellas a la luz de lo leído, yo sigo estando igual de perplejo o más que estaba al principio.

Si Dios me da salud, dedicaré un tercer y último post a este asunto, en el que trataré de contarles, del modo más resumido, inteligible y ameno que me sea posible, estas reflexiones y perplejidades mías. La cosa promete ser verdaderamente dura. Ármense de amabilidad y de valor, y que Dios reparta suerte.


Estrambote teológico.

Entre las muy diversas aplicaciones de la Ley de Benford que he encontrado por Internet estos días de incesante investigación, hay una que no quiero dejar de consignar aquí, porque me ha resultado especialmente regocijante. Un tal Abdul Majis Motahari, que colabora en una página web cuya URL es esta significativa expresión: http://www.islam-soumission.org, dedica un apartado de dicha página, titulado "Milagro matemático" a contarnos, desbordante de éxtasis religioso, cómo la lista de 114 números que sale de contar cuántos versículos hay en cada una de las 114 suras del Corán se ajusta milagrosamente a la Ley de Benford. El articulo pueden leerlo ustedes aquí, pero para los que no tengan ganas o no se arreglen bien con el francés en que está escrito les resumo brevemente de qué va.

Resulta que según puede constatar cualquier lector del Corán que sepa contar, aunque Abdul lo constata cumplidamente para evitarle el trabajo, hay 30 suras con un número de versículos empezado por 1 (26'32 %), 17 suras cuyos números de versículos empiezan todos por 2 (14'92 %), 12 que tienen números empezados por 3 (10'53 %), 11 por 4 (9'65 %), 14 por 5 (12'28 %) , 7 por 6 (6'14 5), 8 por 7 (7'02 %), 10 por 8 (8'78 %) y 5 por 9 (4'39 %), lo cual es, efectivamente, una distribución que se aproxima muy razonablemente a la de Benford, sobre todo para tratarse de una muestra tan corta. No necesita más sidi Motahari para concluir la reconfortante evidencia: solo un texto dictado por Dios mismo podía cumplir en el siglo VII una ley que aún no había sido formulada. "Si Dios habla al hombre, sin duda utiliza el lenguaje de las matemáticas", nos recuerda el autor que dijo alguien tan poco sospechoso de ser musulmán como el matemático Poincaré.

El argumento de Motahari (aparte de que uno se pregunta por qué Alá no se ajustó más exactamente aún a la distribución de Benford, en vez de esta tímida aproximación, más propia de una lista de victorias madridistas entre 1911 y 1963 que de un Libro Santo), tiene varias consecuencias interesantes. En primer lugar, parece implicar que los datos, antes de que Newcomb y Benford les indicaran que debían hacerlo, no se atenían a la distribución logarítmica de sus primeros dígitos, salvo que mediaran expresas instrucciones divinas en ese sentido. Lo que no deja de ser una curiosa interpretación de las leyes empíricas que, según este buen imam, o lo que sea, no existen ni se cumplen hasta que alguien las descubre, Dios no mediante.

Y en segundo lugar, aplicando este criterio al Bhagavad Gita, al Quijote, a la Recherche du Temps Perdu o a la Guia Telefónica de Zaragoza, de todos los cuales textos podrá con toda probabilidad extraerse listas de números de palabras por capítulo o de letras por abonado que se ajusten igualmente a la Ley de Benford, debemos concluir que han sido, todos ellos, dictados por Dios en persona, no sabemos si por Alá mismo o por sus respectivas versiones locales.

Agradezco a Abdul Motahari este nuevo argumento que refuerza mi fe (lo malo es que igual ahora tengo que convertirme al Islam), y a mi corresponsal el conocimiento de este edificante artículo. Y nunca más escucharé sin protestar ese argumento según el cual el aumento de los conocimientos científicos irá poco a poco disolviendo las brumas supersticiosas de la religión. ¿Algún problema, digo, para conciliar a partir de ahora la ciencia con la fe?