Ecuación #43: La Teoría de la Información

descripción de la imagen

Por

01 December 2018

Desde finales del siglo XIX las telecomunicaciones se extendían por todo Estados Unidos. Con una maraña de cables se podía llevar mensajes de inmediato de costa a costa. Se transmitían con pulsos de voltaje que se medían en el punto final y se convertían a palabras o sonidos. Esto funciona bien para distancias cortas, pero cuando las distancias son muy largas, la señal se vuelve inestable y se debilita. Sufre además de la acumulación de ruido por los cables. Uno podría amplificar la señal, pero eso implica también amplificar el ruido.

Claude Shannon, un brillante joven de Michigan, llegó a Bell Labs en 1941 con el propósito de investigar la forma de afrontar ese problema. Mientras que todos pensaban que había que aumentar la potencia de las señales, él creía que lo que había que mejorar era la manera en que se transmitían. Para eso ingenió una forma de cuantificar el concepto de “información” y lo describió en un artículo en 1948. Con esa publicación, sin darse cuenta, Shannon le daba vida a toda una nueva rama de las matemáticas: La Teoría de la Información.

Para comprender como llegó a su monumental definición, hay que entender un concepto primero: la incertidumbre. Piense para ello en un juego de sorpresas. Si alguien le dice que tras una puerta hay 0 % de probabilidades de encontrar un premio, usted está seguro de lo que va pasar. Lo mismo si le dicen 100 %. No hay incertidumbre. Pero si le dicen que hay 50 % de probabilidad, ahora usted no sabe con seguridad que va pasar. Tiene completa incertidumbre.

Entendido eso, Shannon entonces supo cómo debía definir el concepto de “información”: es la reducción de incertidumbre. Entre más información se recibe sobre la probabilidad (P) de un suceso (X), más se reduce la incertidumbre. Esa incertidumbre, también llamada entropía (H), se escribe matemáticamente así:

H = - ? Pi(x) log2 Pi(x)

Corta y elegante, esta ecuación vino a transformar inesperadamente varias ramas del conocimiento humano.

La interpretación más práctica de la fórmula viene del “Teorema de Codificación sin Ruido”, que establece que la entropía (H) representa el mínimo número de preguntas “sí” o “no” para poder determinar con certeza la ocurrencia de un evento (X). De esto se desprende la idea de los “bits”, que son componentes que pueden tomar solo dos valores (1,0). La entropía nos determina la cantidad mínima de bits para almacenar información.

Una de las áreas donde más nos impacta eso día con día es en la compresión de datos. En el almacenamiento de archivos (por ejemplo, fotografías), es común reducir el tamaño para acelerar la comunicación. Las computadoras encuentran la probabilidad (P) de ocurrencia de cada valor (X) en el archivo y calculan la entropía (H). Con eso determinan el mínimo número de bits con el que, sin perder información, se puede reducir la cantidad de datos a transmitir. El internet o las redes de celular serían muy ineficientes si no aplicaran este principio.

La inteligencia artificial, la lingüística, la criptografía, la neurociencia o los modelos financieros han visto nuevas luces aplicando la Teoría de la Información.

Desde el inicio Shannon había notado que su ecuación es casi idéntica a la medida de desorden que se usa en la termodinámica. En otras palabras, la información puede entenderse como la configuración de un estado físico. Esto es muy evidente en la genética. El ADN está hecho de solo cuatro moléculas, pero la inmensa variedad de características genéticas se produce por la forma en que las moléculas se ordenan para cada individuo. El ADN es un mecanismo biológico para almacenar información.

Esto es extremadamente profundo y filosófico. Si uno lo piensa más detenidamente, ¿de qué está hecho el universo? De partículas y campos. Pero ¿que son estos? Estrictamente hablando solo son una colección de números. Las formas en que interaccionan son también solo operaciones con esos números. Por lo tanto, ya hay una escuela de prominentes cosmólogos que consideran que lo más fundamental del universo es información. El cosmos es como una gran computadora que está creando la realidad constantemente en base a estas unidades fundamentales de información.

(La edición impresa puede no mostrar las fórmulas adecuadamente. Para ver la notación correcta o ver más detalles, visite el sitio web: http://52ecuaciones.xyz).

Ingeniero Aeroespacial salvadoreño,

radicado en Holanda.

cornejo@52ecuaciones.xyz