La cantidad de información que comunica un mensaje puede medirse a raíz de los trabajos realizados por el investigador norteamericano Clude Shannon en los laboratorios de la compañía telefónica Bell, y cuyas conclusiones expuso en su famoso libro The Mathematical Theory of Communication (1952).
Para medir cualquier cosa se necesita una unidad (el metro, el litro, el vatio, etc.). La unidad que se utiliza para medir la cantidad de información se denomina con la palabra inglesa, ya adaptada en español, bit (binary digit, «cifra binaria»).
El bit es la cantidad de información que transmite un mensaje cuando, en aquella situación, sólo dos mensajes son posibles y ambos con idéntica probabilidad de aparición.
Así, ante la pregunta ¿Has visto hoy a Luis?, sólo caben dos mensajes por parte de nuestro interlocutor: sí o no. Ambos tienen idéntica probabilidad para quien hace la pregunta, es decir, espera sí o no. Pues bien, la informacion que le transmite la respuesta sí o la respuesta no, es una unidad de información, es decir, un bit.
Supongamos ahora que nuestro interlocutor se va de viaje, para regresar la semana próxima. Si le preguntamos ¿Qué día volverás?, esperamos una respuesta que sea el lunes, el martes, el miércoles, el jueves, el viernes, el sábado o el domingo. Esto es, son posibles siete respuestas o mensaje distintos. Y, por tanto, la cantidad de información aportada por cada uno de esos mensajes es mucho mayor que la aportada, en el caso anterior, por sí o no. Estos últimos mensajes, como hemos visto, sólo aportaban un bit de información; en cambio, el lunes, el martes, etc., aportan más bits de informacióna quien ha hecho la pregunta.
