Informationsgehalt
Formal werden die zu übertragenden Informationen als Zeichen bezeichnet. Dabei steht nur ein endlicher Zeichenvorrat zur Verfügung, Zeichen können aber beliebig kombiniert werden. Die minimale Anzahl von Bits, die für die Darstellung oder Übertragung eines Zeichens benötigt werden, hängt nun von der Wahrscheinlichkeit ab, mit der ein Zeichen auftritt: für Zeichen, die häufig auftreten, braucht man weniger Bits als für Zeichen, die selten verwendet werden. Datenkompressionstechniken machen sich das zu Nutze, insbesondere die Entropiekodierung, die Arithmetische Kodierung und die Huffman-Kodierung. Ein ähnliches Verfahren wird zum Ausbalancieren von Binärbäumen verwendet.
Mathematisch ergibt sich die Anzahl der mindestens benötigten Bits (der Informationsgehalt in Shannon) eines Zeichens 
aus dem negativen dualen Logarithmus seiner Auftretenswahrscheinlichkeit 
:
Ein alternatives Maß für den Informationsgehalt einer Zeichenkette ist der algorithmische Informationsgehalt: er ist definiert als die Länge des kürzesten Programmes, das diese Zeichenkette erzeugen kann. Ein weiterer Ansatz ist die so genannte Algorithmische Tiefe, die besagt, wie aufwändig es ist, eine bestimmte Nachricht zu erzeugen. Gregory Chaitin ist ebenfalls über die Shannonsche Definition der Entropie einer Information hinausgegangen (siehe Algorithmische Informationstheorie).
In diesem Zusammenhang spielen auch die Kreuzentropie sowie die Kullback-Leibler-Divergenz als Maße für die durch eine schlechte Kodierung ausgelösten Verschwendungen von Bits eine Rolle.
Siehe auch: Datenmenge, Negentropie, Bedeutsamkeit, Informationsqualität, Algorithmische Informationstheorie
