本文翻译自Visual Information Theory
我喜欢用一种新的方式来思考这个世界，尤其是能够将有一些模糊的想法形式化为一个具体概念的方式。信息理论就是这样一种典型的例子。
信息理论给了我们一种精确的语言来描述这个世界的许多事情。对某件事有多确定？从问题A的答案能知道多少关于问题B的信息？一组想法和另外一组想法有多相似？当我还是一个小孩子的时候，我对这些问题就有了一些非正式的模糊的概念，但是信息理论让这些概念凝结成精确、有力的思想。这种思想在很多地方，从数据的压缩，到量子物理，到机器学习，以及介于两者之间的广阔领域，都有着广泛的应用。
不幸的是，信息理论看起来似乎有点令人心生畏惧。但我并不这样认为，事实上，很多核心的idea都可以用可视化的方法解释清楚。
在我们深入理解信息理论之前，先想一想如何可视化简单的概率分布。我们稍后也会这样做，并且现在也很方便。作为奖励，这些用于可视化概率的技巧本身就非常有用。
我在加利福尼亚，虽然有时候会下雨，但大部分时候都是晴天。我们假设最近有75%的概率放晴，那么很容易画一个这样的图：
大多数时候，我会穿T恤，但偶尔我也会穿外套。假设我有38%的时间会穿外套，那么也很容易画出如下的图：
那么如果我想同时可视化两者应该怎么做呢？如果这两件事不产生交互，或者说是独立的话就很简单。举个栗子，我今天是穿T恤还是外套并不会和下周的天气有什么关系，那么就可以画出这样一个图：
可以注意到图中水平边缘和垂直边缘都是一条直线，这表示两者是独立的。一周后是否下雨并不影响我今天穿外套的概率。换句话说，我正在穿外套并且下周会下雨的概率等于我正在穿外套的概率乘以下周会下雨的概率。这两者不会产生相互作用。