克劳德·香农(Claude Shannon)甚至在有人拥有电脑之前就发现了如何让电脑变得值得拥有。
作为麻省理工学院电子工程专业的研究生,香农摆弄着一台“微分分析仪”,这是一台粗糙的计算机前身。但在他的硕士论文中,他更关注的是电路中的继电器和开关,也就是电话交换网络中的那些东西。1937年,他用数学家所罗门·戈洛姆(Solomon Golomb)的话说,写出了“有史以来最伟大的硕士论文之一”,建立了符号逻辑与描述这种电路的数学之间的联系。香农的数学不仅适用于电话交换机或其他电子设备,而且适用于任何电路,包括在随后几十年里使数字计算机变得如此强大的电子电路。
1916年4月30日,香农在美国密歇根州的佩托斯基出生。基于计算机在当今社会的普遍重要性,把那个时代称为“香农世纪”并不疯狂。
“毫不夸张地说,”戈洛姆写道,“克劳德·香农是‘信息时代之父’,他的智力成就是20世纪最伟大的成就之一。”
香农最著名的贡献是在1948年发表的两篇论文中创造了一个全新的科学领域——信息论。不过,他的这项工作的基础是十年前在他的论文中建立起来的。在那里,他设计了代表电路行为的方程式。电路的行为取决于继电器和开关之间的相互作用,继电器和开关可以连接(或不连接)一个终端和另一个终端。香农寻求一种“微积分”,用数学方法表示电路的连接,使科学家能够为各种任务有效地设计电路。(他提供了电子密码锁和其他一些设备的电路数学例子。)
香农写道:“任何电路都是由一组方程表示的,这些方程的项对应于电路中的各种继电器和开关。”他表示,他对这些方程的演算“与逻辑符号研究中使用的命题演算完全类似”。
作为密歇根大学数学(和电子工程)专业的本科生,香农学习过19世纪数学家乔治·布尔用代数符号表示逻辑语句的工作。布尔发明了一种用二进制数计算命题逻辑结论的方法;1表示真命题,0表示假命题。香农察觉到布尔的逻辑命题与电路中的电流流之间有类似之处。如果电路起命题的作用,则假命题(0)对应一个闭合电路;真命题(1)对应于开路。更精细的数学计算表明,不同的电路设计将如何对应加法或乘法等功能,这是设计成现代计算机芯片的“逻辑门”的基础。
在他的博士论文中,香农分析了人群中遗传学的数学,但那项工作并没有发表。1941年,他开始在贝尔实验室工作;在第二次世界大战期间,他写了一篇关于密码学的重要论文(当时是《秘密》),这篇论文需要对如何量化信息进行更深层次的思考。战后,他更全面地发展了这些思想,专注于使用他的1和0,或比特,来展示有多少信息可以通过通信通道发送,以及如何最有效和准确地进行通信。
1948年,他关于这些问题的两篇论文发表在贝尔系统技术杂志上。它们很快就出版了,沃伦·韦弗(Warren Weaver)在一本名为《沟通的数学理论》(The Mathematical Theory of Communication)的书中有一章做了介绍。今天,那本书被视为信息论的奠基之作。
对香农来说,沟通不是关于信息或它的意义,而是关于在一个信息中(通过一个给定的渠道)可以传达多少信息。从最基本的意义上讲,通信就是在远离消息源的某个点复制消息。香农断言,这样的信息可能有“意义”,但这种意义“与工程问题无关”,即把信息从一个点转移到另一个点。“重要的是,实际的消息是从一组可能的消息中选择的。香农认为,信息是衡量沟通在多大程度上减少了人们对哪些可能的信息被传递的无知。
在一个非常简单的通信系统中,如果唯一可能的消息是“是”和“不是”,那么每条消息(1表示“是”,0表示“不是”)都会将您的无知减少一半。根据香农的计算,这相当于一个inf