本文共 3037 字，大约阅读时间需要 10 分钟。

摘 要

信息论是通过应用密码学、概率论、信息熵、通信系统、随机过程等方法，来研究信息的传输、提取和处理系统的一门学科。而编码技术研究的主要内容是如何既可靠又有效地传输信息。1948年香农在《贝尔系统技术杂志》上发表了《通信的数学理论》。次年，他又发表了另一篇著作《噪声下的通信》。人们认为这两篇文章成了现在信息论的奠基著作。1959年香农发表了“保真度准则下的离散信源编码定理”，首先提出了率失真函数及率失真信源编码定理，此后发展成为信息率失真编码理论。现在，信息理论广泛应用在通信、计算机等领域，随着通信安全与质量的高要求化，编码技术也在不断地突飞猛进。

关键词

信息论 编码 综述

正 文

信息论是通过应用密码学、概率论、信息熵、通信系统、随机过程等方法，来研究信息的传输、提取和处理系统的一门学科（如图1[[1]]所示）。信息论在统计物理（热力学）计算机科学（科尔莫戈罗夫复杂度）、推断统计（奥卡姆剃刀）等学科方向中都有奠基性的贡献。信息论将信息的传递作为一种统计现象来考虑，给出了估算通信信道容量的方法。信息传输和信息压缩是信息论研究中的两大领域。这两个方面又由信息传输定理、信源－信道隔离定理相互联系。

图 1 信息论研究领域

1948年香农在《贝尔系统技术杂志》上发表了《通信的数学理论》。次年，他又发表了另一篇著作《噪声下的通信》。人们认为这两篇文章成了现在信息论的奠基著作。1959年香农发表了“保真度准则下的离散信源编码定理”，首先提出了率失真函数及率失真信源编码定理，此后发展成为信息率失真编码理论。

香农第一定理是可变长无失真信源编码定理、香农第二定理是有噪信道编码定理、香农第三定理是保失真度准则下的有失真信源编码定理。香农的这三大定理是信息论的基础理论。这三大定理都是存在性定理，虽然并没有提供具体的编码实现方法，但为通信信息的研究指明了方向。

从图2可知，当信源、信道、信宿确定后，编码与译码部分对信号的传输将起至关作用。因此，自信息论发展以来，许多科学家对编码的研究也是从未止步。

图 2 信息传输模型

由于香农虽然指出了可以通过差错控制码在信息传输速率不大于信道容量的前提下实现可靠通信，但却没有给出具体实现差错控制编码的方法，对于编码的实现一直止步不前。终于，在1949年，R.Hamming和M.Golay提出了第一个实用的差错控制编码方案，人类在信道编码上实现了第一次的突破。

数学家R.Hamming将每4个比特的输入数据设置成一组，并通过计算这些信息的线性组合来得到3个校验比特，然后将得到的7个比特输入计算机。通过按照设定的算法和原则， 计算机能读取这些字码并够检测到是否有错误，同时还可定位到发生错误的具体位置。该码还可以纠正比特串中发生的单个比特错误。这个编码方法就是分组码的基本思路，这个编码方案后来被命名为汉明码。由于每4个比特编码就需要3个比特的冗余校验比特，而且在一个码组中只能纠正单个比特错误，这使得汉明码的编码效率较低。

M.Golay先生研究了汉明码的缺点，提出了Golay码。通过将不同个数的信息比特分为一组，Golay码可以分为二元Golay码和三元Golay码。前者将信息比特每12个分为一组，编码生成11个冗余校验比特，相应的译码算法可以纠正3个错误；后者的操作对象是三元而非二元数字，三元Golay码将每6个三元符号分为一组，编码生成5个冗余校验三元符号，这样由11个三元符号组成的三元Golay码码字可以纠正2个错误。

Elias在1955年提出卷积码编码方式。卷积码与分组码的不同在于：它充分利用了各个信息块之间的相关性。通常卷积码记为(n,k,N)码。卷积码的编码过程是连续进行的，依次连续将每k个信息元输入编码器，得到n个码元，得到的码元中的检验元不仅与本码的信息元有关，还与以前时刻输入到编码器的信息元(反映在编码寄存器的内容上)有关。同样，在卷积码的译码过程中，不仅要从本码中提取译码信息，还要充分利用前后时刻收到的码组。从中提取相关信息，而且译码也是可连续进行的，这样可以保证卷积码的译码延时相对比较小。

图 3 卷积码编码器一般原理

1967年，Viterbi提出了Viterbi译码算法。在Viterbi译码算法提出之后，卷积码在通信系统中得到了极为广泛的应用，如GSM、 IS-95 CDMA、3G、商业卫星通信系统等。<