信息论与编码理论习题答案全解

2.2 八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的

信息速率。

解：同步信息均相同，不含信息，因此 每个码字的信息量为 2log8=23=6 bit

因此，信息速率为 61000=6000 bit/s

2.3 掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。问各得到多少信

息量。

解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1}

61p(a)==

366得到的信息量 =log1=log6=2.585 bit p(a) (2) 可能的唯一，为 {6，6}

1 p(b)=

36 得到的信息量=log1=log36=5.17 bit p(b)

2.4 经过充分洗牌后的一副扑克（52张），问：

(a) 任何一种特定的排列所给出的信息量是多少？

(b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？

1解：(a) p(a)=

52! 信息量=log1=log52!=225.58 bit p(a)13!13种点数任意排列 (b) 13

4花色任选13!413413 p(b)==13 13C52A5213log413=13.208 bit 信息量=logC52

2.9 随机掷3颗骰子，X表示第一颗骰子的结果，Y表示第一和第二颗骰子的

点数之和，Z表示3颗骰子的点数之和，试求H(Z|Y)、H(X|Y)、

H(Z|X,Y)、H(X,Z|Y)、H(Z|X)。

解：令第一第二第三颗骰子的结果分别为x1,x2,x3，x1，x2，x3相互，

则Xx1，Yx1x2，Zx1x2x3

H(Z|Y)=H(x3)=log6=2.585 bit H(Z|X)=H(x2x3)=H(Y)

12345366)+log36+log18+log12+log9+loglog6

3636363636536 =3.2744 bit

=2(

H(X|Y)=H(X)-I(X;Y)=H(X)-[H(Y)-H(Y|X)]

而H(Y|X)=H(X)，所以H(X|Y)= 2H(X)-H(Y)=1.55 bit

或H(X|Y)=H(XY)-H(Y)=H(X)+H(Y|X)-H(Y)

而H(Y|X)=H(X) ，所以H(X|Y)=2H(X)-H(Y)=1.55 bit

H(Z|X,Y)=H(Z|Y)=H(X)=2.585 bit

H(X,Z|Y)=H(X|Y)+H(Z|XY)=1.55+2.585=4.4805 bit

2.10 设一个系统传送10个数字，0，1，…，9。奇数在传送过程中以0.5的概

率错成另外一个奇数，其余正确接收，求收到一个数字平均得到的信息量。

解：

XY信道i1,3,5,7,9Χi0,2,4,6,8√

I(X;Y)=H(Y)-H(Y|X)

因为输入等概，由信道条件可知，

1p(yii为奇数)10 p(yii为偶数)1(11111)1102888810即输出等概，则H(Y)=log10

H(Y|X)=ip(xyijj)logp(yj|xi)

=p(xiyj)logp(yj|xi)-p(xiyj)logp(yj|xi)

ji偶ji奇 =0-p(xiyj)logp(yj|xi)

ji奇 = - =

i1,3,5,7，9p(x)p(yii|xi)logp(yi|xi)-iji＝1，3，5，7，9p(x)p(yij|xi)logp(yj|xi)

11111log25+log845 102102413 ==1 bit

44I(X;Y)=H(Y)-H(Y|X)=log10 -1=log5=2.3219 bit

2.11 令{u1,u2,，u8}为一等概消息集，各消息相应被编成下述二元码字 u1=0000，u2=0011，u3=0101，u4=0110，

u5=1001，u6=1010，u7=1100，u8=1111

通过转移概率为p的BSC传送。求：

(a)接收到的第一个数字0与u1之间的互信息量。 (b)接收到的前二个数字00与u1之间的互信息量。 (c)接收到的前三个数字000与u1之间的互信息量。 (d)接收到的前四个数字0000与u1之间的互信息量。 解：

即I(u1;0)，I(u1;00)，I(u1;000)，I(u1;0000)

111 p(0)=(1p)4+p4=

882 I(u1;0)=logp(0|u1)1p=log=1+log(1p) bit

1p(0)211 p(00)=[2(1p)24(1p)p2p2]=

84p(00|u1)(1p)2 I(u1;00)=log=log=2[1log(1p)] bit

p(00)1/411 p(000)=[(1p)33(1p)2p3(1p)p2p3]=

88 I(u1;000)=3[1+log(1p)] bit

1 p(0000)=[(1p)46(1p)2p2p4]

88(1p)4 I(u1;0000)=log bit

(1p)46(1p)2p2p4

2.12 计算习题2.9中I(Y;Z)、I(X;Z)、I(X,Y;Z)、I(Y;Z|X)、I(X;Z|Y)。 解：根据题2.9分析

13216621610216H(Z)=2(+++ log216+logloglog216216321662161015216212162521627216loglogloglog+++) 21615216212162521627 =3.5993 bit

I(Y;Z)=H(Z)-H(Z|Y)=H(Z)-H(X)=1.0143 bit I(X;Z)=H(Z)-H(Z|X)=H(Z)-H(Y)=0.3249 bit I(X,Y;Z)=H(Z)-H(Z|XY)=H(Z)-H(X)=1.0143 bit

I(Y;Z|X)=H(Z|X)-H(Z|XY)=H(Y)-H(X)=0. bit I(X;Z|Y)=H(Z|Y)-H(Z|XY)=H(X)-H(X)=0 bit

2.14 对于任意概率事件集X,Y,Z，证明下述关系式成立 (a)H(Y,Z|X)H(Y|X)+H(Z|X)，给出等号成立的条件 (b)H(Y,Z|X)=H(Y|X)+H(Z|X,Y) (c)H(Z|X,Y)H(Z|X)

证明：(b) H(Y,Z|X)=-p(xyz)logp(yz|x)

xyz =-p(xyz)log[p(y|x)p(z|xy)]

xyz

=-p(xyz)logp(y|x)-p(xyz)logp(z|xy)

xyzxyz =H(Y|X)+H(Z|XY) (c) H(Z|X,Y)=-p(xyz)logp(z|xy)

xyz =p(xy)[-p(z|xy)logp(z|xy)]

xyz p(xy)[-p(z|x)logp(z|x)]

xyz =-p(xyz)logp(z|x)

xyz =H(Z|X)

当p(z|xy)=p(z|x)，即X给定条件下，Y与Z相互时等号成立 (a) 上式(c)左右两边加上H(Y|X)，可得

H(Y|X)+H(Z|X,Y)H(Y|X)+H(Z|X)

于是H(Y,Z|X)H(Y|X)+H(Z|X)

1,12.28 令概率空间X11，令Y是连续随机变量。已知条件概率密度为

,2214,2yx2 p(y|x)，求：

0,其他 (a)Y的概率密度(y) (b)I(X;Y)

(c) 若对Y做如下硬判决

1,y1 V0,1y1

1,y1 求I(X;V)，并对结果进行解释。

解：(a) 由已知，可得

13y1 p(y|x1)=40else11y3 p(y|x1)=4

0else (y)=p(x1)p(y|x1)+p(x1)p(y|x1)

183y111y1 =4

11y380else1111 (b) HC(Y)=log82log4=2.5 bit

8341 HC(Y|X)=p(x1)p(y|x1)logp(y|x1)dy

31 p(x1)p(y|x1)logp(y|x1)dy

1311111311 =logdylogdy =2 bit

23442144 I(X;Y)=HC(Y)-HC(Y|X)=0.5 bit

(c) 由(y)可得到V的分布律

V p 再由p(y|x)可知

V p(V|x=-1) p(V|x=1)

11log22log41.5 bit 24111 H(V|X)[log2log2]2=1 bit

222-1 1/4 0 1/2 1 1/4 -1 1/2 0 0 1/2 1/2 1 0 1/2 H(V) I(X;V)=H(V)H(V|X)= 0.5 bit

2.29 令Q1(x)和Q2(x)是同一事件集U上的两个概率分布，相应的熵分别为

H(U)1和H(U)2。

(a)对于01，证明Q(x)=Q1(x)+(1)Q2(x)是概率分布

(b)H(U)是相应于分布Q(x)的熵，试证明H(U)H(U)1+(1)H(U)2

证明：(a) 由于Q1(x)和Q2(x)是同一事件集U上的两个概率分布，于是

q1(x)0，q2(x)0

q1(x)dx=1，q2(x)dx=1

xx 又01，则

q(x)=q1(x)+(1)q2(x)0

q(x)dx=q1(x)dx+(1)q2(x)dx=1

xxx 因此，Q(x)是概率分布。

(b) H(U)=[q1(x)(1)q2(x)]log[q1(x)(1)q2(x)]dx

x =q1(x)log[q1(x)(1)q2(x)]dx

x(1)q2(x)log[q1(x)(1)q2(x)]dx

x q1(x)logq1(x)dx(1)q2(x)logq2(x)dx （引理2）

xx =H(U)1+(1)H(U)2

第三章 信源编码——离散信源无失真编码

ND(D1)3.1 试证明长为N的D元等长码至多有

D1个码字。

证：①在D元码树上，第一点节点有D个，第二级有D2，每个节点对应一

D(1DN)D(DN1)个码字，若最长码有N，则函数有D==，此

1DD1i1Ni时，所有码字对应码树中的所有节点。

②码长为1的D个；码长为2的D2个，…，码长为N的DN个

D(DN1)∴总共D=个

D1i1Ni

a2a1,3.2 设有一离散无记忆信源U若对其输出的长为100的事件序。

0.004,0.996列中含有两个或者少于两个a1的序列提供不同的码字。 (a) 在等长编码下，求二元码的最短码长。 (b) 求错误概率（误组率）。 解: (a)不含a1的序列 1个

1长为100的序列中含有1个a1的序列 C100=100个 2长为100的序列中含有2个a1的序列 C100=4950个

∴所需提供码的总数M=1+100+4950=5051 于是采用二元等长编码NlogM =12.3，故取N=13 logD(b)当长度为100的序列中含有两个或更多的a1时出现错误， 因此错误概率为

012(0.996)100-C100(0.004)(0.996)99C100(0.004)2(0.996)98 Pe=1C100=7.775103

a1,a23.3 设有一离散无记忆信源，U=13，其熵为H(U)。考察其长为L的输出

,44序列，当LL0时满足下式

I(uL)PrH(U) L(a)在=0.05，=0.1下求L0 (b)在=103，=108下求L0 (c)令T是序列uL的集合，其中

I(uL)H(U) L 试求L=L0时情况(a)(b)下，T中元素个数的上下限。

134解：H(U)=pklogpk=log4log=0.81 bit

443E[I(ak)] =H(U)

I2=E{[I(ak)H(U)]2}=E[I(ak)2]-H2(U) =pk(logpk)2H2(U)

k =0.471

则根据契比雪夫大数定理

I(uL)PrH(U)I2 LL2I20.471(a) L=2==1884

0.1(0.05)2I20.4711310(b) L==4.71 283210(10)(c) 由条件可知uL为典型序列，若设元素个数为MT，则根据定理

(1)2L(H(U))MT2L(H(U))

其中，，可知

(i) 0.1，0.05，L1884 下边界：(1)2L(H(U))0.921431..84 上边界：2L(H(U))=21620..24 故0.921431..84MT21620..24

(ii) 106，103，L4.711011 (1)2L(H(U))0.999923.8110 2L(H(U))=23.8210

故0.999923.8110MT23.8210

3.4 对于有4字母的离散无记忆信源有两个码A和码B，参看题表。

11111111字母 a1 a2 a3 a4 概率 0.4 0.3 0.2 0.1 码A 1 01 001 0001 码B 1 10 100 1000 (a) 各码是否满足异字头条件？是否为唯一可译码？ (b) 当收到1时得到多少关于字母a1的信息？ (c) 当收到1时得到多少关于信源的平均信息？

解：①码A是异头字码，而B为逗点码，都是唯一可译码。

②码A I(a1;1)log2p(a1|1)1log21.32 bit p(a1)0.4p(a1|1)p(1)p(a1,1)0.4log2log0 bit

p(a1)p(1)p(a1)p(1)0.41码B I(a1;1)log2③码A U=｛a1,a2,a3,a4｝

I(u;1)p(ak|1)I(ak;1)=p(a1|1)I(a1;1)0=1.32 bit

k14 码B I(u;1)p(ak|1)I(ak;1)=0 bit

k14（收到1后，只知道它是码字开头，不能得到关于U的信息。）

3.5 令离散无记忆信源

aU10.16a20.14a30.13a40.12a50.10a60.90a70.08a80.07a9a100.060.05(a) 求最佳二元码,计算平均码长和编码效率。 (b) 求最佳三元码,计算平均码长和编码效率。

解：(a)

0.5800.4210.310.270.230.190000100111001101110010001110101011a10.16a20.14a30.13a40.1210101010.15010.1101010101a5a6a7a8a9a100.100.090.080.070.060.05

H(U)pklogpk=3.234 bit

平均码长 npknk=3.26=RnlogD

k效率 H(U)H(U)99.2% RnlogD (b)

0.430.330.240001021012202122110111a1a201210.160.140.130.120.100.090.080.070.060.05010120.11102012a3a4a5a6a7a8a9a10

平均码长 npknk=2.11

kRnlogD=3.344

效率 

H(U)96.6% Ra1.........a2.........a3.....3.6 令离散无记忆信源 U

0.5...0.3.....0.2(a) 求对U的最佳二元码、平均码长和编码效率。 (b) 求对U的最佳二元码、平均码长和编码效率。 (c) 求对U的最佳二元码、平均码长和编码效率。 解：(a)

0.510001a10.5a20.33201101a30.2

1+0.3×2+2×0.2=1.5 n=0.5×

H(U)pklogpk1.485 bit

H(U)99% R (b) ∵离散无记忆 ∴H(U1U2)=2H(U)=2.97 bit

p(a1a1)=0.25, p(a1a2)=0.15, p(a1a3)=0.1, p(a2a1)=0.15, p(a2a2)=0.09 p(a2a3)=0.06, p(a3a1)=0.1, p(a3a2)=0.06, p(a3a3)=0.04

0.5500.4510110.2510a1a10.300.250.20.15010110010101101110000000101100111a1a20.150.150.10.10.090.060.060.0401010.1a2a1a1a3a3a1a2a201a2a3a3a2a3a3

n2pknk3

nn21.5 2H(U1U2)2.97==0.99

n2logD3(c) 有关U3最佳二元类似 略 3.7 令离散无记忆信源

a1.........a2..........akU

p(a1)p(a2)p(ai)且0≤P(a1)≤P(a2)≤…. ≤P(ak)<1。定义Qi=p(ak), i>1，而Q1=0，今按

k1i1下述方法进行二元编码。消息ak的码字为实数Qk的二元数字表示序列的截短（例如1/2的二元数字表示序列为1/2→10000…，1/4→0100…）,保留的截短序列长度nk是大于或等于I(ak)的最小整数。

a1...a2.......a3......a4......a5.......a6.......a7......a8.....构造码。 (a) 对信源U111111114,4,8,8,16,16,16,16(b) 证明上述编码法得到的码满足异字头条件，且平均码长n满足

H(U)≤n≤H(U)+1。

解：(a)

符号 a8 a7 a6 a5 Qi 0 1 161 83 161 43 84 83 4L 4 4 4 4 4 3 2 2 C 0000 0001 0010 0011 0100 011 10 11 a4 a3 a2 a1

(b) 反证法证明异字头条件

令k这与假设ak是ak的字头（即QkQkpk）相矛盾，故满足异字头条件。 由已知可得

log11nklog1 pkpk对不等号两边取概率平均可得

pkklog11pknkpklog1 pkpkkk即 H(U)nH(U)1

a1.....a23.8 扩展源DMC，U0.6,0.4

(a)求对U的最佳二元码、平均码长和编码效率。 (b)求对U的最佳二元码、平均码长和编码效率。 (c)求对U的最佳二元码、平均码长和编码效率。 (d)求对U的最佳二元码、平均码长和编码效率。 解：(a) C10，C2=1，n=1

H(U)0.97 bit

432H(U)97% R(b) DMC信道

00011011a1a1a1a2a2a1a2a20.360.240.240.160.401010.6011

n22，n1，H(U)97% n (c)

0.4960.28801a1a1a10.504011010.2160.1920.160.204011100000110010111001101a1a1a2a1a2a1a2a1a1a1a2a20.1440.1440.1440.0960.0960.0960.0010110101a2a1a2a2a2a1a2a2a2

n3=2.944 n=0.981

=98.85%

(d) 略

a2,....a3,......a4,....a5,...a6a1,.....3.9 设离散无记忆信源 U试求其二元和三元

0.3,..0.2,..0.15,..0.15,..0.1,..0.1Huffman编码。

解：

0.60.40.3010.20101101a10.311 a20.2 000 a30.15001 100 a0.154a50.1101 a60.1

012110001022021a10.30.20.150.150.10.101aa0.201223aaa456

3.11 设信源有K个等概的字母,其中K=2j,12。今用Huffman编码法进

行二元编码。

（a）是否存在有长度不为j或j+1的码字，为什么？ （b）利用和j表示长为j+1的码字数目。 （c）码的平均长度是多少？

解：Huffman思想：将概率小的用长码，大的用短码，保证n↓，当等概时，趋

于等长码。

a) 对1时，K=2j，则用长度为j码表示；当2时，用K=2j+1，用长度为j+1码表示。平均码长最短，则当12时，则介于两者之间，即只存在j，j+1长的码字。

b) 设长为j的码字个数为Nj，长度为j+1的码字数目为Nj+1，根据二元

Huffman编码思想（必定占满整个码树），即

jNNK2j1j j(j1)1Nj2Nj12从而Nj(2)2j，Nj1(1)2j1 c） L

3.12 设二元信源的字母概率为p(0) 1011 0111 1011 0111

(a) 对其进行算术编码并进行计算编码效率。 (b) 对其进行LZ编码并计算编码效率。 解：

1231(a) p(s)316

444124112NjjNj1(j1)=j2 KK13，p(1)。若信源输出序列为 44F(ui1)F(ui)p(ui)F(ui1) 根据递推公式 可得如下表格

p(ui1)p(ui)p(ui1)其中，F(1)=0， F(1)= 3， p(0)=1， p(1)=3

444ui  1 0 1 1 0 1 p(ui) 1 3 4313 4416339 19327 425633 5434 46F(ui) 0 1 41 4    1 35 74         1508125135 4160.0101100111100100 1 1 0 1 1 0 1 1 1 从而 C = 0101100111101 36 4837 4937 10438 11439 41239 413310 144311 154312 416134log4logH(U)44399.85% 13R16 (b) 首先对信源序列进行分段：

1 0 11 01 111 011 0111

然后对其进行编码，编码字典如下所示

段号 短语 i j 编码 1 1 0 1 0001 2 0 0 0 0000 3 11 1 1 0011 4 01 2 1 0101 5 6 7

111 011 0111 3 4 6 1 1 1 0111 1001 1101 RnlogD17 74416134log4log0.8113bit 443H(U)46.36%

RH(U)

3.13 设DMS为U=.a1..........a2........a3......a4，各ai相应编成码字0、10、110和1110。

1..1..1..14,8,82,

试证明对足够长的信源输出序列，相应的码序列中0和1出现的概率相等。

解：

概率 1/2 1/4 1/8 1/8 信源符号 a1 a2 a3 码字 0 10 110 1110 a4

设信源序列长为N，则相应码字长为（条件是N要足够长）

NNN7L123N

2484相应码序列中0出现的次数

L0NNN7111N 2488∴ p(0)=

L011= p(1)=1-p(0)= L22013.14 设有一DMS, U=

0.90.1 采用如下表的串长编码法进行编码

信源输出序列 1 01 001 … 00000001 00000000 (a)求H(U)。

0串长度（或中间数字） 0 1 2 … 7 8 输出二元码字 0000 0001 0010 … 0111 1 (b)求对于每个中间数字相应的信源数字的平均长度n1。 (c)求每个中间数字对应的平均长度n2。

(d)说明码的唯一可译性。 解：

(a) H(U)0.9log0.90.1log0.10.469 bit 由已知可得下表 先验 信源输出 0串长度 概率 序列 （或中间数字） 0.1 1 0 0.09 01 1 0.081 001 2 0.0729 0001 3 0.0656 00001 4 0.059 000001 5 0.0531 0000001 6 0.0478 00000001 7 0.4305 000000001 8 (b) n110.120.980.43055.6953 bit (c) n210.43054(10.4305)2.7085 bit (d) 异字码头

输出二元码字 0000 0001 0010 0011 0100 0101 0110 0111 1 第四章 信道及信道容量

4.1 计算由下述转移概率矩阵给定的DMC的容量。

p01p 01pp(a)01pp1它是一对称信道，达到C需要输入等概，即p=

3∴C log3p(jk)logp(jk)

log3(1p)log(1p)plogplog3H(p) bit/符号

1p2(b) p21p2p2p21p2p2 1p2它是一对称信道

1p1ppp∴Clog4log2log2

22221pp 2(1p)logplog1H(p) bit/符号

22p01p p1p0（c）010p1p它是分信道和1的和信道 p1pC1log2(1p)log(1p)1H(p)

C20

1H(p)由2c2c12c2，可知Clog12 bit/符号

4.3求图中DMC的容量及最佳输入分布

3/401/41/31/3001/301/31/311/31/423/4221/3111/311/321/31/331/3

（a） (b)

解：（a）由图知

341P30

14131401 334发送符号1时等概率收到0,1,2,

∴传对与传错概率完全相同，即不携带任何信息量，于是信道简化为二元纯删除信道

341P300141314031430343/414140 3401/411/413/42

C1q11/43/4 bit/符号 （b）由图知

1110333111 P03331110333为准对称

∴当输入等概，即Q0Q1Q21时达到信道容量C 3112此时0122

33911133

333∴CI(x0,Y)p(j0)logjp(j0)j

11111123 =log3log3log3log bit/符号

232313329934.5 N个相同的BSC级联如图。

X0X1X2XN1XN

p1p各信道的转移概率矩阵令Qtp{Xt0},t0,1,,N，且Q0为。1pp已知。

(a) 求Qt的表达式。

(b) 证明N时有QN1/2，且与Q0取值无关，从而证明N时的级

联信道容量CN0(p0) 解：N个信道级联后BSC可表示为

1pN10pN1pN1011pN11

N个级联可以看成N-1个级联后与第N个级联

1pN10pN1pN11p0pp011pN111p1

∴pN(1pN1)ppN1(1p)pN1(12p)p 同理可得

pN1pN2(12p)p pN2pN3(12p)p

p2p1(12p)p

p1p

从而

pNpN1(12p)p[pN2(12p)p](12p)ppN2(12p)2p(12p)ppN3(12p)3p(12p)2p(12p)p p(12p)N1i0N1p(12p)ii0N2p(12p)i1(12p)N1(12p)Np1(12p)2(a)

QNQ0(1pN)(1Q0)pNQ0(12Q0)pN1(12p)NQ0(12Q0)2(b)

1(12p)NlimQNlimQ0(12Q0)NN2

12Q01Q022

因此与Q0无关。 由于

QNp{xN0}p{x00}(1pN)p{x01}pN1 2与p{x00}Q0无关，因此pN

1，C=0。 24.8 一PCM语音通信系统，已知信号带宽W=4000 Hz，采样频率为2W，且采

用8级幅度量化，各级出现的概率为1/2，1/4，1/8，1/16，1/32，1/32，1/32，1/32。试求所需的信息速率.

111119解：H(V)pklogpklog2log4log8log164log32 bit

24816324k∴信息速率RfsH(V)8000918000 bit/s 4

4.9 在数字电视编码中，若每帧为500行，每行划分成600个像素，每个像素采用8电平量化，且每秒传送30帧时，试求所需的信息速率。 解：每个像素信息量为Ilog83 bit

每秒传输30帧，即305006009106个像素 ∴R910632.7107 bit/s

4.10 带宽为3 kHZ，信噪比为30 dB的电话系统，若传送时间为3分钟，试估计

可能传送话音信息的数目。 S解：()dB=30dB=103=1000

NS则CWlog(1)3000log(11000)R bit/s=29.9 Kb/s

N又传送时间t=30分钟=180 s

∴信息量为29.9180=5.382 Mbit 4.12 若要以R=105bit/s的速率通过一个带宽为8 kHz、信噪比为31的连续信道

传送，可否实现？

解：根据SHANNON公式

CWlog(1S)8000log3240 Kb/s N当连续信道为高斯信道时，C第五章 离散信道编码定理

5.1 设有一DMC，其转移概率矩阵为

1/21/31/61/61/21/3 1/31/61/2若Q(x1)=1/2，Q(x2)Q(x3)=1/4，试求两种译码准则下的译码规则，并计算误码率。

解：

（1）最大后验概率译码准则

首先计算 p(xy)p(x)p(yx)

p(y)111111317 p(y1) p(y2) p(y3)22438324212p(x1y1) p(x1y2) p(x1y3)

327132p(x2y1) p(x2y2) p(x2y3)

987213p(x3y1) p(x3y2) p(x3y3)

987p(x1y1)p(x3y1)p(x2y1)

p(x1y2)p(x2y2)p(x3y2) p(x3y3)p(x1y3)p(x2y3)

∴译码规则为

y1x1 y2x1 y3x3

11111111∴Pe

243624（2）最大似然准则译码

计算p(yx)

p(y1x1)p(y1x3)p(y1x2)

p(y2x2)p(y2x1)p(y2x3) p(y3x3)p(y3x2)p(y3x1)

∴译码规则

y1x1 y2x2 y3x3

1111111111∴Pe

2364634362显然它不是最佳。

第六章 线性分组码

6.1 设有4个消息a1,a2,a3,和a4被编成长为5的二元码00000，01101，10111，11010。试给出码的一致校验关系。若通过转移概率为p<1/2的BSC传送，试给出

最佳译码表及相应的译码错误概率表示式。 解：

00（1）CmG110p1001p100p01p11p02p120100011100001101 01111010100101101001011 H从而构造出G0110100101（2） 根据最小距离译码准则，可得伴随式与错误图样的对应关系如下

00100100 10110100 01001000 11000010 01100001 11100110 10010000 00000000 （3）Pe1(1p)55(1p)4p2(1p)3p2

6.4 设二元(6,3)码的生成矩阵为

100011 G010001001110试给出它的一致校验矩阵为。

解：

001100

101010H＝110001