【文档说明】计算机学院多媒体基础量化课件.ppt，共(124)页，4.513 MB，由小橙橙上传

转载请保留链接：https://www.ichengzhen.cn/view-76617.html

以下为本文档部分文字说明：

计算机学院多媒体基础量化复习-2fs-fs0fs2fs……fs-fHfs+fHMs(f)f抽样频率fs对频谱Ms(f)的影响低通信号的抽样定理：一个频带限制在0~fH内的低通信号m(t)，如果抽样频率fs≥2fH，则可以由抽样序列无失真地重建

原始信号m(t)。fs≥2fH…f-2fs-fs-fH0fHfs2fsMs(f)fs-fHfs+fHfs<2fHfs=2fH-fH0fHM'(f)f……-2fs-fs-fH0fHfs2fsMs(f)fM'(f)-fH0fHfM'(f)-fH0fHf量化模拟信号数字

化中的量化：在实际中，信号的波形都是典型的连续幅度和连续时间，因此模数（A/D）变换用来产生波形的离散表示形式。经过抽样后的样值在幅度上仍然是连续的，幅度量化过程是用来把可能的幅度数目限制到有限个数目。由于幅度量化在很大程度上决定了系统总失真，以及把波形传送到接收端所必需

的比特率。因此，量化是数字通信中关键的过程。量化量化在多媒体领域常有两种用途一是将模拟信号转变成数字信号，以便于随后进行数字处理，一般采用线性量化器，量化区间均匀划分，以区间的中间值做量化输出值。另一种用途是数据压缩，如在DP

CM系统中对预测误差的量化，这种场合常用不均匀量化。量化类型标量(Scalar)量化：对每一个样值做独立的量化。矢量(Vector)量化：由K个样值构成K维空间的一个矢量，然后对其进行一次性量化。量化量化实质上可以看作是一个映射的过程。将所有

取值落在Ri范围内的输入信号映射到一点yi上。Q(x)kyxx0xLxix1ix1xiy1yLy▲▲▲:R:C随机变量x的映射变换iiiiiiiiiyxQRxRLixxxixRL

ixLiyLiyCLiRRCRQ;,,2,1,,2,1,,2,1,...,1,,...,1,:1或者个区间，即，的第—输入电平——判决电平——量化电平—量化量化过程d1d2d4d3d5q5q4q3q2q1

T2T3T4T5T6T7Tt量化误差信号实际值信号量化值m(t)m(6T)mq(6T)q6－信号实际值－信号量化值1(),()qiiimkTqdmkTd量化量化器的设计要求，通常设计量化器有下述两种情况：给定量化分层级数L，满足量化误差D最小。限定量化误差D，

确定分层级数L，满足以尽量小的平均比特数，表示量化输出，即码率R最小。标量量化又可分为:均匀量化、非均匀量化和自适应量化均匀量化543210-1-2-3-4ui(v)uo(v)-5-4–3-2-

1012345量化特性-5-4–3-2-1012345210-1-2ui(v)e(v)量化误差mkqkaLaMv正常量化区限幅区限幅区mMdM-1dk+1dkd2d1d0…………判决电平量化值qMqM-1qkq2q1q0均匀量化量化误差t10-1e(v)信号幅度在[aL,a

M]之间t543210-1-2-3-4-5u(v)正常量化区aLaMv2均匀量化限幅区v2信号幅度进入限幅区t543210-1-2-3-4-5u(v)量化误差t10-1e(v)2LvaD2MvaDaLaM均匀量化均匀量化的数学表示量化间隔：量化区间端点：若

量化输出电平qi取为量化间隔的中点，则MLaavMDLaidivDi=0,1,…,M1,1,2,...,2iiiddqiM量化误差输入x与输出y之间的误差是量化过程中所固有的，称为量化误差。量化误差(噪声）是数字小信号失真的主要来源。量化处理是多个对一个的处理过程，是

个不可逆过程，有信息丢失，或者说，会产生量化噪声。不同于信道噪声或热噪声，量化噪声不是随机引入的，一般说来，它与被量化的信号相关。度量量化误差时，首先需要一个衡量的标准，比如，均方误差准则（MSE）、绝对值误差准则等。我们下面的讨论都基于广泛使用的均方误差准则。均匀量化均匀量化的平均信号量

噪比▼量化噪声功率的平均值Nq：▼信号mk的平均功率：bakkkkdmmfmmES)()(22012221[()]()()()()MiLiMamqkqkqkkkikkamiNEmmmmfmdmmqfmdm颗粒失真和过载失真颗粒失真（GranularNoise）：均匀量

化误差与输入信号的关系如图。处在均匀量化范围内的量化误差大小为[-0.5△,+0.5△]，称之为颗粒失真，或者颗粒噪声，表示为Dgranxyy-xx颗粒噪声均匀量化器的颗粒噪声0x2222Lx颗粒失真和过载失真平均颗粒失

真：1222111221)2(1211121()21211()22iiLLxaiixaiiiLLiiiigraniiqExyxypxdxxiapxdxixipxdxxdxbaD

xQx代入,2RbaLL得22222()()2121212grRanbabaLD颗粒失真和过载失真若输入信号x先经过归一化处理，使其范围在x∈[0,1]，即b-a=1

，则上面等式成为：2212sba信噪比为：21212RD222101010222210101212(dB)10log10log10log121210log()20log(2)(dB)SNR6.02s

qRbababaLLR颗粒失真和过载失真说明：量化级数每增加1bit，则步长减小一半，均方量化噪声减为¼，SNR增加6dB。人眼视觉对图像中变化不大、较为均匀的区域（低频）比较敏感，

而对细节（高频）部分的敏感程度相对较弱。因此，通常对图像信号中的低频部分采用较大的量化级数。颗粒失真和过载失真变暗、只保留轮廓1比特量化：[0,127]64[128,255]1962比特量化：边界：{[0,64,128,196,255}重构水平{3

2,96,160,2243比特量化例：81,2,3bits/pixel颗粒失真和过载失真2/21(122)1(1)+1212222granLioiLqliDLDixpxdxxpxdxD

输入信号幅度为无界(-∞,∞)时在两个区间（-∞,x1]和[xL-1,∞)产生过载失真Dol在其它的L-2个区间(x1,xL-1)产生颗粒噪声，即量化失真大小在[

-0.5△,+0.5△]内的误差。一般而言，颗粒失真幅度相对较小、产生的概率随着输入样值的不同而不同；过载失真幅度大，但只要设计合理，其产生的概率很小。假设输入随机信号零均值、对称量化器，则该均匀量化器的噪声D为：非均匀量化非均匀量化的目的提高小信号的输出信号量噪比。非均匀量化的原理量化

间隔随信号抽样值的不同而变化。信号抽样值小时，量化间隔v也小；信号抽样值大时，量化间隔v也变大。非均匀量化xe(x)量化误差非均匀量化特性曲线x110yxDyD非均匀量化量化误差非均匀量化特性曲线yxxe(x)非均匀量化非均

匀量化的实现原理yt51018t扩张特性曲线x压缩特性曲线yf(x)压缩均匀量化编码解码f-1(y)扩张xyzzyxˆt510t18yxˆxˆ非均匀量化常用的压扩方法A压缩律（A律）：主要用于英国、法国、德国

等欧洲各国和我国大陆；压缩律（律）：主要用于美国、加拿大和日本等国。非均匀量化A压缩律（A律）压缩规律：11,ln1ln110,ln1xAAAxAxAAxyA---压缩率我国大陆：A=87.6xy11-1-10A=1A=87.61/

A非均匀量化13折线压缩特性－A律的近似yx11/21/41/81/161/321/641/12817/86/85/84/83/82/81/81/481/2716254483162161斜率段号各段斜率12345678A=87.6时的A律压缩特性非均匀量化A=87.6

A律与13折线压缩特性比较yx182838485868781按A=87.6关系求得x1128160.6130.6115.417.813.411.981按13折线关系求得x11281641321161814121非均匀量化压缩律压缩规律：xy00.20.40.60.8

1.01.00.90.80.70.60.50.40.30.20.1=030100200yx00.20.40.60.81.01.00.90.80.70.60.50.40.30.20.1=030压缩特性扩张特性10020010)1ln()1ln(

xxy，非均匀量化15折线压缩特性－律的近似25512255125625512568/iiyxi012345678y=i/801/82/83/84/85/86/87/81x=(2i-1)/25501/2553/2557/2

5515/25531/25563/255127/2551斜率2551/81/161/321/641/1281/2561/5121/1024段号12345678非均匀量化15折线压缩特性非均匀量化15折线压缩特性与13折线压缩特性比较•15

折线特性第一段的斜率（255/8）大约是13折线特性第一段斜率（16）的两倍，15折线特性给出的小信号的信号量噪比约是13折线特性的两倍。•对于大信号而言，15折线特性给出的信号量噪比要比13折线特性时稍差。恢复原信号大小的扩张原理，完

全和压缩的过程相反。非均匀量化非均匀量化和均匀量化比较0-10-20-30-40-50-6020lgy/x(dB)605040302010SNR(dB)均匀量化11位码字均匀量化7位码字非均匀量化7位码字26Lloyd-Max标量量化器问题

：信号x的概率密度函数为p(x)，设计一个L个输出电平的量化器，以均方误差作为评判标准，使其最小：2[(())]minDMSQEExQxLloyd-Max标量量化器结果：Lloyd-Max最佳均方量化器（MMSE，Lloyd1957;Max1960）L-1个判决电平

(门限)精确地位于输出电平之间的中点→最近邻12iiiyyxi1,2,...,L1L个输出量化电平位于pdf函数在两个连续判决门限之间的质心110,iiiixxixxxpxdxyi1,...,M1pxdx

Lloyd-Max标量量化器证明：根据量化失真度量公式，得12101112221122()iiiLiLLxxxixxxixxiLxxDxypxdxxypxdxxypxdxxypxdx

Lloyd-Max标量量化器现在要对此多元方程求D的极小值，根据拉格郎日极值定理，分别对xi及yi求偏导，并使之为0，得：1221020iiiiiiixixiDxypxxypxxDxypxdxyLloyd-Max标量量化器求解上

述方程得：111,1,2,...,12,1,...,iiiiiiixxixxyyxiLxpxdxyiLpxdxLloyd-Max标量量化器最佳均方量化器的三个主要特点：设y=Q(x)，量化误差ε=y

-x=Q(x)–x，则Q(x)xxyy①量化误差的均值为0，量化误差无直流分量[]0E②量化误差和重建信号不相关，正交[()]0EQx③方差为输入输出信号方差的差值，方差减少2222xyELloyd-Max标量量化器

说明：（1）E[ε]=0，量化误差没有直流分量。用ε=x-Q[x]=x–y替换，得到E[x]=E[y]。这表明MMSE量化器的输出电平y是输入电平x的的无偏估计。（2）E[Q(x)ε]=0，量化误差正交于量化器的输出电平。（3）E[ε2]=σε2=σx2-σy2，做数学代换得到。2

222211xxxyBfLloyd-Max标量量化器设计基本思想：前面介绍的最佳量化器条件，即最小均方误差（MMSE）量化器的最近邻条件和质心条件。给定xi，可以计算对应的

最佳yi给定yi，可以计算对应的最佳xi显然，判决电平xi和量化电平yi的求解是一个相互依赖的过程。问题：如何同时计算最佳的xi和yi？答案：迭代，或查表法111,1,2,...,12,1,...,iiiiiiixxixxyyxiLxpxdxyiLpxdx

Lloyd-Max标量量化器设计迭代法就是选择参量，以同时达到最佳分区（最邻近条件）和最佳码表（质心条件）的算法。Lloyd-Max迭代算法的具体步骤如下：步继续运算。转到第停止，否则令若由计算由计算新码表用质心条件，由

分区用最近邻条件计算最佳令）（选初始码表）21)5)4,,2,1,,)31,,2,1,2)2,0,,,1112111011111122110

jjddddxxpyxmseddLixpdxxxpyCLiyyxxmsedjyyCjjjLixxxijxxxxxxijiiiixyxyxyxyxLjiiiiiiLLLLLloyd-Max标量量化器设计Lloyd-Max算法举例Ix是均值为0，方差为1的

高斯分布，即x~N(0,1)设计一个4个索引的量化器，使得失真D*最小用Lloyd-Max算法得到最佳量化器•判决电平（边界）：-0.98,0,0.98•量化（重建）水平：–1.51,-0.45,0.45,1.51()px*0.129.30DdBLloyd

-Max标量量化器设计收敛情况初始化A：判决边界为：–3,0,3初始化A：判决边界为：–1/2,0,1/220.129.30qDdB**0.1DDD在两种情况下，经过6次迭代后，Lloyd-Max标量量化器设计Lloyd-Max算法举例IIx是均值为0，方差

为1的Laplacian分布设计一个4个索引的量化器，使得失真D*最小用Lloyd-Max算法得到最佳量化器•判决电平（边界）：-1.13,0,1.13•量化（重构）水平：-1.83,-0.42,0.42,1.83一个好的预测器输出的预

测差值信号通常满足0周围高峰值的分布，如Laplacian分布*0.187.54DdB()pxLloyd-Max标量量化器设计初始化A：判决边界为：–3,0,3初始化A：判决边界为：–1/2,0,1/2收敛情况**0.1DDD

在两种情况下，经过6次迭代后，Laplacian分布的尾巴更长，外侧步长大；同时，内侧步长小，因为在中心附近概率大。Lloyd-Max标量量化器设计4比特Laplacian最优量化器当输入方差小于假定方差，SNR下降很快。均方量化噪声MSQE减小，因为过载噪声减小。但是由于输入方差小，SNR

中的信号/噪声比率减小很快。当输入方差大于假定方差，均方量化噪声MSQE相应增大，但是由于输入信号的能量增大，信号/噪声比率减小缓慢。当真实的数据方差和假设的方差不匹配时造成的影响Lloyd-Max标量量化器设计当

信号x的概率密度函数p(x)不是均匀分布时，需要采用上述的反复迭代方法设计最佳均方量化器。这种迭代过程是比较麻烦的，Max已经针对不同分布的p(x)，计算出了最佳量化电平和判决电平。在某些情况可以直接套用。判决门限输出电平Lloyd-Max标量量化器设计Lloyd-Max标量量化

器设计已知输入信号x的概率密度函数p(x)为高斯分布、拉普拉斯分布或均匀分布，且均值E[x]=0，标准方差σx=1时，得到最佳量化器量化电平yk(k=1,2,.,L)标准表。问题：当随机变量x’的均值μ=E[x’]≠0，标准差σx’≠

1时，如何由标准表转换出相应的量化电平？具体步骤如下图：kxkyy~Lkyyk,...,1,10,2xExExp，xxx~根据概率密度函数查相应的标准表测试出，x~的均值，标准差x，及概率密度函数xp~Lloyd-Max标量量化器当信号x的概率

密度函数p(x)在整个范围内是均匀分布时，即p(x)为某个常数c时，上述Lloyd-Max最佳均方量化器变为均匀量化器，其输出的量化电平为：1112211111()()2()()2()()0,iiiiiixxiixxixiiiiixixxxpx

dxcxdxycxxxxpxdxi1,xx...,L1Lloyd-Max标量量化器11()2iiixyyi1,2,...,L1判决电平仍为：（在输入区间上等间隔分布）表

明：对于均匀分布，均匀量化是最佳量化器对应输入信号区间(xi-1，xi）的中值，换言之，量化电平是判决电平xi-1和xi的算术平均值。量化电平是等间隔分布的。熵约束标量量化器Lloyd-Max量化器是对固定码率编码的优化，

对于变字长（变码率）编码，怎样做更好？量化的三个部分选择判决边界选择重构电平（量化电平）选择码字前面讨论的：给定L个重构水平，以均方量化误差(MSQE)最小来衡量量化器的性能，所有区间用固定码率编码：log2L比特。

熵约束标量量化器现在讨论另一个问题：用码率R(bit/sample）或者“熵”衡量量化器的性能考虑判决的选择会影响码率，重新设计量化器（熵约束量化器）。采用同样设计的量化器(Lloyd-Max量化器)，对索引用变长码编码。熵约

束标量量化器对Lloyd-Max量化器的输出进行熵编码NumberofLevels定长码(bit)GaussianLaplacianUniformNonUniformUniformNonUniform421.9041.9111.7511.72862.4092.4422.

1272.207832.7592.8242.3942.4791643.6023.7653.0633.4733254.4494.7303.7794.427Outputentropiesinbitspersamplesforminiummeansquarederrorquantizes熵约束标量量化器

低码率情况下，定长码与熵编码之间的差异并不大高码率情况下，定长码与熵编码之间的差异增大•Laplacian分布的32电平均匀量化器，定长码需5比特，熵编码只需3.779比特定长码与均匀量化输出熵编码之间的差异大

于定长码与非均匀量化输出熵编码之间的差异•非均匀量化器在大概率区域步长小，在小概率区域步长大使得每个区间的概率相近增大非均匀量化输出的熵分布越接近均匀分布，上述差异越小。熵约束标量量化器熵约束标量量化器Entropy-constrainedScalarquantizer,ECSQ

用量化器输出的熵作为码率的度量•对量化索引用熵编码技术编码量化器输出的熵定义为•所以重构电平yi的选择不影响码率•但判决边界xi既影响失真，也影响码率，因此需要引入一个参数λ11log,iiLxiiixiHQppppxdx熵

约束标量量化器均方量化误差MSQE12221iiLxqixiDExQxxypxdxP.A.Chou,T.Lookabaugh,R.M.Gray,―Entropy-constrainedvectorquantization,‖IEEETr

ans.SignalProcessing,vol.37,no.1,pp.31-42,Jan1989熵约束标量量化器给定码率限制H(Q)≤R0，求得{xi},{yi}和二进制码字，使Lagrange代价函数最小：太复杂，不能直接求解用迭代法求

解minJDHQ熵约束标量量化器在最小化J(λ)中λ的作用:较大的λH(Q)的权重更大只保留较小的熵H(Q)随着λ的增加减小可以用二分法求解最佳的λ，使得H(Q)=RH(Q)熵约束

标量量化器ECSQ算法（二重循环）1.选择一个初始的λ≥0（外层循环，控制码率H(Q)）2.初始化所有的yi，j=0，D0=∞（里层循环，控制失真D）3.计算判决边界：4.更新所有的yi：5.更新pi：6.计算MSE：7.若，转第8步；否则j=j+1，转第3步8.若，调整λ，转第2步11()jj

jDDD1()iixixppxdx1log[,]MiiiHQppRR11()()iiiixxixxxpxdxypxdx121iiLxjixiDxypxdx111loglog22()iiiiiiippyyyyx熵

约束标量量化器ECSQ算法的应用(I)x是均值为0，方差为1的高斯分布，即x~N(0,1)设计一个R≡2的ECSQ，使得期望失真D*最小•11个区间（[-6，6]内）：几乎是均匀•定长编码：*0.0910.53,2.0035D

dBR*0.129.30DdB熵约束标量量化器初始化A：初始化为15个均匀区间初始化A：初始化为4个均匀区间熵约束标量量化器ECSQ算法的应用(II)x是均值为0，方差为1的Laplacian分布

设计一个R≡2的ECSQ，使得期望失真D*最小•21个区间（[-10，10]内），几乎是均匀的*0.0711.38DdB熵约束标量量化器初始化A：初始化为25个均匀区间初始化A：初始化为4个均匀区间高码率下ECSQ的性能

对MSQE失真和高码率（高分辨率），均匀量化器（紧跟熵编码）是最佳的[Gish,Pierce,1968]H.GishandJ.N.Pierce,―Asymptotically.efficientquantizing,‖IEEETrans.Inform.Theory,.vol.IT-14,p

p.676-683,Sept.1968.max2logxHQhXL高码率下ECSQ的性能码率为失真-码率函数为是Shannon下界的，即22222max2112212123hXRqxDRRL

221222hXRDRe6e1010log1.536edB高码率的均匀ECSQ量化器的SNR与Shannon下界差1.53dB（对任何平滑pdf）max2l=logloogg2hXRRHQpxpxdxXxhL

高码率下ECSQ的性能2212212hXRDR相同码率R下，ECSQ的失真比Lloyd-Max量化器更小Gaussian信源的量化器熵约束标量量化器高码率下Lloyd-Ma

x量化器失真—码率函数：2222RXDR2212212hXRDR缩放因子ε2的数值•均匀1•Laplacian9/2=4.5•gaussian√(3π)/2=2.721高码率下ECSQ的失真率函数自适应量

化器思想不是静态方法，而是与真实数据相适应•均值、方差、pdf前向自适应(离线)将信源分块分析块的统计特性设置量化方案•边信道（Sidechannel）后向自适应(在线)基于量化器输出自适应无需边信道前向自适应量化器（FAQ）选择块大小：折中

太大•分辨率不够，不能抓住输入的变化•延迟增大太小•需要传输更多的边信息假设均值为0方差估计FAQ问题：需要缓存分析统计特性，造成延时边信息的同步前向自适应量化器（FAQ）例：语音量化16比特3比特定长码男声“test

”前向自适应量化器（FAQ）例：语音量化（2）16比特3比特FAQ•块大小：128个样本•8比特方差量化失真较小红色区域还有提升空间前向自适应量化器（FAQ）迄今为止，我们假设均匀pdf改进假设均匀pdf，但记录每块的最大/最小值例：Sena图像8

×8块每个像素3比特量化每个块中边信息最大值/最小值各用8bit表示，则每个像素平均为每个像素共：3.25bits/pixel和原始图像几乎难以区别对于高码率，前向自适应量化是个非常好的选择160.25bits/p

ixel88原始图像：8bits/pixel量化：3.25bits/pixel后向自适应量化器（BAQ）观察解码器只能看到量化器的输出只能根据量化器输出进行自适应问题只根据输出，如何减少不匹配信息如果知道pdf，这是可能的……耐心：观察长时间的量化

器输出，推测是否发生了不匹配现象•如果匹配，落入某区间的概率与预定的pdf一致，否则，发生了不匹配现象。•失配时，如果步长比应有的步长小，输入落入外侧区间的数目偏大；相反，输入落入内侧区间的数目偏大。后向自适应量化器（BA

Q）Jayant量化器不需要观察长时间的量化器输出，在观察单个输出后就可调整量化步长，Jayant称之为“quantizationwithonewordmemory‖。嵌入式量化器动机：可伸缩（scalable）解码随着比特流的解码，渐近地精化重构数据对低带宽有用

是JPEG2000的一个关键特征嵌入式量化：低码率器的区间被再分割，以产生更高码率的量化器可以通过截断量化索引获得较粗糙的量化嵌入式量化器例1：均匀量化器嵌入式量化器例2：Deadzonequan

tizer假设deadzone量化器的量化区间的索引用4个比特表示如果收到了所有4个比特步长为Δ如果只收到了前3个比特步长为2Δ如果只收到了前2个比特步长为4Δ矢量量化主要内容基本思想标量量化的不足之处LBG算法树结

构VQ（Tree-structuredVQ）格型量化（Latticequantization）网格编码量化（Trelliscodedquantization,TCQ）矢量量化矢量量化编码是近年来图像、语音信号编码技术中采用

的一种量化编码方法。矢量量化编码方法一般是有失真编码方法。压缩符号串比压缩单个符号在理论上可产生更好的效果如图像和声音的相邻数据项都是相关的矢量量化：量化时不是处理单个信源输出，而是一次处理一组符号（

矢量）得到更好的压缩性能：码率/失真更小矢量量化以图像编码为例查表搜索距离最近的码字非对称编码：编码：在输入与码本匹配过程中需大量计算解码：只需查表矢量量化——码率码书（codebook）中共有K个码字（codeword）码字是长度为L的矢量则表示码字

索引需log2K比特假设矢量长度为L个样本，因此码率（表示每个样本所需比特）为例：对256级的灰度图像，•矢量每块大小为L=4×4，用K=1024个码字的码书对图像进行矢量量化•则码率为R=[log2K]/L=1

0/16=0.63bpp•压缩比为：8:0.63=12.8:1可以通过对码字索引采用熵编码技术得到更高的压缩比2logKRL矢量量化——失真采用均方误差作为量化失真度量定义：码书C，包含K个码字矢量YjX与Yj最近，量化定义为其中量化区域（判决边界）：表示所有

可以被Yj量化的输入矢量,,jjiQX=YiffdXYdXYij21,LiidXYXYXx:,jjiV=XdXYdYijiff当且仅当矢量量化问

题：为什么矢量量化(VQ)比标量量化（SQ）好？怎样产生码书？对每个输入矢量，怎样找到与其最匹配的码字？SQ不足VQ优势若对考虑二者之间的相关性（例如身高和体重），对x1,x2一起量化，则输出点数量一样，但输出点位于

输入的聚集区域。实际中，一个80英寸身高40磅体重，或者身高42英寸体重200磅的人，很少出现。因此，图中的均匀量化效率不高。一个人的身高和体重是相关的，不再单独量化，在同样的量化比特数时，为输入提供了更细致的量化。SQ不足VQ优势回忆：在量化中，存在两种误差（噪声

）过载误差（边界处）颗粒误差标量量化效率可以继续提升，因为所有码字分布在立方体内•不能最小化过载误差量化区域通常是立方体•不能最小化颗粒误差SQ不足VQ优势SQ所有码字分布在立方体内对大多数分布都不是最有效的

最佳码字分配应该与pdf匹配：对典型集合(typicalset)赋予码字AR(1)的高概率区域IIDGaussian分布的高概率区域IID(independentandidenticallydistributed)独立同分布一阶自回归SQ不足VQ优势即使相邻样本间不相关

，矢量量化也表现更好例题：考虑Laplacian分布的8量化电平的均匀标量量化器，已知△=0.7309，输入落入某个区间的概率为：直接扩展到x1、x2轴，得到2D输入的量化器0,0.3242,3,0.0225PXPX各区间的概率不同，最右上区域的概率：

123,,3,0.02250.02250.0005PXXSQ不足VQ优势上述最右上区域概率非常小，几乎不可能发生，若将其移到概率最大区域—原点附近，得到修正的量化器:11.4411.73dBBSNRd:11.4410.8SNRdBdB但如果对标量量化

器做类似操作，将3.5Δ移至原点，则两种情况下信源的均方值一样，SNR增加了，意味着均方误差减少。这种SNR提高是否有意义取决于特定应用，但重要的是通过微小的改变，得到了正面的效果。改变了中心位置的量化图案，不再是均匀量化了。标量矢量SQ不足VQ优势另一种修正方案，不改变点的位置，而是保

留等概线|x1|+|x2|=5Δ内的点：60个点没有改变等概线内部的量化形状，只改变了量化器的外部边界。去掉64个点中不满足条件的12个点（圆形标注）•增大过载概率增加8个（方形标注），塔式/球形VQ的原型SQ不足VQ优势不是原来64个点里面的。•减少过载概

率增大的负载概率<减少的负载概率•总过载概率减小•SNR:11.44dB12.22dB•这样获得的好处称为边界增益•矢量维数增加，过载噪声进一步减少。塔式/球形VQ的原型SQ不足VQ优势SQ的量化区域通常是立方体对颗粒误差•标量量化：由量化步长决定•矢量量化：由量化区域大小和形状决定S

Q不足VQ优势立方体区域vs.球形区域•体积相同时，在所有的形状中，球形区域的最大颗粒误差最小•体积相同时，在所有的形状中，球形量化区域的平均颗粒误差最小面积：1边长：1最大误差：面积：1半径=最大误差=220.70710.5620.1667squar

eX20.159circleX0lim1.53dB6cubesphereLeMSQEMSQE立方体量化区域有的损失LBG算法将标量量化的Lloyd-Max算法推广到矢量量化，所以亦称为推广的Lloyd算法(Gen

eralizedLloydAlgorithm,GLA)[Linde,Buzo,Gray,1980]，亦称为LBG算法给定训练集：收集的训练集需有代表性码字聚类边界训练矢量LBG算法举例HeightWeight7218065120591196415065162578872175444

16211460110569170172HeightWeight4550451177511780180训练样本集初始码书LBG算法Lloyd-Max量化器：给定输出电平数目下的最小MSE量化器对于熵编码量化器，熵约束量化器设计能够获得额外的增益。高

分辨率的均匀量化器达到给定熵的最小MSE。矢量量化：几个联合的信号样值的量化和编码。格子VQ：多维的均匀量化器LBG算法最后的矢量量化器一次迭代后的矢量量化器失真：60.17LBG算法优化过程能保证收敛，但可能收敛于局部极小值依赖

于初始码书的选取初始码书的选取随机选择：重复多次，取失真最小的结果分裂：从一个类开始，每次将失真最大/数量最多的类分裂成两个合并：从N个类开始，每次将两个失真最小的类合并空类的问题：去掉空类，并将失真最大/数量最多的类分裂成两个LBG用于图像压缩

每块大小为L=4×4，用K=16,64,256,1024个码字的码书对图像进行矢量量化码率：Sinan图像训练得到码书2logRKL原始图像LBG算法的缺陷传输码书（overhead）：K=1024,

overhead=2,为编码内容码率(0.625)的3倍用通用码书，无需传码书，但质量可能稍差收集代表性的训练集CodebookSizeBitsforaCodewordBits/PixelCompressionRatioOverheadinBits/

Pixel1640.2532:10.031256460.37521.33:10.12525680.316:10.51024100.62512.8:12.02logRKL:44,8,256256overheadKLBnSizeLBnSiz

eLBG用于图像压缩码字中缺少结构编码复杂性高：需要全搜索存储要求高，码书指数增长例：目标码率：R比特/样本每个矢量包含L个样本(如4×4像素一起编码，则L=16)码字索引：R

L比特码书中可能的码字有2RL个码字例：•R=0.25比特/样本，L=16个样本/矢量–每个码字索引需RL=4比特–码书中共有24=16个词条•R=2比特/样本，L=16个样本/矢量–每个码字索引需RL=32比特–码书中共有232=40亿个词条在高码率下，VQ不

太实用改进的矢量量化树结构（Tree-structured）矢量量化搜索快，但存储量大格型矢量量化LatticeVQ网格编码矢量量化（TrellisCodedVQ）树结构VQ在码书组织中引入结构，快速决

定哪个部分包含所需输出矢量（重构电平）通过搜索一系列小码书降低搜索复杂性，复杂性线性增长logK但需要更多存储（约两倍）：测试矢量(testvector)树结构VQ可以通过Linde等提出的分裂方法实现首先将所有训练集视为一个类，计算类中心（均值）作为测试矢量和输出水平

将一个类分裂成两个子类，子类中心为将原父中心的均值分别+/-一个扰动•LBG算法中也是采用类似分裂方法解决初值问题其他：剪枝码书减小码率减小但失真可能增大格型VQ在前面的讨论中，我们知道球形量化区域是最佳的（颗粒噪声最小）但球形填充（tile）要么

有重叠，要么有空洞需要找到某种高效的量化区域结构化码字，以近似球体并填满球体结构化：省存储/计算量小有规律格型Lattice球体：颗粒误差最小Lattice：令为L维线性独立的L维矢量，集合中为整数，则集合为一个lattice12,,.

..,Laaa1:Liiixxuaiu格型VQLattice量化器：将lattice点集的子集作为VQ的输出点最近邻LatticeVQ：Λ的基本量化区域：0附近的单元argmin,lQdxl:0axQx格型VQ举例：D

2lattice性质：对所有的lattice点，121,1,1,1aa01xx偶数菱形量化区域格型VQ举例：A2lattice:六边形量化区域：2D上最佳12131,0,,2

2aa格型VQ的性质不必存储码字比LBG算法更容易找到最近邻但是，Lattice量化器没有了LBG聚类的性质设计准则：最小化颗粒误差对2-DVQ，六边形lattice

是最佳的对Gaussian信源，熵编码的lattice量化器离D(R)边界有1.36dBTrellisCoded量化（TCQ）计算效率高的矢量量化中等计算复杂度理论优势：对任何平滑pdf，熵编码的TCQ能在任何码率下达到D(R)函数的

0.2dB以内（性能超过24维以下的最佳lattice量化）基于TrellisCodedModulation(TCM)TCQ在JPEG2000II中用到Trellis编码网格(trellis)是一个有限状态

机随时间的进化例：一个带有二进制I/O的4状态的有限状态机T0和t1为移位寄存器状态表示为t1t04个状态状态转换图u/z1z0Trellis编码在状态转换图中加入时间因素Trellis编码量化(TCQ)为了利用TCQ为了得到R比特/符号，首先建立(R+1

)比特的量化器：将所有重构电平分为4个子集：D0,D1,D2,D3每个子集有2R-1个码字，需要R-1比特•上例中R-1=1R=2,R+1=3Trellis编码量化(TCQ)将4个子集与网格的不同分

支关联网格的每个状态量化一个输入字符Di：如果选择Di分支，则当前输入字符将只会被一个子集Di量化R-1比特网格每个状态的输出：R比特B:0:选择上一状态的第一个分支1:选择上一状态的第二个分支R-1比特：被选择子集的用于编码当前字符最佳码字的索引1......RBxxx比特Tre

llis编码量化(TCQ)联合码书每个状态可用两个子集（两个分支）002234ADDADDTrellis编码量化(TCQ)目标：对每个样本尝试不同的量化器选择在网格中找到一条最佳路径

，使得总失真最小为什么TCQ更好？每个样本的最佳量化选择可以在编码序列样本后确定每个单独的选择可能不是最佳的，但联合选择可以达到最小失真每个状态两个子集2×2R-1=2R个可能的选择经过网格L个

状态的路径共有2LR种可能如果采用样本—样本失真，Viterbi算法可用于降低搜索复杂度1,,LiiidxydxyViterbi算法当两条路径并入一个状态时，可以抛弃失真较高的一条任何时候只需跟踪N条路径（N:状态的数目）通过在最后决策后反溯，可以

得到最后序列Trellis编码量化(TCQ)例：xi=-4.1,2.2,0.3,-2.5码书：-7,-5,-3,-1,1,,5,7R=2比特/样本失真：如果直接用D0和D2（R=2）码书：-7,

-3,1,5-4.1-3,d=1.12.21,d=1.20.31,d=0.7-2.5-3,d=0.5总失真为：3.501237,1,5,3,3,5,1,7DDDDxy如果直接用D

1和D3（R=2）码书：-5,-1,3,7-4.1-5,d=0.92.23,d=0.80.3-1,d=1.3-2.5-1,d=2总失真为：4.5Trellis编码量化(TCQ)例：xi=-4.1,2.2,0.3,-2.5码书：-7,-5

,-3,-1,1,,5,7R=2比特/样本失真：初始化：从S0开始，费用：(0,∞,∞,∞,)01237,1,5,3,3,5,1,7DDDDxyTrellis编码量化(TCQ)上述结果

不是最佳的，因为我们从状态0开始（当序列足够长时，其影响可以忽略）另一方案：从任一状态开始，但需将开始状态发送给解码器比标量量化器更灵活Trellis编码量化(TCQ)TCQ的存储要求N:状态数目L:输入符号的数目每个状态：•用D0,D1,D2,

D3执行4次标量量化存储要求与LN成正比•为了返溯，需存储网格的所有状态可以通过限制最大延迟为L(L>5logN足够了)，减少存储需求•只在缓冲区中保持最近L个样本•输出x(n-L)的决策•丢弃在当前状态与“不一致的”的路径–这些路径在返溯时不

会与最佳路径会合Trellis编码量化(TCQ)所有可能的2-D码字：2-D量化区域接近六边形！TCQ是一种低复杂度的VQ可以在R-D界的0.2dB内00022123-7,-7-7,11,-71

,1-7,-3-7,51,-31,5-3,-5-3,35,-55,3-3,-1-3,75,-15,7CDDDDDDDD小结Lloyd-Max量化器：给定输出电平数目下的最小MSE量化器对于熵编码量化器，熵约束量化器设计能够获得额外的增益。高分辨率的均匀量化器达到给

定熵的最小MSE。矢量量化：几个联合的信号样值的量化和编码。格子VQ：多维的均匀量化器网格编码VQ：是一种中等复杂度的VQ，可以在R-D界的0.2dB内。