过去，由于带宽和处理能力的限制，数字信号处理更多用在简单的语音信号处理。随着技术的发展，人们可利用的通信带宽越来越宽，芯片处理能力更强，简单的语音已不能满足人们的需求，人们开始关注动态范围更广的音频处理以及视频处理，要求越来越多的视频应用。
这些应用的共同点是它们都要求视频和图像的处理，这些处理可能是图像质量的优化，如锐化和白平衡等，也可能是视频和图像的压缩/解压缩，如MPEG4，或者是不同压缩制式之间的转换，如H.263与MPEG4等。这些处理都要求主处理芯片有较强的图像视频处理功能，但由于所有这些运算所针对的目标市场并不相同，它们对处理器的要求也不一样。所以在对某种应用进行开发之前，必须了解该应用对处理芯片的要求，从而进行成功的器件选型。本文首先对这些应用进行分类，并提供以各种处理芯片为基础的系统方案。
主要视频应用及其分类
1. 视频局端设备
最常见的局端设备是位于有线电视局端的视频再复用器，它通常提供接入复用数字通道、插入本地内容(如广告等)以及输出客户定制内容。
这几项功能需要处理芯片完成视频码制转换、视频码率转换、音频码制转换、音频码率转换、前期/后期处理和数字节目插入。这些工作一方面由于在局端通道密度较高，所以要求芯片处理能力较强，但另一方面又由于编码技术在不断地发展，不断会有新的标准出现，因而要求处理芯片具有较强的可编程性和可扩展性，产品具有较好的延续性。对芯片外围接口的主要要求是高吞吐率。
2. 无线视频网关
无线视频网关是位于MSC内的一个局端交换系统，用于将任何制式的视频内容转成手机支持的格式，从而将这些内容在无线网络上发送。它对处理芯片的要求与视频局端设备相似，但是，由于无线网络对环境的依赖比较强，不同连接的信道质量会有所不同，要求网关针对信道质量，将视频内容转换到该信道所支持的码率上。相应地，对芯片的要求类似于局端设备，但性能要求更高。由于网关要与其它网络(如分组交换网)接口，要求芯片的外围接口支持如ATM或以太网等网络总线，。
3. 机顶盒
这里的机顶盒是指在用户端同步解码、处理和播放几条视频、音频和数据流的媒体集中播放器，有些机顶盒还支持对DVB或DVD其它MPEG数据流的编码功能。在这些机顶盒中，芯片处理任务比较简单，一般就是接受数据流然后解码或编码，但由于是进行流处理，并且多半是MPEG2质量的视频流，所以需要处理能力较强。
4. IP视频电话/视频会议
IP视频电话是将实时的多通道视频集成到现有的IP语音电话中，视频会议则在多点间实现视频电话会议。目前这两种应用多采用H.263或MPEG4，芯片要完成这两种制式的编解码，同时完成图像采集处理的任务，单芯片处理能力要求较强。
由于要进行视频采集，接口要求支持视频输入，要实现TCP/IP协议则要求有以太网接口的输出支持。
5. 数字视频监控系统
数字视频监控系统相对传统视频监控系统来说是一个显著的飞跃，它增加了更多的智能特性，例如可以进行移动报警，通过图像处理方法在监控区域发现移动物体就报警；数字化的视频档案更加便于管理，例如可以通过自动图像分析方法来找到目的片断，数字化信息通过网络更便于传输。
数字视频监控系统最主要的要求是可编程性，数字处理能力也是实现这些特点的保证。另外，视频输入和网络接口也不可或缺。
6. 数字摄录机/数码相机
这两个领域是消费类数字图像的典型应用。一般，前者强调移动图像的摄录，后者追求静止图像的高质量。如果处理芯片的可编程性足够强，这两者完全可以兼顾，从而可以开发出平衡这两方面需求的产品，既可以录像又可以拍出高质量的照片。如果从成本考虑，可以用一套图像处理方案开发不同的产品，减少开发的重复投资。
除了可编程性外，这两种应用要求芯片具有低功耗特性，此外还要求对移动存储的支持。
7. 个人数字视频播放器/点播机
这类设备都是完成视频解码，前者更强调便携性，而后者则强调丰富的节目源。在该应用中处理性能并不是第一位要考虑的因素，而整个系统的低能耗十分关键。另一方面，要求芯片的接口比较丰富以支持LCD显示屏、CFC或其它存储卡或硬盘接口。
上面这些视频应用总体上可以分为两大类：一类是高性能，要求多通道处理或多编码制式，或追求高图像质量，同时由于技术的不断发展，它又需要较强的可编程性支持未来的技术发展；另一类是便携应用，强调小型化、低功耗，并能支持多种移动存储接口以及USB、1394或其它高速总线。
针对应用选择合适的芯片
由于以上这些应用大致上可以分为高性能和便携式两类，因此应针对这些不同的应用选择不同的芯片来实现最佳性能。
在高性能视频应用中，通常数据运算量极大，如仅考虑这类图像运算中最基本的离散余弦转换运算(DCT)，对于单通道30帧的VGA视频，需要每秒大约6千万次的乘加运算，这还仅是其中非常小的一部分。例如，对于上文提到的视频局端设备，其设计挑战在于多路多码率以及多制式，因而要求片上内存要足够大以放下多路数据和各种译码器，同时还需要与控制主机相连。该芯片主频可以达到720MHz，有8兆位的片上内存和PCI接口。类似的应用还有无线媒体网关。
对于客户端设备的应用将有些差异，如IP视频网络电话，由于这类应用通常是单路的，因而不需要太大的片上内存，但它的接口却要求很多。例如，此类设备一般都是直接接视频输入输出，或从有线电视或摄像头到LCD，同时要求接以太网。这里，我们就需要一个内存够用，支持通用视频标准如BT656，还带有以太网接口的处理芯片。以TMS320M642为中心的IP视频电话结构，该芯片带三个视频接口，支持BT656、百兆以太网接口、多路音频串口和66MHz PCI，可支持四路D1图像30帧的MPEG2实时压缩。
相类似的高性能视频应用还有机顶盒、数字视频播放器/点播机和网络相机/监控系统，它们都可以DM642为中心加上各自所需的硬件，形成不同的应用。这也最大程度上发挥了开发投资的价值，一套方案上的经验可以为其它所有方案利用。
对于便携设备的视频应用，最典型的是数字摄录机/数码相机，除了共有的视频图像处理外，这类产品设计最大的考虑就是功耗。这些都是电池驱动的，因而能量消耗必须有所限制，必须选择一款低功耗的处理器芯片。以DM310基础的数码相机系统方案，该芯片可以实现D1图像(720×480)30帧每秒的实时MPEG4编解码。
本文小结：
实际上上面这些应用都有一些共同点，因而如何实现产品的差异化设计是很多开发商的一个隐忧，是否不同的客户用同一套芯片开发同一种应用会生产出同样的产品呢？实际上，由于DSP具有充分的可编程性，完全可以实现产品设计的差异化。同时，为了更好地实现差异化，那些标准件如各种码制的编解码器，也可以同第三方获得。利用市场现有的各种DSP完备成熟的开发环境，可以缩短开发周期，迅速占领市场。