Welcome to tyron's blog
常将有日思无日，莫把无时当有时-
Interleaved, planar, or semi-planar,都是什么意思
- 🎯 核心概念：YUV 三通道
- 1. ✅ **Planar **(平面格式)
- 2. ✅ **Interleaved **(交错格式)
- 3. ✅ **Semi-planar **(半平面格式)
- 📊 三种格式对比（以 YUV420 为例）
- 🔧 实际应用场景
- ✅ 总结
在图像处理、视频编码和内存存储中，Interleaved（交错）、Planar（平面）和 Semi-planar（半平面）是描述多通道数据（如 RGB、YUV）在内存中布局方式的三种常见格式。它们直接影响内存访问效率、硬件解码兼容性、图像处理性能。
下面以最常见的 YUV 色彩空间（视频常用）为例进行说明（RGB 原理类似）：
🎯 核心概念：YUV 三通道
- Y：亮度（Luma），人眼对亮度最敏感
- U、V：色度（Chroma），可压缩而不明显影响观感
- 常见采样格式：YUV420（U/V 分辨率是 Y 的 1/2）
1. ✅ **Planar **(平面格式)
定义：
所有 Y 像素连续存储，然后 所有 U 像素连续存储，最后 所有 V 像素连续存储。
内存布局（YUV420 示例，4×4 图像）：
内存地址 → [YYYY YYYY YYYY YYYY UU UU VV VV] ↑ ↑ ↑ ↑ ↑ ↑ Y平面 | | | U平面 V平面 全部Y数据 全部U数据 全部V数据特点：
- 优点：通道分离，便于单独处理 Y/U/V（如只增强亮度）。
- 缺点：访问一个像素需跨多个内存区域，缓存不友好。
- 常见格式：
I420（YUV420 Planar）YV12（Y, V, U 顺序，Planar）
📌 典型应用：FFmpeg、OpenCV（
cv::COLOR_YUV2BGR_I420）、部分摄像头原始输出。
2. ✅ **Interleaved **(交错格式)
定义：
Y、U、V 像素按像素或宏块交错存储。常见于 RGB，YUV 中较少（但有）。
RGB 交错示例（每个像素 R-G-B 连续）：
[R0 G0 B0] [R1 G1 B1] [R2 G2 B2] ...YUV 交错（如 YUYV）：
- 每 2 个 Y 共享 1 组 U、V（YUV422）：
[Y0 U0 Y1 V0] [Y2 U1 Y3 V1] ...
特点：
- 优点：单像素数据连续，缓存友好，适合逐像素处理。
- 缺点：Y/U/V 无法独立访问。
- 常见格式：
RGB24（R-G-B 交错）YUYV/UYVY（YUV422 Interleaved）
📌 典型应用：显示器帧缓冲、USB 摄像头（UVC）、DirectShow。
3. ✅ **Semi-planar **(半平面格式)
定义：
- Y 平面连续存储（同 Planar）
- U 和 V 交错存储（如 UVUVUV…）
内存布局（YUV420 Semi-planar）：
[YYYY YYYY YYYY YYYY UV UV UV UV] ↑ ↑ ↑ ↑ ↑ Y平面（全部Y） UV平面（U和V交替）特点：
- 优点：Y 单独存储（便于亮度处理），UV 合并（减少内存碎片），硬件友好。
- 缺点：U/V 仍需解交错。
- 常见格式：
NV12：Y + UV 交错（U 在前）NV21：Y + VU 交错（V 在前，Android camera 默认）
📌 典型应用：
- Android Camera 输出格式：
NV21 - Intel/AMD/NVIDIA GPU 视频解码器：默认输出
NV12 - H.264/H.265 解码：硬件解码器常输出 Semi-planar
📊 三种格式对比（以 YUV420 为例）
特性 Planar (I420) Semi-planar (NV12) Interleaved (YUYV) Y 存储 连续 连续 与 U/V 交错 U/V 存储 U 连续，V 连续 UV 交替（UVUV…） 与 Y 交错 内存块数 3 块（Y, U, V） 2 块（Y, UV） 1 块 硬件支持 一般 ⭐⭐⭐（GPU/编解码器首选） 中等 Android Camera ❌ ✅ NV21❌ OpenCV 支持 ✅ I420✅ NV12✅ YUYV
🔧 实际应用场景
1. Android App 开发
- 相机预览回调格式是
NV21（Semi-planar） - 若需用 OpenCV 处理，需转换：
// Java (Android) Mat yuvMat = new Mat(height + height/2, width, CvType.CV_8UC1); yuvMat.put(0, 0, nv21ByteArray); Mat bgrMat = new Mat(); Imgproc.cvtColor(yuvMat, bgrMat, Imgproc.COLOR_YUV2BGR_NV21);
2. 视频解码（FFmpeg + GPU）
- 硬件解码器（如 VAAPI、CUDA）输出
NV12 - 渲染到屏幕前可能需转为 RGB Interleaved
3. 嵌入式 DSP 图像处理
- 为节省带宽，ISP 输出 Planar YUV（Y 单独处理降噪，UV 降分辨率）
✅ 总结
格式 中文 存储方式 典型用途 Planar 平面格式 Y / U / V 分三个连续区域 软件处理、FFmpeg Semi-planar 半平面格式 Y 连续 + UV 交错 Android、GPU、硬件编解码 Interleaved 交错格式 每像素/宏块内 YUV 交错 显示器、RGB 图像、摄像头 💡 记住：
- Planar = 三通道分离
- Semi-planar = Y 分离，UV 合并交错
- Interleaved = 所有通道混合交错
理解这三种布局，对优化图像处理性能、调试视频 pipeline、跨平台数据转换至关重要。
-
Video Signal Process technology lists
- 1. Anti-Aliasing Filter
- 2. Black Level Compensation
- 3. Chroma & Luma Noise Filters(色度与亮度噪声滤波器)
- 4. Chromatic Aberration(色差)
- 5. Color Correction-blending/fog/anti-fog/inverse Gamma correction
- 6. Color Space Conversion
- 7. Brightness Control
- 8. Contrast Control
- 9. Defect Pixel Correction
- 10. Digital Gain Control
- 11. Edge Enhancement-Sharpening
- 12. Gamma Correction
- 13. Hue Saturation Control(色调饱和度控制)
- 14. White Balance
Video Signal Process technology lists：
1. Anti-Aliasing Filter
2. Black Level Compensation
3. Chroma & Luma Noise Filters(色度与亮度噪声滤波器)
4. Chromatic Aberration(色差)
5. Color Correction-blending/fog/anti-fog/inverse Gamma correction
6. Color Space Conversion
7. Brightness Control
8. Contrast Control
9. Defect Pixel Correction
10. Digital Gain Control
11. Edge Enhancement-Sharpening
12. Gamma Correction
13. Hue Saturation Control(色调饱和度控制)
14. White Balance
-
audio系统中，WAV和PCM的关系和区别
wav是一种无损的音频文件格式，WAV符合 PIFF(Resource Interchange File Format)规范。 所有的WAV都有一个文件头，这个文件头音频流的编码参数。 WAV对音频流的编码没有硬性规定，除了PCM之外，还有几乎所有支持ACM规范的编码都可以为WAV的音频流进行编码。 缺点：体积十分大！
PCM（Pulse Code Modulation—-脉码调制录音)。 所谓PCM录音就是将声音等模拟信号变成符号化的脉冲列，再予以记录。 PCM信号是由“1”、“0”等符号构成的数字信号，而未经过任何编码和压缩处理。 与模拟信号比，它不易受传送系统的杂波及失真的影响。动态范围宽，可得到音质相当好的影响效果。
简单来说：wav是一种无损的音频文件格式，pcm是没有压缩的编码方式。
WAV可以使用多种音频编码来压缩其音频流，不过我们常见的都是音频流被PCM编码处理的WAV，但这不表示WAV只能使用PCM编码，MP3编码同样也可以运用在WAV中。 基于PCM编码的WAV被作为了一种中介的格式，常常使用在其他编码的相互转换之中，例如MP3转换成WMA。
简单来说：pcm是无损wav文件中音频数据的一种编码方式，但wav还可以用其它方式编码。
wav文件格式
在文件的前44字节放置标头(header)，使播放器或编辑器能够简单掌握文件的基本信息，其内容以区块(chunk)为最小单位，每一区块长度为4字节。
将录音写成wav格式的文件
// 将录音文件保存为wav格式，这需要手动填充wav的文件头信息 private RandomAccessFile fopen(String path) throws IOException { File f = new File(path); if (f.exists()) { f.delete(); } else { File parentDir = f.getParentFile(); if (!parentDir.exists()) { parentDir.mkdirs(); } } RandomAccessFile file = new RandomAccessFile(f, "rw"); // 16K、16bit、单声道 /* RIFF header */ file.writeBytes("RIFF"); // riff id file.writeInt(0); // riff chunk size *PLACEHOLDER* file.writeBytes("WAVE"); // wave type /* fmt chunk */ file.writeBytes("fmt "); // fmt id file.writeInt(Integer.reverseBytes(16)); // fmt chunk size file.writeShort(Short.reverseBytes((short) 1)); // format: 1(PCM) file.writeShort(Short.reverseBytes((short) 1)); // channels: 1 file.writeInt(Integer.reverseBytes(16000)); // samples per second file.writeInt(Integer.reverseBytes((int) (1 * 16000 * 16 / 8))); // BPSecond file.writeShort(Short.reverseBytes((short) (1 * 16 / 8))); // BPSample file.writeShort(Short.reverseBytes((short) (1 * 16))); // bPSample /* data chunk */ file.writeBytes("data"); // data id file.writeInt(0); // data chunk size *PLACEHOLDER* Log.d(TAG, "wav path: " + path); return file; } private void fwrite(RandomAccessFile file, byte[] data, int offset, int size) throws IOException { file.write(data, offset, size); Log.d(TAG, "fwrite: " + size); } private void fclose(RandomAccessFile file) throws IOException { try { file.seek(4); // riff chunk size file.writeInt(Integer.reverseBytes((int) (file.length() - 8))); file.seek(40); // data chunk size file.writeInt(Integer.reverseBytes((int) (file.length() - 44))); Log.d(TAG, "wav size: " + file.length()); } finally { file.close(); } }wav转pcm
# 将文件头去掉，数据转成int型即可 import numpy as np def wav2pcm(wavfile, pcmfile, data_type=np.int16): f = open(wavfile, "rb") f.seek(0) f.read(44) data = np.fromfile(f, dtype= data_type) data.tofile(pcmfile)pcm转wav
# 利用wave库，添加通道信息、采样位数、采样率等信息作为文件头，pcm数据直接写入即可 import wave def pcm2wav(pcm_file, wav_file, channels=1, bits=16, sample_rate=16000): pcmf = open(pcm_file, 'rb') pcmdata = pcmf.read() pcmf.close() if bits % 8 != 0: raise ValueError("bits % 8 must == 0. now bits:" + str(bits)) wavfile = wave.open(wav_file, 'wb') wavfile.setnchannels(channels) wavfile.setsampwidth(bits // 8) wavfile.setframerate(sample_rate) wavfile.writeframes(pcmdata) wavfile.close()
-
audio系统中，AAC-LC是什么
AAC-LC 是一个音频编码标准，它是 Advanced Audio Coding (AAC) 的一个配置文件（Profile），全称为 AAC Low Complexity，意为 低复杂度AAC。
核心信息
- 标准： AAC-LC 是 ISO/IEC 13818-7（MPEG-2）和 ISO/IEC 14496-3（MPEG-4）标准的一部分，是一种有损数字音频压缩的编码格式。
- 定位： 它是 AAC 的基本配置文件，也是最常用和支持最广泛的版本。
- 性能：
- 高音质，低码率： AAC-LC 旨在取代 MP3 格式，在相同比特率下，它的音质通常优于 MP3。在较低的比特率下也能提供出色的音频质量。
- 低复杂度： “Low Complexity”（低复杂度）意味着它对解码设备的计算要求较低，因此广泛应用于移动设备、便携式音乐播放器和流媒体服务。
- 用途： 广泛用于音乐分发和数字广播，例如：
- Apple 的 iPod、iTunes、QuickTime 和 Apple Music。
- YouTube 流媒体服务。
- 各种手机、便携式音乐播放器和车载收音机。
- 数字电视广播（如日本的 ISDB）。
AAC 家族的其他成员
AAC 标准还有其他变体，它们在压缩效率、复杂度和延迟方面有所不同：
- HE-AAC (High Efficiency AAC，也称作 AAC+)：
- 它在 AAC-LC 的基础上结合了 SBR (Spectral Band Replication，频带复制) 技术，能够在极低的比特率下保持较好的音质，常用于移动应用和带宽有限的流媒体。
- HE-AAC v2：
- 在 HE-AAC 的基础上增加了 PS (Parametric Stereo，参数立体声) 技术，能以更低的比特率实现立体声效果。
- AAC-LD (Low Delay，低延迟)：
- 针对实时双向通信（如视频通话）设计，牺牲了部分压缩效率来换取极低的编解码延迟。
- AAC-Main (Main Profile)：
- AAC 最初的主配置文件，虽然压缩效率略高于 AAC-LC，但计算复杂度也更高，普及程度不如 AAC-LC。
简单来说，AAC-LC 是目前最主流和兼容性最好的 AAC 格式，是高品质音频压缩的基石。
-
audio系统中，为什么要进行SRC采样率变换
在音频系统中，进行采样率转换（SRC）的主要原因是为了确保不同来源的音频信号能够在统一的采样率下进行处理和输出。这一过程对于音频系统的兼容性、同步性和音质保持至关重要。 以下是对这一问题的详细分析:
-
统一采样率以实现兼容性 在音频系统中,不同设备或音频源可能使用不同的采样率。例如,CD音频通常使用44.1kHz的采样率,而某些设备可能使用48kHz的采样率。 如果这些音频信号直接混合或处理,可能会导致信号失真或无法正确播放。因此,通过采样率转换(SRC)将所有音频信号转换为统一的采样率(如48kHz),可以确保 所有音频信号在混合和处理过程中保持一致。
-
防止音调失真和保持同步 不同采样率的音频信号在混合时可能会导致音调失真或相位失真。通过采样率转换,可以确保所有音频信号在相同的采样率下进行处理,从而避免因采样率不一致导致的音质问题。此外,采样率转换还可以帮助系统保持同步,特别是在多设备或多音频源共存的环境中。
-
提高音频处理的灵活性和兼容性 在音频制作和播放过程中,不同设备和平台可能使用不同的采样率。例如,数字音频工作站(DAW)可能使用高采样率(如96kHz或192kHz)进行录制和编辑,但最终输出到CD或视频时可能需要转换为44.1kHz或48 kHz的采样率。采样率转换使得音频文件可以在不同设备和平台之间进行转换,从而提高音频处理的灵活性和兼容性。
-
减少混叠伪影和提高音质 在采样率转换过程中,适当的采样率转换算法可以减少混叠伪影和信号失真。例如,通过插值或降采样技术,可以保持音频信号的完整性,同时减少高频失真和噪声。高质量的采样率转换器(SRC)可以提供高保真度的音频输出,从而提高整体音质。
-
支持异步采样率转换 在某些情况下,音频系统可能需要在不同采样率之间进行异步转换。例如,异步采样率转换器(SRC)可以在不同采样率之间进行转换,而无需同步时钟信号,从而提高系统的灵活性和稳定性。这种异步转换方式可以减少抖动和时钟漂移的影响,从而提高音频信号的稳定性和可靠性。
-
硬件和软件实现的考虑 采样率转换可以在硬件或软件中实现。
硬件采样率转换器(SRC)通常具有更高的处理速度和更低的延迟,适合实时音频处理。
而软件采样率转换虽然灵活性高,但可能在实时处理中存在性能瓶颈。
因此,选择合适的采样率转换方法和算法对于音频系统的性能和音质至关重要。
结论
在音频系统中,进行采样率转换(SRC)的主要目的是为了确保不同来源的音频信号能够在统一的采样率下进行处理和输出,从而提高音频系统的兼容性、同步性和音质。
通过采样率转换,可以避免因采样率不一致导致的音质问题,并提高音频处理的灵活性和兼容性。
因此,采样率转换在现代音频系统中具有重要的应用价值。
-
-
srec/hex/bin等烧录文件格式完全解读（转）
1.SRecord
- IntelHex
pip install intelhex- bincopy
pip install bincopy- 其他的
BIN2MOT(), BINARY to Motorola S-Record file converter utility.(http://www.keil.com/download/docs/4.asp)
SRecordizer is a tool for viewing, editing, and error checking S19 format files.(http://srecordizer.codeplex.com/)
binex - a converter between Intel HEX and binary for Windows.(http://www.nlsw.nl/software/)
libgis, open source C library that converts Intel HEX, Motorola S-Record, Atmel Generic files.(https://github.com/vsergeev/libGIS)
kk_srec is a C library and program for reading the SREC format.(https://github.com/arkku/srec)