音频采集 - 获取你的声音

这是所有技术的基础,如何高质量地捕获用户的声音。

基础 API: AudioRecord

这是 Android 最底层的音频采集 API，功能强大但使用相对复杂。

• 核心原理: 在一个独立的线程中，不断地从音频硬件读取 PCM (Pulse-Code Modulation) 数据流。
• 关键技术点:
  • 参数配置: 需要精确配置 AudioRecord 的参数，包括：
    • sampleRateInHz: 采样率，常见的有 44100Hz (CD音质)、48000Hz，必须与后续处理和播放的采样率保持一致。
    • channelConfig: 声道配置，如 CHANNEL_IN_MONO (单声道) 或 CHANNEL_IN_STEREO (立体声)，KTV 应用通常用单声道即可。
    • audioFormat: 音频格式，必须是 ENCODING_PCM_16BIT (16位)。
    • bufferSizeInBytes: 缓冲区大小，这个值不能太小，否则会导致数据丢失，可以通过 AudioRecord.getMinBufferSize() 计算得到一个推荐值。
  • 线程管理: 必须在单独的线程（如 Thread 或 AsyncTask）中调用 read() 方法，否则会阻塞 UI 线程。
  • 权限: 必须在 AndroidManifest.xml 中声明 RECORD_AUDIO 权限，并且在运行时动态请求。

高级封装: MediaRecorder

MediaRecorder 通常用于录制完整的音视频文件（如 .mp3, .m4a），而不是提供实时的 PCM 数据流，在需要实时音频处理的 KTV 应用中，AudioRecord 是更常用的选择。

现代 API: AudioCapture (Android 10+)

Android 10 引入了更现代的 AudioCapture API，它提供了更灵活的输入流管理，并与 MediaCodec 等组件更好地集成，对于新项目，可以考虑使用。

音频播放 - 播放伴奏与原唱

KTV App 需要同时播放背景音乐（伴奏）和用户自己的声音（原唱或回声）。

基础 API: AudioTrack

与 AudioRecord 对应，AudioTrack 用于将 PCM 数据流播放到扬声器。

• 核心原理: 将 PCM 数据写入 AudioTrack 的缓冲区，由系统负责播放。
• 关键技术点:
  • 模式选择:
    • MODE_STREAM (流模式): 适用于实时播放，我们不断地向它写入数据，就像水龙头流水一样，这是 KTV App 的标准模式。
    • MODE_STATIC (静态模式): 适用于播放短小的音频片段，如音效。
  • 参数配置: 与 AudioRecord 类似，需要配置 sampleRateInHz, channelConfig, audioFormat，播放和采集的这些参数必须完全一致，否则会产生声音变调、失真等问题。
  • 双缓冲技术: 为了避免播放卡顿，通常会使用两个缓冲区，一个在填充数据，另一个在播放，交替进行，形成“生产-消费”模型。

高级封装: MediaPlayer

MediaPlayer 是一个更高级的播放器，可以播放各种格式的文件（如 MP3, AAC, WAV），而不仅仅是 PCM，它内部会自动进行解码。

• 适用场景: 播放背景音乐（伴奏文件）、原唱歌曲。
• 关键技术点:
  • 异步加载: 使用 prepareAsync() 和 setOnPreparedListener() 来避免在 UI 线程上解码，防止 ANR。
  • 同步播放: 使用 setOnCompletionListener() 来监听播放结束事件。
  • 音量控制: setVolume() 方法可以调节音量。

现代 API: ExoPlayer

Google 推荐的媒体播放框架，功能强大、高度可定制。

• 优势:
  • 支持更广泛的媒体格式和协议（如 HLS, DASH）。
  • 极致的性能和流畅度。
  • 强大的扩展性,可以轻松实现字幕、多音轨切换等复杂功能。
  • 内置了 AudioSink，可以方便地获取 PCM 数据流，用于后续的音频处理。

音频处理 - KTV 的“魔法”所在

这是 KTV App 技术含量最高的部分，也是核心卖点。

混音 - 将伴奏和人声合成

这是最基本的功能,你需要将伴奏的 PCM 数据和麦克风采集的 PCM 数据混合在一起，然后通过 AudioTrack 播放。

• 实现原理: 非常简单，将两路 PCM 数据在对应的采样点上相加即可。 outputSample[i] = (accompanimentSample[i] + voiceSample[i]) / 2; 注意：直接相加可能会导致数据溢出（超过 16-bit 的范围），所以通常需要除以一个系数进行衰减。

混响 - 让你的声音更动听

混响是模拟声音在不同环境下反射的效果,是 KTV 效果的灵魂。

• 算法: 混响 本质上是一种 FIR (Finite Impulse Response) 或 IIR (Infinite Impulse Response) 滤波器，最经典且易于实现的是 FIR 滤波器。
• 核心概念 - 冲激响应: 你需要一段“干声”（你的原始声音）和一段“湿声”（加了混响后的声音）来训练一个模型，这个模型就是“冲激响应”文件（通常是 .wav 格式），它记录了声音在一个特定空间（如 KTV 包房、大厅、浴室）的反射特性。
• 实现流程:
  1. 加载 IR 文件。
  2. 将麦克风采集到的每一帧 PCM 数据，与 IR 文件进行 卷积运算。
  3. 卷积运算的结果就是带混响的声音。
• 挑战: 实时卷积运算非常消耗 CPU，为了性能，通常会使用 FFT (Fast Fourier Transform) 来优化卷积运算，或者使用现成的、高度优化的音频处理库。

变调 - 实现升调/降调

这是“全民 K 歌”等 App 的标志性功能。

• 算法: 变调技术比混响复杂得多，核心算法是 PSOLA (Pitch Synchronous Overlap-Add)。
• 原理: PSOLA 算法通过在不改变声音播放速度（时长）的情况下，微调每个基频周期的位置，来改变音高。
• 实现: 这是一个非常复杂的信号处理算法，强烈不建议自己从零实现，通常使用现成的库，如 SoundTouch 或 Tune。

均衡器 - 调节音色

EQ 允许用户调节不同频段的增益，来改变声音的听感。

• 原理: 使用一组带通滤波器，分别提取低、中、高等频段的声音，然后对每个频段的增益进行放大或衰减，最后再混合起来。
• 实现: 可以自己实现一组简单的 IIR 滤波器，或者使用现成的库。

降噪 - 去除环境噪音

• 原理: 如 谱减法，通过分析噪声的频谱特征，在播放时从信号中减去这部分噪声。
• 实现: 同样是复杂的信号处理，有现成的库可以使用。

实时处理架构 - 如何整合所有模块

由于音频处理是实时性要求极高的任务，一个合理的架构至关重要。

双线程模型 (生产者-消费者)

这是最经典、最稳定的架构。

• 生产者线程: 负责 AudioRecord 的数据采集，采集到一帧数据后，将其放入一个阻塞队列。
• 消费者线程: 负责所有的音频处理（混响、变调、EQ等），它从阻塞队列中取出数据，处理完毕后，将结果交给 AudioTrack 进行播放。
• 优点: 职责分离，逻辑清晰，生产者（采集）和处理速度不匹配时，队列可以起到缓冲作用，防止数据丢失或播放卡顿。

使用 AudioTrack 的 WRITE_BLOCKING 模式

Android 8.0 (API 26) 引入了 AudioTrack.WRITE_BLOCKING 模式，它允许 write() 方法在数据播放完之前一直阻塞，直到有空间写入新的数据，这可以极大地简化线程同步逻辑，让线程模型更可控。

使用 AudioRecord + AudioTrack 的 AudioTimestamp API

为了实现精准的 Lip-Sync（音画同步），可以使用 AudioTimestamp API 来获取音频播放的精确时间戳，并与视频播放进行同步。

推荐的第三方库

自己实现所有上述算法是不现实的,强烈推荐使用成熟的库：

• SoundTouch: 变调功能的黄金标准，C++库，有 Java 封装。
• TarsosDSP: 一个非常全面的 Java 音频处理库，包含了滤波器、音高检测、节拍检测、甚至一些基础的混响效果。
• oboe: Google 推荐的现代音频流 API，是 AudioRecord 和 AudioTrack 的替代品，提供更低的延迟和更好的性能，尤其适合游戏和实时音频应用。
• ExoPlayer: 如前所述，用于播放背景音乐，并可以方便地获取 PCM 数据流。
• FFmpeg: 一个强大的多媒体框架，如果你需要处理各种格式的音频文件，或者需要更底层的编解码能力，FFmpeg 是终极选择。

完整流程示例

1. 初始化:

   • 创建 MediaPlayer 加载并准备好伴奏音乐。
   • 创建 AudioRecord，配置好参数，并启动一个采集线程。
   • 创建 AudioTrack，配置好参数，设置为流模式。
   • 初始化音频处理库（如加载混响的 IR 文件）。

2. 运行时:

   • 采集线程 (AudioRecord): 循环读取 PCM 数据，放入一个 BlockingQueue。
   • 处理线程:
     • 从 BlockingQueue 取出伴奏数据（来自 MediaPlayer）和人声数据（来自 AudioRecord）。
     • 将人声数据送入混响、变调等处理模块。
     • 将处理后的“湿声”人声与“干声”伴奏进行混音。
     • 将混合后的 PCM 数据写入 AudioTrack 的缓冲区进行播放。

3. 结束:

   • 停止所有线程。
   • 释放 AudioRecord, AudioTrack, MediaPlayer 等资源。

开发一个 Android 唱歌类 App，技术核心在于高质量的实时音频流处理，你需要熟练掌握 AudioRecord 和 AudioTrack，理解 PCM 数据的本质，并能够设计一个稳定、低延迟的线程架构，对于复杂的音频效果（如混响、变调），强烈建议使用成熟的第三方库，而不是重复造轮子。

希望这份详细的技术梳理对你有帮助！