乐鑫科技推出 ESP-RTC (Real-Time Communication) 音视频通信方案,能够实现稳定流畅、超低延时的语音和视频实时通信。
ESP-RTC 以乐鑫 ESP32-S3-Korvo-2 多媒体开发板为核心。ESP32-S3-Korvo-2 搭载 ESP32-S3 AI SoC,拥有双麦克风阵列,支持近/远场语音唤醒和语音识别。它还集成了摄像头、Micro SD 卡、LCD 等外设,支持基于 MJPEG 视频流的处理,为用户构建低成本、低功耗、可联网的音视频产品提供了理想的开发原型。
![Image](https://pic4.zhimg.com/80/v2-795efa19dace25ed556c66f19ae0cc43_1440w.jpg)
![Image](https://pic4.zhimg.com/80/v2-66bb13481032a6a2550671d00315e6a7_1440w.jpg)
ESP-RTC 方案基于乐鑫自研的 SIP(Session Initialization Protocol,会话初始协议)协议栈,实现了实时的音视频通信。协议栈包含传输层、事务层和会话层,其信令交互模块支持 UDP、TCP 和 TLS 三种方式,媒体传输模块支持 RTP (UDP)、RTCP、SRTP、TURN 等 NAT 透传协议。值得一提的是,ESP-RTC 方案还在传输模块中增加了弱网对抗算法,如 Jitter Buffer 和 PLC,有效解决了丢包、抖动、拥塞、延时等问题,能够充分保证音视频通信的流畅性与实时性。
ESP-RTC 方案也支持 RTSP(Real Time Streaming Protocol,实时流协议)协议栈,其媒体传输模块同时支持 RTP/UDP 和 RTP over TCP。ESP-RTC 方案既可以作为 RTSP 服务器,支持使用 VLC/FFMPEG/PotPlayer/KmPlayer 等播放器进行点播;也可以作为 RTSP 客户端,支持对 EasyDarwin 等开源服务器进行直播推流和拉流播放。
ESP-RTC 基于乐鑫自研的音频 3A 算法 (AEC 声学回声消除、ANS 背景噪声抑制、AGC 音频自动增益),降低了通话中的噪音和回声,使语音对讲保持高质量稳定。它还采用乐鑫芯片级编解码算法,为用户提供了清晰画质的视频通话体验。结合乐鑫 AI SoC ESP32-S3,ESP-RTC 可借助其出色的 AI 运算能力,实现高性能语音唤醒与识别、图像识别等应用,广泛适用于智能音箱、可视对讲门铃、智能家居控制面板、宠物监控、车载行车记录仪、儿童玩具等场景。
ESP-RTC 方案支持 FreeSWITCH、FreePBX 等开源服务器,也可接入成熟的 SFU 云端服务器,实现多人同屏音视频通话。用户借助乐鑫开源物联网开发框架 ESP-IDF 和音频开发框架 ESP-ADF,即可快速搭建音视频通信相关应用。
如果您想了解更多关于乐鑫 ESP-RTC 实时音视频通信方案的信息,或寻求商业项目合作,请联系我们的客户支持团队。您也可以前往乐鑫官⽅淘宝店铺购买 ESP32-S3-Korvo-2 开发板,构建自己的音视频通话应用。