MiniCPM-o 4.5发布：端侧视觉、语音、全双工多模态实时流式大模型
[*] MiniCPM-o 4.5: 总参数量 9B，在视觉、语音及全双工多模态实时流式交互方面的表现接近 Gemini 2.5 Flash，是目前开源社区中功能最全面、性能最强的模型之一。全新的全双工多模态实时流能力意味着输出流（语音和文本）与实时输入流（视频和音频）互不阻塞。这使得 MiniCPM-o 4.5 能够在实时全模态对话中实现“边看、边听、边说”，并能进行如“主动提醒”等主动交互。优化后的语音模式支持更自然、更具表现力且更稳定的中英双语实时交互，并支持声音克隆。此外，它还进一步增强了 MiniCPM-V 原有的视觉能力，包括出色的 OCR 能力、低幻觉率、以及多语言支持等。为了让这种全双工多模态实时流体验在 PC 等端侧设备上普及，我们还同步推出了高性能的 llama.cpp-omni 推理框架以及 WebRTC Demo。https://cdn3.ldstatic.com/optimized/4X/c/6/b/c6baaeea7b00888ba48e72124e5c5470fe5d1267_2_690x358.png
https://cdn3.ldstatic.com/optimized/4X/7/f/8/7f88e9aaec117e6060fba4d02de5e3f7d37ccdc8_2_690x488.png
https://cdn3.ldstatic.com/optimized/4X/0/a/d/0ad3ca3fcbddd0de957ad66679393be7eb412e52_2_380x500.png
仓库：GitHub - OpenBMB/MiniCPM-o: MiniCPM-o 4.5: A Gemini 2.5 Flash Level MLLM for Vision, Speech, and Full-Duplex Mulitmodal Live Streaminig on Your Phone (https://github.com/OpenBMB/MiniCPM-o)
模型：openbmb/MiniCPM-o-4_5 · Hugging Face (https://huggingface.co/openbmb/MiniCPM-o-4_5)
专门研究端侧模型的一家机构，面壁小钢炮名不虚传~
页:
[1]