Google 发布 LiteRT.js 用于直接在网页浏览器中运行 AI

星***

developers.googleblog.com (https://developers.googleblog.com/litertjs-googles-high-performance-web-ai-inference/)

LiteRT.js, Google's high performance Web AI Inference- Google Developers Blog (https://developers.googleblog.com/litertjs-googles-high-performance-web-ai-inference/)
Meet LiteRT.js: Google’s edge AI runtime for the web. Run ML models directly in the browser with high-performance WebGPU, WebNN, and WebAssembly.

[!quote]+
我们很高兴宣布LiteRT.js (https://developers.google.com/edge/litert/web)，一个基于 LiteRT 的 JavaScript 绑定，用于直接在网页浏览器中运行 AI。通过将可信的设备推理库LiteRT (https://ai.google.dev/edge/litert)带到网络上，网页开发者现在可以完全本地运行最大性能的机器学习和人工智能模型。这意味着增强用户隐私、零服务器成本以及超低延迟，实现实时体验。对于已有.tflite模型的开发者来说，LiteRT.js使得部署到移动端和桌面浏览器比以往任何时候都更顺畅，是执行.tflite模型TensorFlow.js的强大进化。
之前像TensorFlow.js这样的网络AI解决方案依赖性能较低的基于JavaScript的内核，而我们现在通过WebAssembly直接向网页开发者提供所有优化的原生跨平台运行时。LiteRT.js 通过直接在浏览器中运行 .tflite 模型，利用 LiteRT 的先进硬件加速技术，包括用于 CPU 的 XNNPACK (https://github.com/google/XNNPACK)、用于 GPU 的 ML Drift (https://developers.googleblog.com/litert-maximum-performance-simplified/#:~:text=MLDrift%3A%20Best%20GPU%20Acceleration%20Yet)，以及即将推出的 NPU 平台 WebNN 来解锁令人印象深刻的性能。

Google for Developers (https://developers.google.com/edge/litert/web)

LiteRT for Web with LiteRT.js | Google AI Edge | Google for Developers (https://developers.google.com/edge/litert/web)

YeXing***

训练营结业后才发现，咱们得资源站信息太给力了，很前沿啊！

ShenSi***

看似不可能或宏伟的目标其实非常实际，因为它们立即筛选出有效与无效的做法，明确了最有效的路径。