Avec ControlNet, Qualcomm veut démocratiser l'IA générative directement dans les smartphones

Champion des processeurs pour smartphones, le constructeur américain Qualcomm a profité de la CVPR pour faire la démonstration  de ControlNet, un nouveau modèle de langage-vision (LVM) image à image de 1,5 milliard de paramètres, .. fonctionnant entièrement sur un smartphone Android.

Dans cette démo, les images d'IA sont générées sur l'appareil mobile en moins de 12 secondes sans nécessiter d'accès au cloud, ce qui permet une expérience utilisateur interactive efficace, agréable, fiable et privée.

En outre, Qualcomm profite de cette conférence pour présenter un certain nombre de nouvelles démonstrations technologiques mettant en évidence leurs recherches en matière d'IA générative, de vision par ordinateur, de XR et de véhicules autonomes :
- La démo ControlNet la plus rapide au monde fonctionnant sur un téléphone [démo ].
- Coaching physique avec un LLM basé sur la vision en temps réel [démo ]
- Premier codage vidéo neuronal 1080p au monde sur un téléphone [démo ]
- Reconstruction 3D pour XR [[démo]]url:https://services.hosting.augure.com/Response/cDGy3/%7B9d68ab0d-1371-476b-8755-0979290ed3a0%7D
- Vision par ordinateur pour les caméras intelligentes [démo ]
- Technologie de surveillance du conducteur pour une sécurité accrue [démo ]
- Avatars faciaux pour XR [démo ]

L'IA générative pourrait ainsi fonctionner en partie dans des cloud de proximité (edge computing) mais également sur les milliards de smartphones disposant de suffisamment de puissance de calcul.