Qualcomm explique comment le Snapdragon 888 change le jeu de la caméra

Dans les smartphones, un FAI ou un processeur de signal d’image est responsable des tâches de traitement d’image de base, telles que la balance des blancs, l’autofocus et le HDR. Au fil des ans, ces processeurs sont devenus plus avancés et à part entière, acquérant la capacité de traiter beaucoup plus de données à la fois. C’est ce qui a conduit à bon nombre des progrès que nous avons constatés dans la qualité des appareils photo des smartphones ces dernières années.

L’année dernière, le FAI Spectra 470 du Snapdragon 865 de Qualcomm a franchi la barrière des deux gigapixels. Autrement dit, il avait la capacité de traiter deux milliards de pixels en une seconde, débloquant des fonctionnalités assez incroyables dans les appareils photo des smartphones.

Ne manquez pas: Les principales fonctionnalités de Qualcomm Snapdragon 888 que vous devez connaître

Le traitement de autant de données à la fois permettait, entre autres, de prendre en charge la capture d’image 200MP, l’enregistrement vidéo 8K et la segmentation sémantique pour une meilleure amélioration de la photo AI. Avec un bond de 40% de la vitesse globale, c’était une mise à niveau assez massive par rapport au Spectra 380 trouvé dans le Snapdragon 855.

Cette année, Qualcomm cherche à dépasser largement le FAI de l’année dernière, vantant des performances 35% plus rapides avec son nouveau processeur, le Qualcomm Snapdragon 888. Mais que fait Qualcomm avec 2,7 gigapixels de débit? Autorité Android a eu l’occasion de parler à Judd Heape, directeur principal de la gestion des produits pour la caméra chez Qualcomm pour le savoir.

Trois caméras à la fois

L’un des plus gros changements apportés au Snapdragon 888 de Qualcomm est l’ajout d’un troisième processeur de signal d’image. Depuis l’introduction du Spectra ISP, les précédents SoC Snapdragon en contenaient deux. Cela signifiait que les smartphones utilisant les puces de Qualcomm pouvaient enregistrer avec deux caméras en même temps, mais cela signifiait également que Qualcomm pouvait avoir un débit beaucoup plus élevé vers une seule caméra. Le passage de la société au traitement de quatre pixels à la fois dans le Snapdragon 865 est ce qui a permis un gain de performances massif de 40% dans son FAI de dernière génération. Cette année, cependant, Qualcomm adopte une approche plus simple: le volume.

Lire la suite: Guide SoC Snapdragon – Tous les processeurs de smartphone de Qualcomm expliqués

Avec le Snapdragon 888, la société ajoute un autre processeur de signal d’image à son SoC. Cela porte le total à trois pour la première fois dans une puce Qualcomm. Cela ouvre une multitude de nouvelles fonctionnalités, mais l’une des plus intéressantes est la prise en charge de l’enregistrement avec trois caméras à la fois. Étant donné que de nombreux smartphones phares ont désormais au moins trois caméras arrière, le troisième FAI permet aux utilisateurs d’enregistrer trois focales en même temps, jusqu’à une vidéo 4K 10 bits à 30 ips. Si vous enregistrez une scène et que vous souhaitez basculer entre trois focales différentes pendant le montage, le Snapdragon 888 prend en charge cela. Les équipementiers devront cependant l’implémenter dans leurs appareils.

L’utilisation de trois FAI permet également d’améliorer le zoom de l’appareil photo du smartphone. Le Snapdragon 865 de l’année dernière a permis un zoom fluide entre les capteurs, donnant l’impression que vous utilisiez un seul zoom téléobjectif et non trois objectifs séparés. Mais avec seulement deux FAI, il n’était pas si facile pour le fabricant de puces de savoir sur quel objectif vous alliez passer à un moment donné.

«Auparavant, nous devions deviner sur quel objectif vous alliez passer», explique Judd Heape, directeur principal de la gestion des produits pour la caméra chez Qualcomm. « Maintenant, nous n’avons plus à le faire. »

Bien que vous voyiez généralement un zoom fluide entre les objectifs, il peut souvent y avoir un délai lors du passage d’un FAI à un autre capteur si vous inversez les focales de manière inattendue. Avec trois FAI, Qualcomm peut activer les trois capteurs à la fois, en supposant que votre smartphone ne dispose que de trois caméras arrière.

Capture et lecture ultra-rapides

Alors que les appareils exécutant le Snapdragon 888 peuvent capturer trois flux vidéo HDR 4k 10 bits à 30 images par seconde grâce à ce troisième FAI, Qualcomm a envisagé ce qui se passerait s’il canalisait tout ce débit en un seul endroit. Après tout, de nombreux smartphones modernes ont des écrans à 90 Hz, 120 Hz et même 144 Hz. Ne devriez-vous pas pouvoir enregistrer des vidéos au même rythme?

Avec trois FAI Spectra 670 dans le Snapdragon 888, la puce peut atteindre un débit de 2,7 Gpix / s (gigapixels par seconde). Avec autant de données, Qualcomm peut capturer et lire un seul flux vidéo à 4K 120fps. Cela signifie que si vous avez un smartphone avec un écran 120 Hz, vous serez en mesure de capturer et de visualiser la vidéo à la fréquence d’images de votre écran. Si vous pensiez que la vidéo à 60 ips était fluide, c’est la prochaine étape.

Bien sûr, tout comme la vidéo HDR 10 et Dolby HDR, l’appareil sur lequel vous regardez la vidéo et la plate-forme de visualisation doivent prendre en charge la lecture à 120 ips. Actuellement, YouTube ne prend en charge que la lecture de vidéo 4K jusqu’à 60 ips, par exemple. Si vous partagez directement avec un autre appareil, cet appareil devra également avoir un écran 120 Hz pour voir la vidéo comme elle a été capturée. Heureusement, le format le plus populaire, les appareils et les services de distribution les plus probables le prendront en charge.

Vidéo HDR computationnelle

Alors que les appareils photo des smartphones peuvent désormais produire des photos avec une plage dynamique étonnante grâce au traitement HDR, la vidéo des smartphones n’a généralement pas bénéficié des mêmes améliorations. En fait, c’est une grande raison pour laquelle l’enregistrement vidéo du Google Pixel 5 n’est pas aussi bon que ses capacités photo. Alors que la photographie informatique a connu un développement rapide au cours des dernières années, la vidéo est généralement restée une réflexion après coup.

Maintenant, Qualcomm espère changer cela avec un enregistrement vidéo HDR échelonné. Tout d’abord, je dois noter que le HDR échelonné est très différent de la vidéo HDR 10 et Dolby HDR. Bien qu’il s’agisse de normes définissant la luminosité d’un écran et la quantité de détails de couleur pouvant être capturés dans les zones de surbrillance et d’ombre, la vidéo HDR échelonnée vise à atteindre le même objectif que les photos HDR. Il utilise un traitement multi-exposition pour conserver autant de détails de surbrillance et d’ombre que possible.

La vidéo HDR échelonnée est un énorme bond en avant.

La vidéo HDR échelonnée capture plusieurs expositions pour chaque image, chacune à une vitesse d’obturation différente. Pour cette raison, le capteur peut conserver les détails dans les zones de surbrillance et d’ombre, puis fusionner les expositions pour obtenir un flux vidéo plus équilibré. Heape me dit que le Snapdragon 888 peut théoriquement le faire à 60 ips, capturant 120 images en une seconde. Cependant, il choisit de recommander l’enregistrement HDR de calcul 30 ips à la plupart des OEM pour le moment.

Actuellement, le Snapdragon 888 fusionnera deux expositions par image, mais Heape n’a pas exclu trois expositions ou plus par image dans les futurs modèles Snapdragon pour une plage dynamique encore meilleure.

«Nous pourrions certainement voir trois expositions ou plus par image à l’avenir», déclare Heape. « Ce n’est certainement pas hors de question. »

Images de 84 MP sans décalage d’obturation

Sur les smartphones, capturer une vidéo revient presque à afficher un flux constant de la caméra vers votre écran. La seule différence est de stocker ces images. Même dans ce cas, la plupart des smartphones stockent encore temporairement des images dans la RAM pour capturer les moments avant, pendant et après avoir appuyé sur le déclencheur. C’est la technologie qui permet des choses comme les photos HDR, les photos en direct, etc.

L’année dernière, le Qualcomm Snapdragon 865 a débloqué la possibilité d’afficher et de capturer des images 64MP sans décalage d’obturation. Cela signifiait qu’un smartphone exécutant la puce était capable d’afficher un flux d’images de 64 MP à 30 ips et de n’avoir aucun décalage ni aucune panne entre le fait d’appuyer sur l’obturateur et le stockage de l’image en mémoire. Maintenant, vous vous demandez probablement: «Attendez une minute, s’il ne prenait en charge que les images 64MP, comment des téléphones comme le Samsung Galaxy Note 20 Ultra ont-ils capturé des photos 108MP?»

Voici ce que Heape avait à dire:

Pour les téléphones exécutant le Snapdragon 865, les images de 108 MP ont été prévisualisées à une résolution 1/4. Lorsque l’utilisateur appuyait sur le bouton de l’obturateur, le capteur passait en mode 108 MP pour une image, vidait cette image en mémoire et reprenait l’affichage de la scène à une résolution de 1/4. Pour cette raison, Qualcomm ne considère pas les images 108MP comme ayant un décalage d’obturation nul.

«Il n’y a pas de capteur d’image, d’interface MIPI PHY ou de FAI qui puisse vraiment fonctionner à 108 MP à 30 ips (3,2 Gpix / s) en mode ZSL aujourd’hui», a poursuivi Heape. « Mais n’excluez pas cela pour l’avenir. »

Cela dit, l’augmentation de vitesse de 35% dans le fournisseur de services Internet Snapdragon 888 a déverrouillé des images de 84 MP sans décalage d’obturation. Cela signifie que les utilisateurs verront l’image en pleine résolution avant d’appuyer sur le bouton de l’obturateur, jusqu’à 84 MP. Bien que le Snapdragon 888 n’ait pas tout à fait atteint le quota de 3,2 Gpix / s dont il a besoin pour afficher des images de 108 MP en pleine résolution, les améliorations apportées au cours des deux dernières générations font que les images ZSL de 108 MP semblent prometteuses pour un avenir proche.

Autofocus plus intelligent

Dans le Snapdragon 888, Qualcomm a entrepris d’améliorer ce qu’il appelle «les trois A». Ce sont l’exposition automatique, la balance des blancs automatique et la mise au point automatique. Pour ce faire, la société a utilisé l’apprentissage automatique sur un énorme ensemble d’images pour former le Snapdragon 888 à ce à quoi une image devrait ressembler dans une circonstance donnée. Pourtant, dans le cas de l’autofocus, Qualcomm est allé encore plus loin. Il a formé la puce en utilisant de vraies personnes.

Nous avons utilisé l’intelligence artificielle et l’apprentissage automatique pour entraîner l’exposition automatique, la balance des blancs et la mise au point automatique », explique Heape. « Mais dans le cas de l’autofocus, nous avons utilisé de vraies personnes. »

Voir également: Les meilleurs téléphones avec appareil photo Android que vous pouvez obtenir

Qualcomm a utilisé des casques VR avec technologie de suivi oculaire pour suivre où un humain regardait lorsqu’il était présenté avec une image donnée. Même si un objet est au premier plan, cela ne veut pas dire que c’est le sujet de la photo. Les humains sont assez bons pour distinguer le vrai sujet dans une scène donnée, donc entraîner la puce en utilisant les mouvements oculaires des gens permet au Snapdragon 888 de se concentrer sur le vrai sujet avec une précision beaucoup plus élevée. Qualcomm affirme avoir utilisé des centaines de sujets et des milliers d’images pour créer cet ensemble de données. Nous espérons que cela devrait encore s’améliorer dans les futurs modèles Snapdragon.

Une meilleure mise au point automatique, une réduction du bruit multi-images et le moteur HDR de Qualcomm permettent également aux capteurs de faire quelque chose que les smartphones n’ont jamais fait auparavant – mise au point à seulement 0,1 lux de luminosité. Alors que les appareils précédents seraient confus et ne pourraient pas fonctionner efficacement à ce niveau extrême d’obscurité, Qualcomm est convaincu que sa nouvelle architecture à faible luminosité peut y parvenir. Cela pourrait être énorme pour la réalisation de films et donner aux créateurs une plus grande portée lorsqu’ils essaient de filmer dans des scénarios de faible luminosité.

Il y a encore plus d’améliorations de la caméra pour les appareils exécutant le Snapdragon 888. Cependant, beaucoup de ces changements ont à voir avec d’autres composants comme le moteur Hexagon AI. Un troisième FAI à lui seul a permis à Qualcomm de faire un bond en avant dans les capacités de traitement du Snapdragon 888, et nous espérons que nous verrons des améliorations similaires dans les futures générations de Snapdragon.