Looking Glass portrait:
mes essais avec un afficheur autostéréoscopique grand public


J'ai acheté ce petit afficheur autostéréoscopique  de 16x12cm, en occasion (250€) en juin 2023.
(voir https://lookingglassfactory.com/looking-glass-portrait )
Il est sorti en 2021, en suivant des modèles de la mème firme  pour les usages professionnels bien plus grands et plus chers (32" 3000$ ou 65" 15000$) Il existait aussi un kit intégrant avec ce cadre,  la caméra 3D Microsoft Azure Kinect et d’autres équipements pour réaliser des vidéos en relief. (un objectif principal et un 2e objectif destiné au calcul de la carte de profondeur)
Il est basé sur le principe des écrans lenticulaires. Il nécessite de nombreux points de vue ( jusqu'à 100 points de vue, mais 45 semblent largement suffire) avec un cone de vision de 58°.
La firme le qualifie d'"holographique", mais cela prète à confusion avec les vrais hologrammes mème si c'est plus de relief que le simple stéréoscopique (2 vues) Je proposerais volontiers pour ce type d'appareil, affichage polyscopique, mais l'usage du grand public semble valider la bascule réductrice du sens de holographique. (c'est plus vendeur et tendance de parler d'hologrammes! que de relief lenticulaire.)


photo publicitaire du kit avec camera 3D Microsoft Azure Kinect

Comme dans le domaine du cinéma, ou il y a les productions pour les salles d'un coté  et accessoirement d'un autre coté, les films amateurs, ces écrans peuvent rentrer dans une économie de vente/consommation autour du smartphone et d'internet , ou peuvent servir, pour des acquéreurs non professionnels mais actifs, à des démarche de création ou d'illustration .

A- Usage grand public avec des images extérieures
Le format est vertical: 4/3 (et profondeur de champ de 2! ). La définition est correcte avec 1536 × 2048 pixels demandés. C'est bien mieux que d'autres écrans autostéréoscopiques bon marché que j'ai eu en main il y a quelques années. Mais malgré 20 cm de diagonale, l'image est petite!
Deux fonctionements existent: autonome après chargement en mémoire, ou comme 2e écran externe holographique avec un ordinateur relié.
Ces deux fonctionnements sont équivalent à l'affichage. C'est  bons sur les démos proposées. Le relief est bien présent et, sur un portrait, en déplaçant la tète, on peut voir en relief de l'oreille gauche à l'oreille droite!
J'ai vu les 28 fichiers en mémoire à l'achat. On les trouve en ligne avec une demi douzaine de plus.
C'est principalement les démos https://docs.lookingglassfactory.com/getting-started/portrait/demo-holograms et le site indiqué par Looking glass: https://blocks.glass/

B- Création d'images "holographiques" personnelles
Mon objectif est de créer des images multipoints de vue pour cet écran. La méthode la plus performante passe par des logiciels de modèlisation 3D. Mais je préfère les images de la réalité.
Il existe ensuite une possibilité de partir d'un couple stéréoscopique et de calculer une carte de profondeur utilisée pour créer les multipoints de vue.  C'est possible avec le logiciel stéréo photo maker (SPM) Celui-ci  permet également  d'exporter une série d'images pour lenticulaire.
Mais la réalisation in situ des points de vue multiples est à privillégier à mon avis. Cependant, elle empèche la prise de vue de sujets mobiles...

1) la découverte des logiciels
Il m'a fallu quelque jours  pour explorer les informations générales sur le site du fabriquant:
https://docs.lookingglassfactory.com/keyconcepts/camera indique un angle de 35° pour un rendement optimal. Préconise la prise de vue en ligne plutot qu'en rotation.
https://docs.lookingglassfactory.com/keyconcepts/quilts recommandé pour Looking Glass Portrait: 8 columns by 6 rows, 3360 by 3360
https://docs.lookingglassfactory.com/keyconcepts/capturing-a-lightfield un "lightfield " est une série d'image . Cette page donne une règle de prise de vue:
déplacement de l'ensemble de la série = distance au sujet .1,1 pour un objectif de 39mm/58° voir pour 105mm 23° déplacement = distance.0,4 distance à 1/1 annoncée 29cm donc déplacement = 29x0.4=11,6cm Cela me semble beaucoup pour un champ de 24mm. Ce ne doit pas être applicable en proxi.

Je suis réticent aux liens avec les firmes, je travaille en général sur ordinateur non connecté. Je télécharge sur fixe connecté puis installe sur l'ordinateur portable dédié au cadre.

a) "Looking glass studio" 1.5.1 est le  logiciel proposé gratuitement par le constructeur actuellement.
Il propose 5 différentes façons d'importer des images pour cet écran:

- image + carte de profondeur ( liste des smartphones supportant ce mode selon la firme Looking Glass:
iPhone 12, iPhone 12 mini, iPhone 12 Pro, iPhone 12 Pro Max, iPhone SE (2nd generation), iPhone 11, iPhone 11 Pro, iPhone 11 Pro Max, iPhone XR, iPhone XS, iPhone XS Max, iPhone X, iPhone 8 Plus, and iPhone 7 Plus. D'autres Android phones produisent aussi des cartes de profondeur avec les photos.) Je n'ai pas testé.

-Rgb-D images
Ce sont en fait des images en 2 parties avec un coté couleur et un coté carte de profondeur
Mes essais avec des cartes de profondeur créées par SPM ne sont pas encore très concluants.

- assemblage d'une série d'imagettes dans une image panneau (= quilt)
Manuellement, à l'aide de l'outil d'affichage et de transformation d'image Irfanview, j'ai traité les 20 images d'un portrait  lenticulaire de moi réalisé par Christian Gimel à Gaiac en juillet 2022.
Cela fonctionne très bien. Pour un affichage rapide, j'ai réduit les images, mais la définition reste suffisante.
Il reste le travail de création du fichier, un peu fastidieux; un logiciel ne pourrait il pas l'automatiser? Ce format réduit semble aussi  plutot pour la vidéo.

- importation d'une série d'images (= lightfield)
Ce mode serait plus simple car le logiciel LGS  fait l'assemblage. Il permet d'utiliser les séries d'images externes de tout format. Mais pour l'instant, je ne comprend pas bien pourquoi la sortie est un mp4 pour des images fixes et l'affichage me semble moins bon qu'à partir d'un quilt d'images réduites. Néanmoins ce format permet un zoom et un déplacement dans les images, en fonction de la définition de départ.

- fichiers de la firme, .Hop (Holographic Object Package)
Ce sont en fait des zip avec une image ou une vidéo, et un fichier de configuration
Des sources sont à trouver/échanger sur le net...

image avec carte de profondeur
Rgb-D image (image et carte de profondeur) cliché Pierre Meindre

"quilt" 5x4 à partir des fichiers d'un tirage lenticulaire
(prise de vues de Christian Gimel)


Pour Looking Glas Studio, l'exploitation d'images stéréo pour produire une carte de profondeur comme avec SPM, ne me semble pas la meilleure voie.
Mais peut être que des smartphones produisant des cartes de profondeur assez fidèles seront à l'avenir les entrées les plus simples pour ce genre d'afficheur.
J'aimerais  produire des images type quillt ou light field, mais cela reste à automatiser (mise en panneau) et à améliorer en terme de relief.

b) Un autre logiciel est proposé pour importer et travailler des séries d'images haute définition "Light field photo app". Il n'est plus supporté. J'utilise la dernière version 1.2.0 de juillet 2020. Il correspond semble t il au premier modèle d'écran à cadre horizontal. Il fonctionne en recadrage malgré l'inadaptation du cadre de sélection paysage pour cet écran au format portrait.  Il permet aussi le positionnement du point ainsi que l'exportation en quilt.

Au début, le quilt a été ma meilleure porte d'entrée, mais je le trouve consommateur du temps pour son montage manuel. Il semble que ffmpeg permette l'automatisation... Mais si j'arrive à bien utiliser Light field studio, ce sera plus efficace.

2) mes essais d'usages personnels:
a) Prises de vues polyscopiques: J'ai fait des essais macro, à 2,5x au laowa avec un pas de 2/100e de mm qui était trop faible... 2e essai au 105 à 1/1 50 images pas de 0,25mm encore trop faible. Pour le 3e essai à 1/1, j'ai fait sur un cristal de pyrite une vingtaine d'images espacées de 0,5mm donc une dizaine de mm de translation au total. En voici 6 réduites:

Le décalage est un peu fort cette fois , mais c'est accepté par le logiciel LFPA qui réaligne et permet un recadrage, puis exporte un quilt.
Voila un embryon de méthode de production d'image assez efficace.

Curieusement, le quilt produit par le logiciel LFPA de Looking glass a des imagettes anamorphosées, aplaties, alors que le format de recadrage est en portrait 3/4.
D'autre part, les colonnes sont un peu inclinées. C'est curieux! mais vu dans une vidéo d'un photographe d'images lenticulaires, Michael Brown qui explique qu'il y a une raison constructeur....

En effet, cela doit être liée à la structure de l'écran lenticulaire avec des microlentilles en rangées inclinées.
Cela apparait sur une photo rapprochée de l'écran! (2e essai sur fleur de lys martagon)

Est ce pour limiter des effets de moiré?


autres essais de prise de vue à faire... comparer prise linéaire et rotation... chercher encore le bon choix de pas/distance de travelling...

b) Création de séries polyscopiques à partir de séries focales pour zédification (= focus stacking):
La zédification (= focus stacking) est le procédé qui permet de produire des images à profondeur de champ étendue (=zetagraphies) par fusion des zones nettes de séries d'images à mise au point étagée. Les logiciels de zédification, comme par exemple  Zerene stacker, en plus de produire des zétagraphies , peuvent créer des points de vues artificiels décalés latéralement. Je l'ai fait en demandant 20 images espacées entre -2 et +2% de décalage horizontal. Puis en les recadrant en portrait, et en en faisant un quilt au format Looking Glass, j'ai pu obtenir des affichages avec du relief.
4e image calculée

moins 1% de déviation horizontale
14e image calculée

plus 1% de déviation horizontale




gif animé
des 20 points de vue décalés artificiels
produits par zerene  stackerdécalages pv artificiels Zerene


quilt issu de 20 images produites par Zerene stacker
avec le paramètre de -2 à + 2%

myxomycète Hemitrichia serpula
Cette possibilité des logiciels de zédification est exploitée en général pour des modèles animés en fichier vidéo ou .gif, mais l'affichage sur Looking glass permet aussi de percevoir le relief calculé.

3) création de listes personnelles pour l'affichage autonome
L'affichage autonome de fait que boucler sur une liste préchargée. C'est dommage qu'il soit si rustique. Un choix par bouton entre plusieurs listes serait souhaitable. D'autre part, j'aimerais un transfert de fichiers vers le cadre plus simple et plus explicite. Sur ce point, un transfert simple via cable USB de fichiers à un standart défini me semblerait plus pratique, mais je comprend que le constructeur veuille controller les transferts via un ordinateur dédié à l'écran et via le web. Cependant,  je préfère des appareils non controllés via le web et pouvant fonctionner avec plusieurs ordinateurs différents...

Je souhaitais mettre mes propres listes après création de mes images et avoir plusieurs listes, par exemple, liste du consructeur et liste de créations personnelles, portraits, proxi...
J'ai mis un certain temps à modifier la liste tournant en mode autonome. Je craignais de perdre les fichiers en place d'exemples constructeur que j'ai sauvegardé par précaution.
La procédure officielle de transfert des images passe par Looking Glass Studio. Elle est très longue (surtout pour les vidéos ) et efface les contenus précédants. Il y a parfois des bugs de format d'affichage sur certains passages d'une image à l'autre.

En explorant le contenu de la mémoire du cadre, on découvre des fichier playlist.m3u et playlist.json avec la liste des fichiers joués dans l'écran.
Leur modification avec un éditeur de texte dans la mémoire du cadre ne m'a pas permis de changer les fichiers joués.
Par contre, dans l'ordinateur maitre, le répertoire documents/Holoplaystudio contient les fichiers produits avec LGS et un fichier playlist.json qui correspond à ceux la. Ce fichier playlist.json du répertoire documents de l'ordinateur maitre, controle  la liste des fichiers qui s'affichent dans la fenètre de LGS.

Je procède ainsi pour créer plusieurs listes: dans LGS, je modifie la liste des fichiers pour avoir une sélection qui convient. Je sauvegarde alors le contenu du répertoire documents/Holoplaystudio dans un répertoire auquel je donne un titre explicite.  Cet ensemble pourra alors être remis à volonté à cette place /Holoplaystudio et chargé dans le cadre.


Bilan :
Affichage agréable  et rendu du relief intéressant malgré la petite taille (7.9").
C'est un premier prix intéressant, à 3 à 400$ neuf, dans cette famille des écrans Looking glass dont les autres modèles sont bien plus chers
.
La création d'images et leur mise en forme restent peu faciles  Ce n'est pas "presse bouton" comme peut l'être la photo ou mème la prise de vue stéréo...
Pour une image fixe polyscopique, un panneau de 20 images de 420x560pixels donne déja un bon rendu importé par "Looking glass studio", mais l'usage de séries de plus haute définition avec "Light field photo app." donne des images de plus haute définition zoomables avec le cadre.

PS: une bonne description et un test intéressant d'un photographe d'images lenticulaires, Michael Brown à cette adresse Pour lui, c'est un: "super interesting device"
Il explique en particulier le contenu d'un MP4 constructeur, décrit les modes d'importation (holoplay studio qu'il a à l'écran doit être le prédecesseur de looking glass studio)...

Merci à C.GIMEL et P.MEINDRE pour leurs envois de fichiers et leurs conseils téléphoniques
Daniel NARDIN
1 juillet 2023