eyeWander en installation au FIFDH

L’installation de notre projet de réalité virtuelle eyeWander est actuellement présentée à Pitoeff, dans le cadre du festival FIFDH.

Pour vivre cette expérience immersive, il suffit de venir entre 19h et 21h au sous sol de la salle communale de Plainpalais (salle Pitoeff), et de prendre une petite dizaine de minutes pour découvrir des portraits d’organisations humanitaires.

En mettant un casque de réalité virtuelle (VR), le spectateur du projet eyeWander s’immerge dans des enjeux de solidarité humanitaire entre régions du monde.

Ici, des idées et des projets, pour aider, là-bas, des personnes dans le besoin.

Et depuis là bas, des histoires qui nous racontent comment ces idées rencontrent une réalité.
Alors ici, depuis un contexte bien différent, des projets sont imaginés pour améliorer cette réalité lointaine…

Remerciements particuliers à la HEAD et à Alexia Mathieu pour le soutien logistique.

L’équipe du projet: Vincent de Vevey (réalisation, contenus, éditorial), David Hodgetts (programmation) et Ulrich Fischer (production).

Prochaine étape: présentation du projet dans le cadre de la conférence WSIS à l’ITU, entre le 19 et le 23 mars (dans la foulée, donc…).

Les perspectives du projet eyeWander en 2018

Le projet VR (réalité virtuelle avec vidéo en 360°) eyeWander continue de se développer, avec l’ajout d’un menu (pouvoir choisir les vidéos au départ) et des présentations prévues en ce début d’année.

Nous allons prochainement réaliser des tests avec une nouvelle caméra 360°, qui devrait nous permettre de réaliser des vidéos mieux définies et de rendre notre flux de production plus efficace.
L’enjeu est d’ajouter des nouvelles interviews et d’enrichir les portraits déjà existants, pour pousser plus loin l’expérience immersive et narrative.

La prochaine étape consiste à ajouter la fonctionnalité d’enrichissement des vidéos avec des mots clé, dont la sélection va permettre de générer des playlists de vidéos personnelles, à partager ensuite sur les réseaux sociaux.

Voici une présentation visuelle de cette fonctionnalité:





Les présentations à venir

Vendredi 18 janvier, nous allons présenter la dernière version de l’application Android au Digital Days organisé par Crea. C’est une excellente opportunité de recueillir des feedbacks critiques de la part de spectateurs à priori bien au courant des possibilités techniques avec la réalité virtuelle…

Nous sommes également en train de préparer la version installation du projet pour le FIFDH (Festival du Film et Forum International sur les Droits Humains) à Genève, entre le 9 et le 18 mars.

Le projet expliqué en vidéo

Voici une collection de 4 vidéos courtes réalisées par Antonin Ravussin, qui expliquent le projet:

Présentation de la version demo de eyeWander

Ces jours sont très productifs pour le projet eyeWander: Vincent de Vevey finalise les 4 interviews, réalise l’intégration des zones interactives dans les interviews en 360°, tandis que David Hodgetts continue de mettre en place le workflow entre l’édition vidéo et la création d’une application Android.

Cette application VR s’installe sur un smartphone Android de dernière génération et le projet se visionne à l’aide du casque VR Samsung Gear. Il suffit de mettre le casque, de regarder le titre du projet et l’expérience démarre…

Nous allons pouvoir présenter jeudi, lors du Speed Meeting du Bénévolat, une première version démo du projet, avec 4 extraits de 2 minutes par association présentée, visionnable d’une seule traite.

Pour venir voir le projet, voici les détails:

La troisième édition du « Speed meeting du bénévolat » s’associe aux 50 ans de solidarité internationale en Ville de Genève

Genève Bénévolat organisera, en collaboration avec la Ville de Genève, son troisième Speed meeting du bénévolat le jeudi 30 novembre prochain. Devenu le rendez-vous incontournable de la population genevoise avec le tissu associatif local, cet événement constitue une occasion unique pour les personnes souhaitant s’engager bénévolement de découvrir les offres existant dans des domaines aussi variés que la solidarité internationale, la protection de l’environnement, le sport, le handicap et la culture.

J’en profite ici pour remercier Anne Bonvin Bonfanti de la Ville de Genève pour sa précieuse collaboration sur ce projet – sans le partenariat avec le Département des finances et du logement de la Ville de Genève ce projet n’aurait pas pu être réalisé.

Nous allons bientôt publier une vidéo qui présente le projet et qui permet de visualiser plus concrètement comment se déroule l’expérience.

Par ailleurs, nous pouvons confirmer que le projet sera présenté au festival FIFDH en mars 2018 à Genève, sous une forme d’installation.

Antonin Ravussin est en train de réaliser plusieurs courtes vidéos qui présentent le projet sur la page Facebook du projet, dont en voici déjà un exemple:

eyeWander au GIFF

Nous aurons le plaisir de présenter le projet VR eyeWander au festival GIFF (Geneva Int. Film Festival) la semaine prochaine.
Nous allons participer à une séance de présentation (pitches) et pourrons rencontrer des partenaires potentiels via des sessions de match-making en one to one.

Nous faisons partie de la section « New Digital Talents »:

Le New Digital Talents (NDT) est un programme conçu pour mettre en lumière les créateurs, sociétés et collectifs les plus innovants dans la création digitale audiovisuelle contemporaine. Quinze sociétés numériques suisses et européennes sont invitées à présenter un projet phare ainsi que leur savoir-faire en matière de création digitale devant un parterre d’acteurs-clés du numérique.

Geneva International Film Festival – GIFF | 3 – 11 novembre 2017

Le GIFF explore les liens entre le cinéma, la télévision et les nouvelles formes de création digitale. Carrefour des genres et des disciplines, le GIFF se veut aussi bien un lieu de fêtes que d’expérimentations.

Le travail de production des vidéos en 360° avance bien, en parallèle du développement de l’application VR réalisée par David Hodgetts. D’ici quelques semaines, nous pourrons présenter une première version…
Pour être tenu au courant et pour découvrir le projet dès sa publication, inscrivez-vous à la newsletter sur le site du projet.

Mise en route web pour le projet eyeWander

Pour accompagner le démarrage du projet d’installation vidéo VR en 360° eyeWander, nous venons de mettre en ligne le site web dédié au projet: http://eyewander.ch

Nous avons également mis sur pied une page Facebook, qui va raconter les étapes de la réalisation du projet (tournages, tests, développement, mise en route de l’installation, etc): https://www.facebook.com/eyewanderVR/

Vincent de Vevey va réaliser des vidéos en 360° durant les mois d’octobre et de novembre, pour les « augmenter » ensuite avec des éléments interactifs à déclencher du regard dans les lunettes VR. Une première version de l’application VR devrait être disponible pour le mois de novembre, avec la version installative qui sera présentable dans la foulée.

Le projet bénéficie du soutien et du partenariat de la Ville de Genève (Département des finances et du logement ).

Plus d’informations sur ces pages:

Starting the VR project « eyeWander »

Projet vidéo en 360° « Fenêtres associatives »

 

Starting the VR project « eyeWander »

Based on the interactive 360° video installation project « Fenêtres Associatives » made by Vincent de Vevey for his Media Design Master exam at the HEAD, Memoways is producing the further development of the mobile VR app and the upcoming version of the interactive installation.

The project

“eyeWander” proposes a new way to experience interactive video within VR.
Users can generate personalised narrative contexts by “organically” aggregating facts and videos into a sharable playlist of content.
Watching and interacting in this way offers a unique and immersive journey through world changing projects from humanitarian aid agencies, demonstrating how interactive storytelling can enhance the public’s understanding of complex issues.

“eyeWander” is a VR project made out of 3 complementary parts: an artistic installation built around a VR headset, a standalone mobile VR app and a documentation website.

With the help of funding support (we already have a financing from the City of Geneva), we will bring the current mobile VR app prototype made for the Master exam to a new level.
Beyond the local use within an artistic installation, the upcoming app will connect complex realities from our world to a personalised VR experience, that can be shared across the web.
A virtuous cycle allows users to become aware of humanitarian issues, and then to engage by sharing their own “wandering”, simply with their eyes, through the stories, facts and figures of our project…

This VR project will be presented to the public through different forms and use cases:

  • An artistic installation for festivals and events, starting in November 2017.
  • A standalone mobile VR app for Android & Samsung Gear (or any cardboard device), for begin of 2018.
  • A website for documentation and communication purposes, starting in October 2017.

The installation

The first version of the installation, presented at the HEAD jury Master exam in June. This version was working without VR headset, with a VR prototype app made with WondaVR

In a darkened room, the public is immersed in floating video sequences surrounding a unique spectator wearing a VR headset. Through watching and interacting with the content in the VR headset, the active spectator, sitting on a turning chair in the middle of the room, triggers synchronised projections of video sequences on the floating screens around him/her.
The user is immersed with is headphone to have the best audio quality for the interviews. For the next step in November, we want that the public present in the room can also experience the interviews using other headphones to follow the story of the active spectator.

Through those screens, the public gets an idea of the thematics and stories being presented to the active spectator in the VR headset: short video sequences superposed with pregnant sentences, present places, people or situations, to create a thematic context. The user with the VR headset can choose between several augmented narrative portraits of selected cooperation organisations.

Each presentation is a 360° video with integrated interactive elements (videos, pictures, short sentences and data-visualisations), allowing to get more informations or short stories linked to the main interview, just by looking a longer moment on specific interactive elements in the 360° video. Once the 360° video interview is finished (lasting between 3 and 5 minutes), the user is invited to freely “dive” into additional material, to learn more about specific aspects.
In the dark, simply by directing the eye in a certain direction, video sequences are unveiled and come to live, like pointing a flash light in room without light.

In the installation room, short video loops, projected on the floating screens, are synchronised with the interactions of the VR user. The audience, while waiting to wear the VR headset, gets a glimpse of the topics and thematics, linked to the choices and the behaviour of the active user.
The playhead of the projected videos is controlled by the user’s movement of the head, so that the surrounding audience rapidly gets aware of the formal mechanic of the video projections.

This first version of the public installation is already financed through a funding from the Ville de Genève and will be presented end of this year (more information to come).

The following points are concepts and ideas that we wish to pursue :

  • Move beyond linear and static storytelling to a more organic, evolutive and personnalized experience through the original “Comet” concept made possible with the Memoways video platform called Kura;
  • Based on curated video feeds, “magnetic” keywords and platform linking strategies (see the schema later in this document), each personal experience within the mobile VR app can be shared on the social web. This expands organically the audience of the project from an individual niche consultation to a broader connected collective experience;
  • Even if this aspect is not a visible feature, it is very important to mention that by using the Kura video platform, the project will evolve without application updating, based on the separation of the content with the app. This means we will be able to change, remove and add new video content and the way the content is connected together (the magic of the “magnetic” keywords), without having to update the app itself. The same of course applies also to the future user experience within the installation.

The mobile VR app

Top image: first version of the installation (without VR headset) Bottom image: mockup of the upcoming VR augmented information layer

The first version of the mobile VR app is described above.

We intend to bring the new mobile VR app to the Play Store early 2018, thereby reaching a broader international audience than the very local audience of the interactive installation.

We will wish to enhance the user experience with following features:

  • Floating keywords in the main menu, linked with arrows to the main interviews and between themselves, presenting a grid of related thematics, places, or actions. When staring at a keyword, the application is presenting a playlist of content labeled with the selected keyword, as a chain of circular thumbnails.
    Selecting play will play one content after the other; it is possible to come back to the main menu at any moment. The creation, curation and updating of those keyword playlists is done with our Kura web application.
  • Keywords that dynamically appear as coloured capsules in the 360° video, linked to specific temporal segments of the interview. This part is the transposition of Memoways Comet concept to the VR / 360° video space.
    While listening to the interview, the user can turn around to discover more information in the 360° video; when looking a longer moment on an appearing keyword capsule, the capsule is “captured” and transformed into an icon going to the bottom right (or left) corner of the viewing field. Each additional keyword selection adds an icon to the existing ones, like a floating pearl necklace…
    At the end of the linear interview, a dialog proposes to either watch the generated playlist of content based on the selected keywords, or to keep the playlist for later and come back to the main menu.
  • Connexion to the Facebook / Google / Twitter account, to be able to save and share videos and playlists. The presentation of the shares is made possible through a “webview” generated from the platform.

Further developments could include the following features:

  • Edit your playlist: change order, add new related content, remove content from a playlist.
  • Define a private or a public sharing mode. In the private mode, it is simply an “unlisted” url that can be shared with selected people; in the public mode, the shared playlists can be discovered on a specific page in the mobile VR app, and later on the website.

 The team

The core team for the project is:

  • Vincent de Vevey. Interaction designer, Media Designer and Sound designer
  • Ulrich Fischer. Producer, entrepreneur and new media expert
  • David Hodgetts. Polyglot developer, specializes in interactive media projects.
  • Nicolas Goy. Web application, back-end developer with specific expertise in web video

Vincent De Vevey conducts the interviews with the associations: he records them with 360° video, and handles postproduction. He is also in charge of the visual aspect of the motion design in the videos. He has the artistic director role.
http://vincentdevevey.com

Ulrich Fischer produces the project with his company Memoways. He assists and guides Vincent de Vevey on all conceptual, artistic, technical and aesthetic questions. As the producer he is in charge of the strategic and financial questions.
http://ulrichfischer.net

David Hodgetts works on the development of the VR installation which revolves around two software artifacts: a mobile VR app with custom mechanics to drive the projections in the installation mode. The VR app targets the Gear VR platform and uses the Unity3d framework. The video player runs on OSX, is written in C++ for optimal performance, communicates via UDP with the VR app and integrates with MadMapper by opening a Syphon server. Source code is released under the MIT license where possible.
http://davidhodgetts.ch

Nicolas Goy as the developer of the Kura video platform and the Comet video player (he did also the transmedia project Confusion.today) develops the custom video player for the interactive video streams within the VR app, creates a bridge between Kura and the VR app and makes the webview and sharing mechanism.
https://the-missing-bit.com

Projet vidéo en 360° « Fenêtres associatives »

Entre le mois de mars et de juin 2017, j’ai suivi en tant que tuteur le travail de diplôme d’un étudiant de la HEAD en Master Media Design, Vincent De Vevey.

Il s’agissait de l’accompagner dans la conceptualisation et la réalisation d’une application mobile vidéo en 360°, intégrée dans une installation.

Le projet « Fenêtres Associatives » immerge le spectateur dans le travail d’engagement social, artistique et humanitaire d’associations d’entre-aide internationales basées à Genève.
Guidé par l’interview d’un porteur de projet, le spectateur découvre le contexte de l’action d’entre-aide à travers des informations, images et vidéos intégrées dans une vidéo en 360°. En tournant sur un tabouret, il peut alors découvrir sur l’écran d’un smartphone des contenus et des informations incrustées dans l’espace de l’interview.
Certaines de ces zones sont interactives et lui permettent de poursuivre sa navigation en fonction de ses envies.
Autour de lui, des vidéos qui réagissent aux mouvements du spectateur permettent aux autres visiteurs de l’installation de saisir les enjeux de ces associations d’entre-aide: entre ici et là bas, des fenêtres flottantes nous offrent une perspective sur un nouveau monde…

Maintenant que le travail de diplôme a permis de présenter un premier prototype déjà très satisfaisant et prometteur, nous allons tirer parti de l’opportunité de développer ce projet pour une présentation publique plus large.
Il est encore trop tôt pour divulguer le contexte de production et de présentation, mais ce billet entend partager un bout du chemin parcouru jusqu’à maintenant.

Questions et enjeux

Les enjeux conceptuels posés au départ étaient les suivants:

  • Comment « mettre en scène » un usage individuel d’une expérience en 360° / VR au sein d’un espace public ? En somme, proposer autre chose qu’une retransmission « plate » de ce que voit la personne qui gesticule bizarrement, la lunette VR sur la tête… Comment créer une situation où les spectateurs sont partie prenante d’une expérience commune ?

    Seriously ?

  • Trouver un bon équilibre entre une narration guidée et protégée (linéaire) et une expérience personnelle, basée sur l’interactivité (non linéaire). Est-ce que le cinéma, le jeu vidéo et l’usage du web sont « compatibles » au sein du contexte d’un média rassembleur ?
  • De manière complémentaire au point précédent, trouver un bon équilibre entre des informations factuelles, à travers une approche objective, et des narrations au potentiel émotionnel, à travers une approche subjective, poétique. Est-ce imaginable de proposer une expérience qui allie l’identification (immersion dans un contexte émotionnel artificiel, avec suspension momentanée de son propre jugement) à l’interprétation d’informations (mise à distance des informations les unes par rapport aux autres, à travers l’activation de son propre jugement) ?
  • Comment « monter » des contenus (images, vidéos, textes) dans un espace 360° et non pas dans une timeline, comme on a l’habitude de le faire ? Le cinéma et la vidéo sont un médium basé sur le temps (une image après une autre, dans l’espace de l’écran), alors que l’expérience proposée dans un espace 360° demande une maîtrise de l’espace également.
  • Comment prendre en considération le flux du web au sein d’une navigation personnelle qui peut se partager à la sortie de l’expérience ? En somme, de donner une place plus importante au spectateur dans le cadre du dispositif: le monde n’est plus le même après son voyage. La question du partage est primordiale, encore plus pour des projets qui ont une vocation de susciter l’engagement actif du spectateur…

Comme on peut le voir, il y a beaucoup de questions à résoudre. Des questions spécifiques, en provenance des champs du journalisme, des expressions artistiques (cinéma, art plastique), de la communication et du design…

Aussi passionnantes qu’elles soient au niveau théorique, ces questions ne trouveront sans doute pas de réponses aussi claires que le cinéma, la photographie ou le théâtre ont pu apporter comme carburant sur les chemins créatifs de l’Homme.
Sans doute parce qu’in fine, les possibilités technico-artistiques liées à l’informatique posent des questions plus profondes: sur le modèle économique (comment créer une chaîne de valeur captive), sur le relationnel (entre le spectateur et l’auteur; entre l’individu et le monde) et sur la transmission (partage de la valeur, lâcher prise de la maîtrise d’un objet, qu’il soit artistique ou de connaissance)…

Il y avait aussi des enjeux techniques à résoudre:

  • Le workflow technique, de la caméra 360° à la diffusion n’est clairement pas encore établi; il faut donc trouver les bons outils et méthodes pour arriver efficacement à un résultat partageable sans trop perdre de temps et de qualité. Pour arriver à intégrer une interview « augmentée » au sein du dispositif, il faut une bonne semaine de travail en jonglant avec une multitude d’outils différents.
  • Au niveau caméra 360°, il n’existe pas encore d’appareil qui se positionne sur le segment semi-professionnel: il fallait donc se résoudre à bricoler avec du matériel grand public pas très précis et fiable.
  • Bien que la plupart des applications de montage supportent les vidéos 360°, il n’existe pas encore d’application qui permet la création de projets adaptés à ce nouveau support (si on peut parler de support…). Nous avons choisi d’utiliser l’application WondaVR développée par un studio parisien, pour des raisons de facilité, au détriment de la créativité. En effet, bien que leur solution est déjà sur des bonnes bases, on doit entrer dans une « philosophie » de type de projet VR qui ne correspond pas à ce que nous souhaitions développer. Cette application permet de créer une expérience héritée de la pensée CD-ROM, où une arborescence définie une fois pour toute propose un usage cadré et maîtrisé.

La suite

Ce qui nous attend maintenant, c’est de résoudre les questions suivantes:

  • Mettre en place un environnement de développement propice pour une liberté de création plus adaptée aux besoins et envies du projet. Nous sommes en train de tester une intégration de Unity au sein d’un workflow qui allie postproduction vidéo classique (After Effects, Première) et développement informatique (jeux vidéo, applications mobiles et web). Nous avons déjà démarré une collaboration avec David Hodgetts et allons avoir des premiers résultats cet été.
  • Mettre en place la logistique de production et de diffusion: rédaction d’un dossier, budget, trouver des partenaires de présentation, lever du financement.
  • Le prototype présente deux associations; il s’agit d’en ajouter plus dans les mois qui viennent, tout en faisant évoluer les premières vidéos au sein d’une expérience améliorée.
  • Et aussi, de voir si et comment on peut intégrer notre plateforme de création d’expériences vidéos Kura au profit d’un usage plus personnel, vivant et évolutif des vidéos au sein du projet.

Voici une vidéo de présentation du prototype présenté dans le cadre du diplôme à la HEAD, réalisé en juin par Vincent.

La présentation du projet en quelques mots:

Le projet « Fenêtres associatives » présente des interviews d’acteurs d’associations solidaires Genevoises. Découvrez à travers ce reportage vidéo en 360 les actions menées par l’association de soutien au théâtre des intrigants du Congo, ainsi que l’association Solférino des étudiants de l’ECG Henry Dunant de Genève. Cette installation vous permet de suivre de manière interactive ces histoires et des projections vidéo synchronisées avec l’usage de l’application smartphone.