WE, un tour à LIFT

 

Cette semaine retour à Genève (après Paris et Biarritz), mais changer de quartier et sans doute d’étage: à la conférence LIFT, le projet WE va prendre une double existence:
– dans le Lift Experience: possibilité d’installer l’app WE pour iPhone, de recevoir en prêt un iPhone pour faire un tour et tester le dispositif, d’emprunter une caméra et de participer à la collecte de contenu, de visionner les films sur un ordinateur en libre accès. Un « stand » d’information et de participation en somme;
– dans le cadre d’un workshop: présentation du projet et des concepts afin de lancer une discussion autour des questions que « soulève » le projet ainsi que sur les possibles applications potentielles.

Nous avons ajouté le quartier autour du CICG à notre adaptation genevoise, en complétant avec des images du type:
– tournages sur la vie de quartier (interviews, ambiances)
– récolte sur ce que l’on trouve sur internet (conférences, films amateurs, organisations internationales etc)
– aujourd’hui nous filmons la mise en place de la conférence (les images devraient être dans notre « nuage » d’ici le début de la conférence mercredi après midi)
– nous allons proposer aux participants de la conférence de contribuer à la création de contenu, là aussi les images vont être intégrées le plus vite possible

Sur le chemin de cette adaptation complémentaire à Genève, le projet a bénéficié de l’aide et collaboration précieuse de:
– Alexa Andrey (collaboratrice de longue date, caméra, indexation et suivi global)
– David Saudan (stagiaire: caméra, indexation, recherche internet)
– Sevket Öztas (aide momentanée via un volontariat à Lift)
– Alejandra Garcia Rojas (aide momentanée via un volontariat à Lift)

Et merci à toutes les personnes de Lift qui nous ont permis de faire cette présentation: Mélanie Ducret, Nicolas Nova, Sylvie Reinhard

Nouvelle application iPhone !

Après près de deux mois de chantier, nous sommes à deux doigts de pouvoir envoyer à Apple la toute nouvelle application WE totalement réécrite en natif. Pour mémoire, la première application pour iPhone était développée comme une « web’app », donc en utilisant beaucoup de ressources réseau et avec des désavantages décrits dans ce post.

Marco Scheurer et son équipe de Sente ont travaillé en lien avec Nicolas Goy pour développer les aspects suivants:
– écrire l’application en mode natif, pour pouvoir maximiser les chances que l’application puisse être validée chez Apple et qu’elle puisse être plus réactive et maîtrisable;
– nous avons décidé de centraliser un maximum de processus dans le téléphone pour éviter d’être trop dépendants du réseau et de permettre une autonomie plus grande à l’utilisateur. Ainsi, le moteur de montage et la base de données sont installées puis synchronisées sur le téléphone, c’est juste le flux audio qui est envoyé depuis le serveur (dans le nuage chez Amazon) au téléphone;
– actuellement, pour des raisons de fiabilité de débit nous avons décidé de limiter la qualité audio à 48kbit/sec – c’est un compromis en attendant que Zencoder nous mette à disposition de l’adaptive streaming pour la mi février;
–  l’application est encore au stade beta, et la première version qui pourra être envoyée à Apple sera encore très basique et limitée autant dans les fonctionnalités que dans l’interface graphique. Nous n’avons pas encore pu implémenter la fameuse interface à bulles – là nous avons juste une playlist qui défile et qui permet d’avoir une idée plus précise des médias joués (durée, nom artistique, thématique);
– afin de donner une idée à l’utilisateur des contraintes techniques existantes (signal GPS et fiabilité du réseau 3G DATA), nous avons ajouté deux petites indications de couleur pour signaler si tout est ok (indicateurs au vert) ou s’il y a un problème avec le GPS ou le canal DATA (indicateurs en rouge);
– tout le système est actuellement prêt à pouvoir automatiser toute la chaîne depuis le déclenchement de l’enregistrement du parcours à la sauvegarde du film (avec un nom personnalisé) visible directement après sur le site internet.

Les limitations qu’il faut connaître:
– il faut désactiver la mise en veille du téléphone (mise en veille = jamais), sinon dès que l’appareil se met en veille ça coupe le son (et tous les processus); nous cherchons encore la manière de continuer les processus (écriture du tracé via le GPS, sélection des médias via le moteur de montage) et l’écoute du flux audio;
– après 3 à 5 minutes, il arrive souvent qu’au milieu de la lecture d’un média le son s’arrête, mais le compteur temporel du média continue: il faut simplement arrêter le film (clic sur stop), puis le sauver et recommencer un autre film;
– en dessous de 5 médias joués, il n’est pas possible de sauver le film (pour éviter d’avoir trop de films avec juste 2 à 3 médias)
– et comme décrit plus haut, la qualité audio est actuellement mauvaise du fait de la forte compression; cela va être amélioré dès la mi février avec la fonction de l’adaptive streaming;
– avant de marcher son premier film il faut créer son utilisateur sur une page spécifique (à venir).

Pour l’utilisation, veiller aux conditions suivantes:
– bien charger son téléphone avant de faire une ballade: l’application est très gourmande de batterie et va la vider très vite (à cause du GPS et des accès réseaux intensifs)
–  désactiver le WIFI (être sûr que l’on reste en 3G lors de la ballade, le fait de switcher du WIFI au 3G peut parfois entraîner des perturbations)
– utiliser le dispositif dehors: l’application marche seulement avec un bon signal GPS (le voyant position doit être vert, cela veut dire qu’il y a une précision d’au moins 100 mètres, ce qui n’est pas le cas si la position est calculée via les antennes de téléphonie) et il faut aussi avoir un bon signal DATA (le voyant vert audio doit aussi être vert, ce qui signifie que le flux audio est transporté via le réseau cellulaire).
– si l’application reste capricieuse (surtout avec les anciens modèles d’iPhone, le 3G par exemple), il faut désinstaller l’application du téléphone et la réinstaller.

Attention aux « pièges » suivants:
– selon l’état du réseau, il se peut que lorsque l’on clique sur Stop ou Sauver (le film) la commande prenne du temps à être prise en compte; il faut donc éviter de recliquer sur le bouton. Si l’on clique sur le bouton démarrer après avoir cliqué sur stop, on redémarre un film et le  film marché est irrémédiablement perdu!
– il faut au minimum 5 « médias » (plans joués) pour pouvoir sauver; il est conseillé de faire des enregistrements entre 2 minutes et 20 minutes. Au delà, risque de bug et sans doute aussi film trop long à regarder après…

Toute personne intéressée de tester l’application peut me contacter par mail dès le 24 janvier 2011.

Un grand merci à Marco et Nicolas pour leur travail de qualité et leur patience !

Adaptation à Genève

Voici les pistes de réflexion (il n’y a rien de définitif, c’est avant tout des bases de travail) pour l’adaptation dans le cadre du festival Image-Mouvement 2010 en décembre, qui se tiendra au BAC.
Tout le travail effectué sera utilisable et exploitable de manière plus large par la suite pour d’autres présentations, en croisant les images réalisées / récupérées avec d’autres bases de données (existantes ou à faire).

SCENARIO D’USAGE

Il s’agit de permettre au public de « marcher » un film dans le pourtour du centre du festival ainsi que de relier les diverses salles en composant un film (cf carte de délimitation ci dessous). Le contenu de chaque film est lié aux thématiques traitées dans le festival (à préciser) et / ou peut se baser sur un développement spécifique (voir pistes de réflexion ci dessous).
Ce qui est visé au niveau esthétique, formel et conceptuel :

–       films qui permettent de « décrocher » du réel, de partir d’éléments existants dans le réel pour offrir des images et un film qui soient une transposition poétique, abstraite, sensorielle du réel (et non une transfiguration directe de ce que nous pourrions voir) ;

–       le flux audio (le mixage du film en temps réel) que nous entendons lors de notre parcours doit être fortement suggestif, immersif. Il est prévu aussi l’utilisation de « mots » musicaux qui puissent rythmer la ballade (en devenant des phrases…) ;

–       les films résultants devraient être assez mystérieux, ambigus, poétiques sans pour autant casser les liens au réel : ce que nous voyons et entendons dans les films composés doit faire sens par rapport au réel ;

–       les scénarios d’usages (la scénographie de l’ensemble du dispositif) devraient donner envie aux visiteurs / marcheurs de produire des traces particulières, singulières : se mettre à courir, à faire des allers-retours, à marcher de manière chaotique… bref, d’user le territoire de manière originale et nouvelle. Il s’agit avant tout d’une expérience du réel amplifié par un dispositif numérique (artificiel).

L’enjeu est de créer une dynamique de départ pour permettre au public de marcher des films encore bien après la tenue de la manifestation (le festival continue donc de manière décentralisée) ; le festival laisse des traces (des parcours, des films).

QUESTIONS / PISTES DE RÉFLEXION

Voici en « vrac » pistes de réflexions :

–       pouvoir utiliser (placer sur le territoire) des images des bases de données du CAC, de la collection A. Iten, d’artistes associés au festival ou qui ont été présentés dans des manifestations BIM / CAC ;

–       pouvoir retravailler des images (archives, nouvelles images) en les rendant plus abstraites, plus spéciales (ralenti, contraste, zoom, recadrage etc). Verfremdungs-effekt…

–       pouvoir placer des images (extraits de vidéos) qui proviennent du programme de la I-M 2010 ;

–       pouvoir produire des images lors du festival et de pouvoir les intégrer durant la tenue du festival (cf. point sur le DIY / workshop) ;

–       demander à des artistes invités dans le cadre du festival s’ils peuvent mettre à disposition des rushes, des archives personnelles pour le dispositif – en somme de devenir des partenaires / collaborateurs sur le projet.

CONCEPT ARTISTIQUE

Afin de délimiter les possibles, il est important d’établir plusieurs cadres, dont :

  • définition des thématiques (ou contenus). Le but est de stimuler la création de séquences audiovisuelles au fort potentiel suggestif et artistique ; le choix des thèmes / pistes narratives sera donc du type « visible – invisible » ; « apparition – disparition » ; « la promesse » ; « en chantier » ; « en attendant le déluge » ; etc. En fonction des sensibilités à l’œuvre, du temps à disposition, de ce que l’espace suggère, une liste réduite et précise de thèmes sera établie en amont des tournages et servira d’ossature pour tout le projet. Chaque réalisateur / réalisatrice fera la traduction du thème en images, en fonction de ce que le territoire et le moment du tournage lui permet de faire. Il est également envisageable de faire des mises en scènes à mi chemin entre le documentaire et la fiction.
  • en fonction de la délimitation du territoire, chercher dans les banques d’images d’autres personnes à Genève s’il est possible de réutiliser / recycler des images déjà existantes pour le compte du projet. Cela permet d’ouvrir plus grande la fenêtre temporelle et d’améliorer la mixité des styles et des regards ; un grand soin sera porté sur la sélection pointue afin de coller aux exigences de qualité et de comptabilité avec les règles conceptuelles fixées en lien avec le fonctionnement du moteur de montage.
  • question ouverte : comment indiquer de manière concrète, physique, la présence du projet et du matériel audio-visuel dans les rues ? mettre des stickers, des tags, des symboles dans l’espace réel afin de renvoyer les passants à l’existence du projet ? (cf les invaders etc)
  • La délimitation de la zone de tournage et de placement des médias à Genève (c’est une zone de travail appelée à changer):

Le CMS – mise en route de la base de données

Après une première phase de tests techniques et ergonomiques, nous sommes maintenant en train de « métadater » les médias (que des vidéos pour le moment) pour mettre à l’épreuve le concept et pouvoir faire les premières simulations.

Voici quelques captures d’écrans de ce CMS (qui reste pour le moment privé, usage interne du groupe de recherche). Un grand merci à Lionel Tardy qui a travaillé depuis février sur la construction de cette solution personnalisée aux besoins du projet !

A télécharger, un PDF qui donne une vision d’ensemble des champs et listes, ainsi que le type d’analyse et de règles qui vont être appliquées par le moteur de montage. Également à télécharger, un PDF qui donne une idée du montage type, en simulant un montage avec les règles.

La page de départ:

Cette page permet d’importer des fichiers créés dans Final Cut: toutes les vidéos sont pour le moment préparées dans FCP, puis exportées sous forme de fichiers QuickTime natifs, puis compressés au format flash (quelques exemples dans ce blog). Puis, il est possible de paramétrer les thèmes, les listes, de gérer la structure et d’ajouter des utilisateurs. La partie la plus importante est « Gestion des médias ».

CMS HOME

La page de gestion des médias:

C’est dans cette partie que nous devons définir:

– le titre artistique du média (sera présent sur la carte du module embarqué);
– le statut du média;
– le type de média;
– il est possible de placer le média d’origine sur la carte google intégrée, puis – et c’est là que commence le montage (spatial, ou spécial, c’est selon) – de placer le média sur la carte en fonction de ses combinaisons souhaitées avec d’autres médias placés dans les environs. C’est principalement ce choix qui va déterminer le premier choix de média intégré au film…

CMS_GESTION MEDIAS

La page des métadonnées subjectives:

Ici c’est encore le chantier expérimental – c’est une partie importante (contenant les règles, les logiques d’analyse etc, ainsi que d’autres informations utiles pour classer / chercher / présenter les médias). Ce n’est qu’en expérimentant avec une certaine masse de médias la plus variée possible que nous pourrons tirer des conclusions et préciser les besoins réels – ce chantier là est en cours, autour de 300 médias sont à disposition.

CMS_METADONNEES

La page pour définir les thématiques et les « tags » libres:

Page importante également: c’est ici qu’on détermine l’appartenance au nuage – c’est le choix du visiteur qui va déterminer dans quel « étage » thématique le média sera choisi; son choix aura forcément une incidence sur le contenu et la forme. Nous sommes en train d’expérimenter la l’indexation multiple d’un média à plusieurs nuages en même temps – mais avec une « intensité » différence (cf les 30/70 dans l’exemple).
Il y a également les tags qui permettent de personnaliser le contenu du média, puis ensuite de pouvoir former un nuage supplémentaire dans le site web (nuage de tags les plus utilisés par exemple).

CMS_THEMATIQUES

Prochainement sera publiée la liste des champs et des variables utilisées, ainsi qu’un schéma expliquant la méthode d’analyse et les règles implémentées.

En parallèle, les collaborateurs de la HEIG-VD sont en train de préparer un simulateur du moteur d’analyse – cette application nous permettra de tester des premières combinaisons basées sur un itinéraire urbain.
Techniquement, il s’agit d’une application JAVA qui lit un fichier .csv venant d’un tracé GPS enregistré sur le module embarqué, puis analyse avec un certain nombre de variables ce tracé pour pouvoir ensuite exporter un fichier décrivant une playlist (le montage sous forme de suite de fichiers avec durée).

UF 12.06.2008