Une mention pour le projet « Roule ton film »

RouleTonFilm-web

En collaboration avec le laboratoire TaM de l’Université de Genève, Memoways a soumis au concours Open Data des TPG’s le projet “Roule ton film”.

Il s’agissait de proposer aux Transports Publics Genevois, via un concours d’appel à projets lancé cet automne, une application mobile innovante qui utilise leurs données d’une manière ou d’une autre.
Nous avons mis sur rails le concept de Walking the Edit, traduit le mode interactif et non linéaire de “Marche ton film” vers les possibilités d’un mode personnalisé et linéaire de “Roule ton film”.

Résultats du concours: nous avons reçu une mention pour notre projet.
Une mention pour une application « inutile », alors que les deux premiers prix vont à des applications « utiles » (ou utilitaristes): c’est une bonne chose que les adeptes de l’open data s’ouvrent à des projets qui n’ont pas de vocation objective ni utilitariste. Le jour où il y aura réellement des ponts plus fréquentés entre le rivage des ingénieurs et la plage des artistes, les applications créées (avec de l’open data ou pas) pourraient ouvrir un peu plus nos horizons de pensées et de perception du réel…

Voici en quelques lignes des détails concernant ce projet.

La suite…

Pour marcher des films: Memowalk

Depuis le projet de recherche mené entre 2008 et 2009, nos diverses itérations de l’application mobile « Walking the Edit » ont été cadrées par deux impératifs principaux: les besoins directs liés au projet artistique et les possibilités techniques émanant des diverses versions de iOS.
Le mouvement général du développement logiciel part donc d’un projet unique, sur un mode « one shot » à une plateforme générique très modulaire.
L’application étant déjà assez compliquée dans le mode « one shot », le fait de concevoir une architecture évolutive et modulable demande de gros efforts de développement sur plusieurs fronts: côté serveur, côté back end gestionnaire de projet, côté application mobile et finalement présentation des films dans un navigateur web.

Depuis 2009, une petite dizaine de développeurs différents ont travaillé sur ces chantier, ce qui a permis de réaliser des avancées notables pour réaliser des adaptations (Paris, Bruxelles, Genève etc) mais en même temps a rendu le code plus compliqué à gérer. Il faut aussi savoir que depuis le début du projet en 2009, il y a eu 4 différentes versions du serveur avec lequel devait interagir l’application mobile.
Entre un serveur très basique qui ne savait rien de ce qui pouvait se passer sur le terrain à un serveur qui prenait une partie du travail (comme le fait de générer un film à partir des rushes), il y a eu divers états de ce « cerveau central ».
Ces itérations ont accompagné les évolutions des technologies mobiles (qui n’existaient pratiquement pas lorsque nous avons commencé en 2008) et les avancées des techniques web (nous avons migré du flash au HTML5, utilisé des protocoles écrits à la main pour nos propres besoins à des standards comme les API’s REST etc).

Dans les grandes lignes, les diverses versions de l’application WE pour iPhone ont eu les caractéristiques suivantes:
– 2009: application native, où le son du film été « streamé » depuis les réseau 3G. Une fois le parcours publié, les films devaient être générés sur un serveur, ce qui prenait parfois des heures… Les problèmes: soucis de perte de signal audio; temps de création des films. En outre, l’application était difficilement évolutive et le système ne pouvait pas « scaler » (passer d’un mode expérimental avec peu de monde à un mode en utilisation massive)
– 2010: application avec vues « web app«  (HTML5). Le même système mais avec une vue web du processus de montage (nos bulles). Cette application était déjà visuellement plus proche de ce que nous voulions faire à l’époque, mais avait des soucis de disconnection lié à l’utilisation du réseau data
– 2011: réécriture de l’application en natif en lien avec la nouvelle version du serveur. Les bulles ont été abandonnées au profit d’une expérience utilisateur plus fluide – mais le son passait toujours par un flux data.
– 2012: mise à jour de l’application avec intégration des contenus audio dans l’application. Il fallait télécharger un « package » avant de pouvoir marcher son film. Première version qui trouve sa place – enfin – sur l’appstore.
– début 2013: nouvelle mise à jour de l’application native pour être compatible avec le nouveau serveur; automatisation des « builds » (création de versions spécifiques de l’application pour les diverses adaptations). Les limites de cette version là: évolutivité restreinte (modularité du code pas complète); pas de compatibilité avec le nouveau concept de « Beam ». Nous avons donc décidé au milieu de l’année 2013 de programmer une toute nouvelle version de l’application, repensée de fond en comble et surtout fonctionnant de manière plus générique.
– fin 2013: la nouvelle version de l’application intitulée « memowalk » arrive en version test. Nicolas Goy a passé une bonne partie de cet automne 2013 sur la programmation de cette nouvelle version, qui va pouvoir bénéficier des 5 années d’expérience et surtout de la plateforme logicielle Memoways, qui permet de modulariser les divers composants de cette application. Cette nouvelle version apporte les fonctionnalités décrites dans ce billet du blog de Memoways.

Nous allons revenir ici plus en détail sur les fonctionnalités de cette nouvelle version, une fois qu’elle est prête à être publiée sur l’appstore.
Nous visons le premier trimestre 2014 pour une mise à disposition publique de Memowalk.

En attendant, voici une galerie avec quelques screenshots de cette nouvelle application.
Attention, le design et les fonctionnalités vont encore évoluer au fur et à mesure du développement – c’est juste pour donner une idée de la direction prise et des fonctionnalités qui vont se trouver dans cette nouvelle version.

Memowalk: first views

memowalk-icon

After a good amount of work, our mobile application Memowalk is on the way to get tested. It’s a big release, that will uncover the potential of the Memoways platform and the underlying concepts.

In a few words: the Memowalk mobile application generates a unique and surprising movie out of a recorded path.

You just walk through a neighborhood and our smartphone app tracks your progress and translates your itinerary into a story drawing from the multitude of virtual information held in the ‘augmented space’. All this in realtime! Once your trajectory is translated into a movie you can watch it and see the movies of other people.

It’s a complete new rewrite of our « Walking the Edit » application that we used for the adaptations in Paris, Brussels and Bagnols-Sur-Cèze.

Here are the main features of this application:

  • window navigation. The 3 main screens are divided into 4 windows. Each window is showing a specific view on what is happening; by clicking on the chosen window it will zoom to fit the entire screen. Clicking on an icon will bring back to the general screen.

  • record your path to generate a movie. By clicking on the record button, the user can record the path with the built in GPS; the movie will be created in realtime (the content database is contained in the application). The user hears the sound of the movie he is « composing »; to get an idea of the footage that is played, one window is showing the current thumbnail of the video; another window is showing the list of the chosen assets with some statistics and metadata; the third window helps the user to see on a map where he is located in regard of the geolocalized content; the fourth window will be a surprise (a champaign style surprise !).
  • watch your movie. The second screen will show the list of the recorded paths, rename and publish movies – and watch them !

  • set your preferences. On the third screen, the user will be able to download Beams (more on that in a coming post), to create or login to his account (with Facebook and Google+ login) and to set language preferences.

Please note that the screenshots are not showing the final interface, design and features; as always, changes are already happening… it’s really the first glance on our mobile application we are very proud of. Thanks to Nicolas Goy for his incredible work, both on the iOS and server side.
There are more important and original features we are working on, but those will be revealed in 2014.
We plan to publish the application on the appstore begin of 2014, so stay tuned

Bagnols, c’est parti ! (à pied)

bg-header

Après plus d’une année de préparation et mise en place, y compris de la production de contenus spécifiques, voilà que le projet Mémoire Vive a été rendu public aujourd’hui.

Les thèmes abordés lors de parcours sont variés : le patrimoine, l’histoire, les récits de vie, les savoir-faire et talents locaux, les manifestations locales… Il s’agit de privilégier la diversité des approches et des points de vues.

La suite…

Heritage Experience est là !

L’adaptation parisienne de Walking the Edit, intitulée « Heritage Experience » est depuis ce soir sur l’appstore.

iconeHE

Cliquez sur le bouton pour installer…

Quelques détails pour cette version localisée:

Heritage Experience est un service numérique culturel innovant dédié à la valorisation du territoire et du patrimoine. Basé sur une application iPhone novatrice, Heritage Experience permet d’explorer de manière sensible un territoire et d’accéder en mobilité à un ensemble de contenus audiovisuels géolocalisés (images d’archives, interviews d’usagers du territoire, points de vue d’experts, récits d’habitants…).

La suite…

Mise à jour de l’application iPhone

Depuis la sortie de la première application WE sur l’appstore ([email protected]) nous avons continué de développer notre application smartphone sur les points suivants:

– Choix du scénario d’usage. Le scénario d’usage est en quelque sorte le « genre » du film que l’on peut choisir dans une liste entre 2 et 4 possibilités. Par exemple pour l’adaptation parisienne, nous avons « La Cité à travers les âges » (le passé de la CIUP), « La Cité aujourd’hui » (le présent) et « Tour du monde en 80 pas » (des vidéos en lien avec les nationalités présentes sur le territoire). Soit l’utilisateur sait ce qu’il veut (le passé par exemple) soit il peut sélectionner « Surprend-moi » pour laisser le moteur de montage choisir un scénario pour lui. L’idée est de mieux « cadrer » l’expérience utilisateur via une limitation plus logique des contenus, sachant que c’est toujours notre « continuité thématique » qui va garantir une construction causale plus continue.

– Une vue plus complète sur les infos d’un média. En plus des infos déjà présentes (titre du média, durée et thématiques) nous avons ajouté les infos suivantes: nom de l’auteur, date de création du média, tags.

– Une amélioration du moteur de montage. Il s’agit de la « pièce maîtresse » incontournable de l’application, qui permet de réaliser le montage du film en temps réel via une utilisation « intelligente » des métadonnées. Nous avons amélioré la relation vitesse de la marche / rythme du film et la proximité au média le plus proche; au final, l’expérience du montage en temps réel devrait être améliorée dans la plupart des cas. Afin de pouvoir pousser encore plus loin cet algorithme, nous sommes en train de programmer un simulateur pour tester les variables via un trajet déjà enregistré, afin de voir comment le moteur de montage sélectionne les médias dans la base de données. Il sera ainsi possible de voir ce que le moteur retient et ce qu’il « loupe », et de faire changer les variables afin d’arriver à produire le résultat le plus proche de ce que nous cherchons.
Voici une visualisation du processus de montage:

– Visionnement du film directement depuis l’application. Ceci est une grande avancée, même si la lecture n’est pas encore totalement fluide (il y a un bug dans le kit video de Apple). Donc en sélectionnant un parcours que l’on a enregistré, il est possible de visionner le film directement depuis l’application (mais il faut être connecté en WIFI pour lire les vidéos). Une fois que l’on a vu la vidéo il est possible de la nommer et de la publier; il est bien entendu également possible de visionner les vidéos déjà publiées (qui sont sur le site internet).
Voici deux captures d’écran pour cet ajout:

– Nouveau « pipeline » pour la génération d’application spécifiques. Comme nous faisons une application par projet / adaptation, il nous faut une logistique bien architecturée pour pouvoir facilement lier les contenus (fichiers audio et métadonnées) à des informations et visuels spécifiques au projet. Nous avons maintenant un système quasiment automatisé pour « builder » (compiler) ces applications localisées et les installer simplement via un lien internet sur n’importe quel smartphone iOS (sans devoir passer par l’appstore). Il est prévu de pouvoir automatiser complètement ce processus directement à la sortie de l’application Memoways: il suffira de sélectionner les assets (médias) qui doivent être inclus dans le « package » de l’application mobile et de sélectionner « Build », et une réaction en chaîne démarre pour finalement aboutir à un lien généré qui pointe sur l’application à installer. Cette automatisation totale est prévue pour cet été.
Voici une capture d’écran de la page de téléchargement d’une application localisée (on reçoit un lien par un mail, on clique dessus et on installe simplement via cette page web l’application sur son propre téléphone).

Pour finir, il est important de mentionner qu’une nouvelle version de l’application WE pour iPhone est en chantier – elle sera là dans le courant de cet été et apportera une toute nouvelle expérience utilisateur et des fonctionnalités supplémentaires. Plus d’informations sur cette application vont suivre d’ici le début de l’été.

An android version of the WE app for smartphone

In order to let more people use our WE app for smartphone (« Walk your movie« ), we are making an Android version.
To be more precise, this is done with the help of our partner ISS at the University of Geneva – a great thank you to the crew and specially to Kevin Salvi and Jody Hausman.

Here are the first screenshots of the current state of the application; we plan to release a public version for mid May.

On the road of building up the editing engine, the same team from the ISS used the possibilities of Google Earth to visualize how the editing engine is choosing the media files on the « key points » on the walk.

This video is showing what media file (out of the available files) is chosen in relation to localisation, thematic continuity and speed mapping (the current speed is mapped to a duration range). The resulting video of this test is here.

Nouvelle application iPhone !

Après près de deux mois de chantier, nous sommes à deux doigts de pouvoir envoyer à Apple la toute nouvelle application WE totalement réécrite en natif. Pour mémoire, la première application pour iPhone était développée comme une « web’app », donc en utilisant beaucoup de ressources réseau et avec des désavantages décrits dans ce post.

Marco Scheurer et son équipe de Sente ont travaillé en lien avec Nicolas Goy pour développer les aspects suivants:
– écrire l’application en mode natif, pour pouvoir maximiser les chances que l’application puisse être validée chez Apple et qu’elle puisse être plus réactive et maîtrisable;
– nous avons décidé de centraliser un maximum de processus dans le téléphone pour éviter d’être trop dépendants du réseau et de permettre une autonomie plus grande à l’utilisateur. Ainsi, le moteur de montage et la base de données sont installées puis synchronisées sur le téléphone, c’est juste le flux audio qui est envoyé depuis le serveur (dans le nuage chez Amazon) au téléphone;
– actuellement, pour des raisons de fiabilité de débit nous avons décidé de limiter la qualité audio à 48kbit/sec – c’est un compromis en attendant que Zencoder nous mette à disposition de l’adaptive streaming pour la mi février;
–  l’application est encore au stade beta, et la première version qui pourra être envoyée à Apple sera encore très basique et limitée autant dans les fonctionnalités que dans l’interface graphique. Nous n’avons pas encore pu implémenter la fameuse interface à bulles – là nous avons juste une playlist qui défile et qui permet d’avoir une idée plus précise des médias joués (durée, nom artistique, thématique);
– afin de donner une idée à l’utilisateur des contraintes techniques existantes (signal GPS et fiabilité du réseau 3G DATA), nous avons ajouté deux petites indications de couleur pour signaler si tout est ok (indicateurs au vert) ou s’il y a un problème avec le GPS ou le canal DATA (indicateurs en rouge);
– tout le système est actuellement prêt à pouvoir automatiser toute la chaîne depuis le déclenchement de l’enregistrement du parcours à la sauvegarde du film (avec un nom personnalisé) visible directement après sur le site internet.

Les limitations qu’il faut connaître:
– il faut désactiver la mise en veille du téléphone (mise en veille = jamais), sinon dès que l’appareil se met en veille ça coupe le son (et tous les processus); nous cherchons encore la manière de continuer les processus (écriture du tracé via le GPS, sélection des médias via le moteur de montage) et l’écoute du flux audio;
– après 3 à 5 minutes, il arrive souvent qu’au milieu de la lecture d’un média le son s’arrête, mais le compteur temporel du média continue: il faut simplement arrêter le film (clic sur stop), puis le sauver et recommencer un autre film;
– en dessous de 5 médias joués, il n’est pas possible de sauver le film (pour éviter d’avoir trop de films avec juste 2 à 3 médias)
– et comme décrit plus haut, la qualité audio est actuellement mauvaise du fait de la forte compression; cela va être amélioré dès la mi février avec la fonction de l’adaptive streaming;
– avant de marcher son premier film il faut créer son utilisateur sur une page spécifique (à venir).

Pour l’utilisation, veiller aux conditions suivantes:
– bien charger son téléphone avant de faire une ballade: l’application est très gourmande de batterie et va la vider très vite (à cause du GPS et des accès réseaux intensifs)
–  désactiver le WIFI (être sûr que l’on reste en 3G lors de la ballade, le fait de switcher du WIFI au 3G peut parfois entraîner des perturbations)
– utiliser le dispositif dehors: l’application marche seulement avec un bon signal GPS (le voyant position doit être vert, cela veut dire qu’il y a une précision d’au moins 100 mètres, ce qui n’est pas le cas si la position est calculée via les antennes de téléphonie) et il faut aussi avoir un bon signal DATA (le voyant vert audio doit aussi être vert, ce qui signifie que le flux audio est transporté via le réseau cellulaire).
– si l’application reste capricieuse (surtout avec les anciens modèles d’iPhone, le 3G par exemple), il faut désinstaller l’application du téléphone et la réinstaller.

Attention aux « pièges » suivants:
– selon l’état du réseau, il se peut que lorsque l’on clique sur Stop ou Sauver (le film) la commande prenne du temps à être prise en compte; il faut donc éviter de recliquer sur le bouton. Si l’on clique sur le bouton démarrer après avoir cliqué sur stop, on redémarre un film et le  film marché est irrémédiablement perdu!
– il faut au minimum 5 « médias » (plans joués) pour pouvoir sauver; il est conseillé de faire des enregistrements entre 2 minutes et 20 minutes. Au delà, risque de bug et sans doute aussi film trop long à regarder après…

Toute personne intéressée de tester l’application peut me contacter par mail dès le 24 janvier 2011.

Un grand merci à Marco et Nicolas pour leur travail de qualité et leur patience !