Étiquette : Algorithme

MoveYourStory video

, , ,

As mentioned in a previous post, the research project MoveYourStory was finished this summer.
We are now proposing a video that presents the results and outcomes of this project.

More about the MoveYourStory project.

TAM & Memoways present the research project MoveYourStory. A mobile application generates a movie composed of small video clips selected according to the user’s position and his current behaviour. Towards this end, we have implemented an activity recognition module that is able to recognise current activities, like walking, bicycling or travelling in a vehicle using the accelerometer and the GPS embedded in a smartphone. Moreover, we added different walking intensity levels to the recognition algorithm, as well as the possibility of using the application in any position.

Closing the project Move Your Story

, , , , , ,

After 18 months of work, we are now closing the research projet « Move Your Story » with our partner TAM of the University of Geneva.
The project was funded end 2012 by the CTI, with the goal to develop an algorithm based on the sensors of a smartphone in order to drastically improve the results of our mobile application Memowalk.

La suite…

Move Your Story: the mobile app for Android

, , , ,

In the frame of the research project Move Your Story we worked on a new version of Memowalk for Android.

Here is an overview of the features of this mobile app that will be used for several projects in the next months. The whole app can be customized in order to fit to the needs of each individual customer:
– icon / logo
– splash screen and the overall design
– algorithm
– help / about

At this point, the publishing of the movie is not implemented yet, but it is possible to watch, rename and delete each walk/movie within the mobile app.

mys-memowalk-splash-web

La suite…

Une mention pour le projet « Roule ton film »

, , , , , , ,

RouleTonFilm-web

En collaboration avec le laboratoire TaM de l’Université de Genève, Memoways a soumis au concours Open Data des TPG’s le projet “Roule ton film”.

Il s’agissait de proposer aux Transports Publics Genevois, via un concours d’appel à projets lancé cet automne, une application mobile innovante qui utilise leurs données d’une manière ou d’une autre.
Nous avons mis sur rails le concept de Walking the Edit, traduit le mode interactif et non linéaire de “Marche ton film” vers les possibilités d’un mode personnalisé et linéaire de “Roule ton film”.

Résultats du concours: nous avons reçu une mention pour notre projet.
Une mention pour une application « inutile », alors que les deux premiers prix vont à des applications « utiles » (ou utilitaristes): c’est une bonne chose que les adeptes de l’open data s’ouvrent à des projets qui n’ont pas de vocation objective ni utilitariste. Le jour où il y aura réellement des ponts plus fréquentés entre le rivage des ingénieurs et la plage des artistes, les applications créées (avec de l’open data ou pas) pourraient ouvrir un peu plus nos horizons de pensées et de perception du réel…

Voici en quelques lignes des détails concernant ce projet.

La suite…

Move Your Story News

, , , , ,

The CTI research projet « Move Your Story » we are working on in partnership with the TAM team at the University of Geneva is evolving and providing first valuable results.
To illustrate the outcomes of this project we did a short video:

Move Your Story: presentation of the research project from Memoways on Vimeo.

Memoways provides a mobile application that creates movies according to the displacements of a person. The « Move Your Story » project will improve the Memoways platform by taking into account the behavior and the current interests of the user. This information will be obtained by analysing the data produced by the different sensors of a smartphone.

Here are two screenshots of 1) the interface of the android app we are using to get behavioral pattern within time, and 2) a presentation of results.

 We will include this algorithm within our already existing Android mobile application  for Q4 2013.

What’s new:
– map: see assets (content) on the map; get own position and trace; see the recorded path on the map with the chosen audio files;
– audio: play individual audio files (on the map / through a list)
– use scenario: choose the « genre » or type of content you wish to get (drop down list with 2 – 4 choices).

What’s coming:
– improved interface (UX & design)
– integration of the behavior algorithm & improvement of the editing engine
– integration of new taxonomies & metadata to improve the editing engine
– more to come…

Here are some screenshots from the other developments of the Android version of our mobile application (map, audio & use scenario).

Background informations about the WE project

, ,

Walking through some questions, concepts, answers…

Looking back on our way (lessons learned).

Even in a software centric approach, human decision and choices are very important (in the design of the algorithm, for example): the resulting interactions have to create an immersive experience for the user, leading to a complementary approach to storytelling. The resulting « algorithmic movies » should not be taken as replacements to existing « hand made movies », but as a new narrative continent, where stories unfold through the connections between content, users and places.

The difficulty and the challenges of this project are in finding a right and interesting balance between authorship and (inter)active users, between designing a story and designing a storyworld, between a framed narration and an open experience.

La suite…

Conférence « Machines d’écriture » le 15 mars à la Gaîté Lyrique

, ,

Je vais intervenir avec une présentation du projet Walking the Edit dans le cadre de la « conférence de lancement du MCD #66 Machines d’écriture » le 15 mars à la Gaîté Lyrique à Paris.

Voici le résumé de mon intervention:

Dans les années 1920, « l’effet Koulechov » a contribué à définir une écriture cinématographique moderne, en la libérant des réflexes hérités des formes d’art pré-existantes (théâtre, peinture). Presque 100 ans plus tard,  la même question revient à l’ordre du jour, mais cette fois ci concernant le cinéma lui-même: comment est-ce que l’on peut réaliser et produire un projet qui utilise les nouveaux outils et possibilités de manière « native » ?
Le projet Walking the edit propose d’explorer la narration combinatoire sur le principe d’une interaction « organique » (la marche à pied) avec une base de données géolocalisée (la mémoire audiovisuelle d’un territoire). Cette présentation propose de poser les enjeux de la narration combinatoire (les liens entre les images – le montage – n’est pas décidé de manière unique et figée en amont de l’expérience), de la co–création (le spectateur a une place active et créative dans le processus de réception) ainsi que de la valorisation des contenus créés dans le cadre d’un projet (proposer un accès original aux contenus qui ne sont pas visibles dans un film « classique »).

Avec le soutien du Ministère de la Culture et de la Communication, la Région Île de France,Orange, e-artsup, et Digitalarti

Le compte rendu de la conférence est ICI.

Le moteur de montage

, ,

Il s’agit bien de la pièce maîtresse de tout le dispositif, même si c’est la partie que l’on a pu le moins travailler jusqu’à présent (les autres chantiers étant indispensables pour pouvoir tester ce moteur, donc ils sont passés devant). Ce n’est que grâce à ce moteur que l’application pour iPhone peut sélectionner les « bons » médias et les faire suivre de la « bonne manière » dans un flux audio qui va pouvoir être écouté en temps réel lors de la ballade enregistrée.

Depuis le dernier post sur le sujet, nous avons élaboré une nouvelle manière de chercher à sélectionner ces « bons » médias, en faisant un système de score: chaque critère (proximité, thématique etc) a une échelle de scores selon l’importance que l’on a envie de lui attribuer (voir les détails plus bas – c’est en constante évolution).

ACTUELLEMENT le moteur fonctionne avec les critères suivants (mis à jour le 22 janvier 2011):
–  proximité (chercher les médias les plus proches -> le plus proche reçoit 100 points, le deuxième 99 etc); nous sommes passés d’un préfiltrage de la base de donnée basée sur la proximité de 50 médias à 100 médias;
– continuité thématique (chercher les médias qui ont la même thématique que le média lu actuellement); nous sommes en train de faire des tests sur ce paramètre pour en même temps garantir une continuité narrative tout en évitant que le moteur sélectionne des médias trop loin du tracé…
– la relation vitesse – durée n’est pas encore implémentée mais le sera tout prochainement – à suivre…

Comme préambule concernant la terminologie utilisée: média = plan = clip (ça peut varier entre 3 secondes et plusieurs minutes; mais cela veut surtout dire qu’il n’y a pas de montage à l’intérieur de ce média).

Il y a également les contraintes suivantes:
 – un historique garde la trace des médias sélectionnés par les trajets d’un utilisateur donné: l’enjeu est d’éviter qu’une même personne « reçoive » plusieurs fois le même média en faisant des trajets similaires;
– de la même manière, il est interdit de répéter un média deux fois dans le même film;
– on ne peut pas couper dans un média (obligation de jouer le média sélectionné sur toute la durée); donc si l’on a un long clip de 1min30 et que l’on pique un sprint au début de ce plan, ce n’est qu’à la fin de ce long clip que l’on va avoir des médias plus courts (que le moteur de montage nous retourne la forme du film relative à la structure de notre parcours, en l’occurrence avec une vitesse rapide donc avec des plans très courts).

Concernant les développements futurs, il faut savoir les choses suivantes:
 – actuellement le montage est en « monopiste »: on est en « cut » de média à média (avec la contrainte de devoir jouer des plans de A à Z). L’idéal est d’être en multipiste, donc de pouvoir faire des inserts sur des pistes 2 et 3 et ainsi placer des plans courts par dessus ce long interview (voir exemple ci dessus) au moment où la personne change de comportement. Aussi, le multipiste permet de faire un montage en séparant une piste IN (des voix par exemple) des pistes EFFET (son spécial sur une courte durée) et AMBIANCE (son d’ambiance plus long, avec une ambiance à l’image également). Le résultat visuel sera défini en fonction de l’état des plans insérés (en mode audio seulement ou audio-visuel);
– il manque encore plein de critères pour affiner la sélection pour le montage:  continuité / discontinuité de la saison, du moment de la journée, tri par chronologie de date de tournage, d’origine (archive, tournages spécifiques), de sujet, de tags etc…
– il y a aussi la volonté de permettre à l’utilisateur de définir avant son parcours via un preset personnel ce qui l’intéresse de recevoir: film historique (donc préfiltrage de la base via les dates de tournages); film sur une certaine thématique (donc préfiltrage via une thématique choisie); film selon un type de média (par exemple seulement des interviews ou seulement des plans d’ambiance etc); films sur un sujet unique (seulement des bâtiments ou seulement des personnes etc); etc etc

Voici quelques détails des réglages actuels de notre calculateur de scores (écrit en lua):

Scores à attribuer pour chaque critère
Scénario: Appartenance au scénario choisi par l’utilisateur: 100 points
Distance (proximité): Distance la plus courte: 50 points (enlever un point pour chaque média qui suit, en garder donc 50)
Durée (relation durée/vitesse): Durée la plus proche par rapport à la vitesse instantanée: 50 points (cf table ci dessous). Si la durée n’est pas dans le bon range, 0 point
Qualité: Nombre d’étoile x 2 (par exemple 10 points pour un 5 étoile)
Movie use count: Nombre d’utilisation x 2 en déduction du décompte final
Thématique (continuité) Donner 50 points au médias qui ont la même thématique que le média lu actuellement
Table vitesses (relation vitesse à durée)
0 à 1 au delà de 30 secondes
1 à 2 20 à 30 sec
2 à 3 10 à 20 sec
au delà de 3 en dessous de 10 secondes

Nouvelle application iPhone !

, , , , , ,

Après près de deux mois de chantier, nous sommes à deux doigts de pouvoir envoyer à Apple la toute nouvelle application WE totalement réécrite en natif. Pour mémoire, la première application pour iPhone était développée comme une « web’app », donc en utilisant beaucoup de ressources réseau et avec des désavantages décrits dans ce post.

Marco Scheurer et son équipe de Sente ont travaillé en lien avec Nicolas Goy pour développer les aspects suivants:
– écrire l’application en mode natif, pour pouvoir maximiser les chances que l’application puisse être validée chez Apple et qu’elle puisse être plus réactive et maîtrisable;
– nous avons décidé de centraliser un maximum de processus dans le téléphone pour éviter d’être trop dépendants du réseau et de permettre une autonomie plus grande à l’utilisateur. Ainsi, le moteur de montage et la base de données sont installées puis synchronisées sur le téléphone, c’est juste le flux audio qui est envoyé depuis le serveur (dans le nuage chez Amazon) au téléphone;
– actuellement, pour des raisons de fiabilité de débit nous avons décidé de limiter la qualité audio à 48kbit/sec – c’est un compromis en attendant que Zencoder nous mette à disposition de l’adaptive streaming pour la mi février;
–  l’application est encore au stade beta, et la première version qui pourra être envoyée à Apple sera encore très basique et limitée autant dans les fonctionnalités que dans l’interface graphique. Nous n’avons pas encore pu implémenter la fameuse interface à bulles – là nous avons juste une playlist qui défile et qui permet d’avoir une idée plus précise des médias joués (durée, nom artistique, thématique);
– afin de donner une idée à l’utilisateur des contraintes techniques existantes (signal GPS et fiabilité du réseau 3G DATA), nous avons ajouté deux petites indications de couleur pour signaler si tout est ok (indicateurs au vert) ou s’il y a un problème avec le GPS ou le canal DATA (indicateurs en rouge);
– tout le système est actuellement prêt à pouvoir automatiser toute la chaîne depuis le déclenchement de l’enregistrement du parcours à la sauvegarde du film (avec un nom personnalisé) visible directement après sur le site internet.

Les limitations qu’il faut connaître:
– il faut désactiver la mise en veille du téléphone (mise en veille = jamais), sinon dès que l’appareil se met en veille ça coupe le son (et tous les processus); nous cherchons encore la manière de continuer les processus (écriture du tracé via le GPS, sélection des médias via le moteur de montage) et l’écoute du flux audio;
– après 3 à 5 minutes, il arrive souvent qu’au milieu de la lecture d’un média le son s’arrête, mais le compteur temporel du média continue: il faut simplement arrêter le film (clic sur stop), puis le sauver et recommencer un autre film;
– en dessous de 5 médias joués, il n’est pas possible de sauver le film (pour éviter d’avoir trop de films avec juste 2 à 3 médias)
– et comme décrit plus haut, la qualité audio est actuellement mauvaise du fait de la forte compression; cela va être amélioré dès la mi février avec la fonction de l’adaptive streaming;
– avant de marcher son premier film il faut créer son utilisateur sur une page spécifique (à venir).

Pour l’utilisation, veiller aux conditions suivantes:
– bien charger son téléphone avant de faire une ballade: l’application est très gourmande de batterie et va la vider très vite (à cause du GPS et des accès réseaux intensifs)
–  désactiver le WIFI (être sûr que l’on reste en 3G lors de la ballade, le fait de switcher du WIFI au 3G peut parfois entraîner des perturbations)
– utiliser le dispositif dehors: l’application marche seulement avec un bon signal GPS (le voyant position doit être vert, cela veut dire qu’il y a une précision d’au moins 100 mètres, ce qui n’est pas le cas si la position est calculée via les antennes de téléphonie) et il faut aussi avoir un bon signal DATA (le voyant vert audio doit aussi être vert, ce qui signifie que le flux audio est transporté via le réseau cellulaire).
– si l’application reste capricieuse (surtout avec les anciens modèles d’iPhone, le 3G par exemple), il faut désinstaller l’application du téléphone et la réinstaller.

Attention aux « pièges » suivants:
– selon l’état du réseau, il se peut que lorsque l’on clique sur Stop ou Sauver (le film) la commande prenne du temps à être prise en compte; il faut donc éviter de recliquer sur le bouton. Si l’on clique sur le bouton démarrer après avoir cliqué sur stop, on redémarre un film et le  film marché est irrémédiablement perdu!
– il faut au minimum 5 « médias » (plans joués) pour pouvoir sauver; il est conseillé de faire des enregistrements entre 2 minutes et 20 minutes. Au delà, risque de bug et sans doute aussi film trop long à regarder après…

Toute personne intéressée de tester l’application peut me contacter par mail dès le 24 janvier 2011.

Un grand merci à Marco et Nicolas pour leur travail de qualité et leur patience !

Premiers tests de moteur

, , ,

En attendant de pouvoir générer un film avec les paramètres décrits dans ce post, voici les premiers avec « stalker », notre moteur de montage.

Le tracé (en vert-orange sur la carte) avec les clips choisis (les plans audio-visuels présentés ici sous forme de punaises); en dessous, la timeline (notre playlist en deux étages) qui présente les plans de type « contexte » (piste 2) et les plans « ambiance » (piste 1) ->cf ce post pour les détails.
Il est donc possible d’imaginer le film résultant (si l’on sait à quels clips se reportent les noms dans la timeline)…

timeline

Et une autre capture d’écran de notre nouveau CMS (l’interface de travail online pour notre base de données et le moteur de montage) :
– la combinaison du tracé (en orange) avec le lissage de vitesse (en vert), qui lui même est présenté sous forme de graphe ci dessous;
– les variations longitude / latitude
– et le lissage de vitesse (c’est là que l’on voit que sans lissage, il y a du bruit et ce qui est enregistré en brut depuis l’iPhone n’est pas vraiment utilisable)

graphes