Hammerill Light Logo

libfpv - un drone FPV dans n'importe quel jeu vidéo

23 octobre 2026

Et bien bonjour à tous et à toutes, ça faisait longtemps que j'avais pas bossé sur un projet vraiment intéressant. Content de vous voir ici, on dirait que vous voulez vraiment savoir comment libfpv a été créée.

Spoiler : vous pourrez être déçus.

Avant tout, il faut que je vous montre de quoi libfpv est capable. Toi, oui toi là, vas-y, viens jouer à Mario 64 ici même : charge une partie (espace, espace), attends que Mario apparaisse et appuie sur F7 pour faire apparaître le drone :

Si vous voulez profiter du plein écran, allez sur cette URL : https://sm64ex-fpv.hammerill.com

J'ai aussi déjà présenté le projet sur Reddit, voici le tout premier post avec Super Mario 64 :

Et le suivant avec Grand Theft Auto IV :

Enfin, voici ma partie complète de SM64 jouée presque exclusivement avec le quad :

Tout a commencé quand je me suis intéressé aux simulateurs FPV en général. D'abord les simulateurs dédiés comme Liftoff et d'autres, puis les mods FPV pour les gros jeux comme GTA V. Je ne vais pas vous dire pourquoi tout ça m'intéressait au départ, c'était assez émotionnel... Je vais juste passer ça.

Bref, jouer à GTA V avec le mod FPV était excellent, c'était comme redécouvrir le jeu sous un angle complètement différent. Et puis cette sensation de liberté : les simulateurs FPV classiques vous obligent à rester dans les limites de la map, mais avec ce mod je pouvais survoler toute la map de GTA V, avec tous ses bâtiments, sa nature et tout le reste.

C'était une super expérience, et ça m'a poussé à acheter un vrai drone FPV dans la vraie vie. Aujourd'hui on peut acheter les tinywhoops les plus petits possibles, alors je me suis pris un Air65 II. Je veux souder mon propre 5 pouces plus tard mais je n'en suis pas encore là (en plus je suis nul en soudure).

Piloter ce petit bonhomme m'a fait comprendre une chose : en jouant avec le mod FPV, j'avais complètement sauté l'apprentissage de "l'armement" du drone. Je l'avais juste désactivé dans les paramètres sans jamais y repenser. Pourtant c'est ce qu'on fait tout le temps avec un vrai drone, et j'ai passé plusieurs minutes avec le tout étant bindé avant de décoller parce que je ne savais tout simplement pas qu'il fallait armer le quad ni comment j'étais censé le faire... Écrire ça me fait me sentir bête, mais j'étais vraiment dans cette situation.

C'est la première chose qui m'a fait réaliser que le mod auquel je jouais omettait des choses qui se passent dans la vraie vie, et donc qu'il ne simulait sûrement pas d'autres choses non plus.

À ce moment-là, j'ai aussi commencé à customiser l'OSD de mon drone : le niveau de batterie ici, le niveau de signal là, le nom de pilote HAMMERILL tout en bas... Et puis pouvoir masquer tout ça avec un interrupteur de désactivation de l'OSD sur ma radiocommande, parce que j'ai pas vraiment besoin de le voir 100% du temps.

Et aussi, à propos des interrupteurs. Au tout début, chaque fois que mon whoop tombait à l'envers, je devais enlever mes goggles et aller le retourner à la main. Puis j'ai vu un mec en ligne faire quelque chose de magique : un CRASH FLIP, et le drone se retourne tout seul. J'ai alors appris que c'est une vraie fonctionnalité qui s'appelle le turtle mode. Encore une fois, c'est quelque chose que le simulateur ne m'avait pas appris.

Activer le turtle mode, c'est très technique : alors que dans le simu on clique juste sur "retourner" et voilà, le drone revole, dans la vraie vie il faut désarmer, activer l'interrupteur de crash flip, armer avec (en s'assurant que le gaz est à 0%), pousser le stick dans la direction du retournement, désarmer, désactiver ce même interrupteur, armer (en s'assurant encore une fois que le gaz est à 0%) et décoller. À ce jour, je n'ai jamais joué à un simulateur FPV qui te fasse passer par toute cette procédure pour que tu puisse t'y habituer avant même de piloter un vrai drone.

...

Après tout ça, j'ai aussi voulu utiliser un drone FPV pour filmer des choses dans BeamNG.drive, notamment pouvoir le faire sur un enregistrement de scène pour me filmer en train de drifter après coup. Alors j'ai téléchargé le mod de drone FPV et... j'ai pas trouvé comment le faire apparaître. Ce n'est que plus tard que j'ai compris que le quad est un nouveau "véhicule", donc je l'ai spawn comme ça. J'ai configuré ma radiocommande mais je n'ai trouvé aucune option pour régler mes rates. Enfin j'ai décollé et... La physique était horrible, ça ne fonctionnait pas du tout comme les autres simulateurs et pas du tout comme vole mon whoop. C'était horrible, le drone ne répondait pas, ne gardait pas sa direction (normalement, dans la vraie vie, le PID sert justement à rendre le drone réactif) et tout le reste.

Je n'ai même pas essayé de le faire apparaître dans un enregistrement de scène, je ne saurais tout simplement pas comment faire apparaître le "véhicule" FPV dedans pour voler autour de la scène (mod non documenté), et avec cette physique ça m'intéressait juste pas.

Tout ça m'a fait comprendre que les "mods FPV" en général ont deux problèmes qui comptent pour moi. Les voici :

  1. Chaque mod doit être fait de zéro pour chaque jeu. "De zéro" veut dire qu'il faut passer du temps, ajuster la physique, créer/attacher l'objet drone au monde du jeu, implémenter l'OSD/rates/tuning... Il y a énormément de choses à faire et tout ça doit être refait, encore et encore, pour CHAQUE jeu où l'on veut un mod FPV.
  2. Conséquence directe du point 1, pour un jeu donné vous pouvez tomber sur des mods FPV avec : une mauvaise physique, une mauvaise intégration aux modes de jeu (par exemple ne pas savoir comment faire apparaître le quad dans un enregistrement de scène sur BeamNG), un OSD/rates/tuning mauvais ou absent... Et aucun mod FPV n'essaie d'être le plus réaliste possible, donc vous ne pourrez pas, par exemple, acquérir la mémoire musculaire du retournement en turtle mode en y jouant.

TLDR : les moddeurs doivent toujours faire tout le mod FPV de zéro et il ne sera pas aussi réaliste qu'il pourrait l'être.

Un jour, j'ai juste eu une pensée marrante : "J'aimerais jouer à un simulateur FPV où le quad tourne juste... sous Betaflight, comme un vrai drone qui vole littéralement à travers le monde virtuel, et que je puisse le régler avec le Configurator et tout ça".

Je ne savais pas encore qu'après quelques recherches, je tomberais sur pr0p, un simulateur FPV qui fait EXACTEMENT ça.

Mieux encore, ce jeu tourne sur un moteur open source appelé SimITL, c'est lui qui implémente tout le quad avec Betaflight dessus. Et il a une bonne physique puisqu'il émule le vrai comportement PID d'un vrai quad (et tout ce que fait un contrôleur de vol), donc vous pouvez ressentir un vrai prop wash, par exemple.

Voir tout ça il y a quelques mois m'a inspiré beaucoup, mais j'en ai rien fait à l'époque.

...

Vous avez vu l'énorme vague de gens qui moddent des jeux avec des IA ? Moi, oui, c'est sûr.

Tout ça m'a rappelé quelque chose que les gens faisaient il y a des années avec la décompilation de Super Mario 64, je parle de libsm64. Si vous ne savez pas ce que c'est, c'est le truc qui permet d'injecter le Mario jouable de ce jeu dans absolument n'importe quel autre jeu.

Maintenant, mettez ces deux faits ensemble : il y a la communauté FPV qui veut modder des jeux pour y mettre des drones FPV, mais ça doit être fait de zéro pour chaque jeu ; et il y a libsm64 qui permet de jouer Mario avec EXACTEMENT LA MÊME physique, les mêmes animations, contrôles et comportements que dans le jeu original, dans tous les jeux possibles.

On ne développe pas Mario de zéro à chaque fois qu'on fait un mod avec libsm64, si ?

Alors pourquoi développer un drone FPV à chaque fois ?

Je savais ce que j'avais à faire. Je devais créer libfpv, une descendante spirituelle de libsm64 qui intègre des drones FPV dans les jeux de la même manière que libsm64 le fait avec Mario.

Je savais que je serais trop lent à tout faire à la main, alors j'ai laissé l'IA faire toute la partie technique (c'est triste à dire sachant qu'il y a quelques années je faisais des projets en C/C++ à la main et que je rejetais l'IA, tout comme pour le développement de ce site sur lequel vous lisez cet article, et pour la compilation du noyau Linux avec des drivers HDMI CEC pour mon travail, où je manipulais des bits d'offset pour permettre au driver d'accéder aux périphériques, j'écrivais ça dans le device tree pour que le noyau s'en souvienne, et où l'IA était inutilisable parce qu'elle ne savait/comprenait juste rien... Pourtant aujourd'hui je dois revoir ma position et commencer à l'utiliser sérieusement). C'est simplement ce qu'est le "software dev" aujourd'hui.

L'IA a été utilisée même au niveau de la conception technique. J'ai expliqué l'idée à Claude, je lui ai dit que je voulais que libfpv soit basée sur SimITL, je lui ai fait me poser des questions de précision technique (comme où tournerait la logique de Betaflight, et si c'est le jeu ou libfpv qui calculerait la physique du drone) et me donner un prompt avec les spécifications complètes à passer à Claude Code pour initialiser le projet libfpv.

Claude Code (Opus 5.5) a commencé à construire le projet avec des modules comme SimITL, Betaflight lui-même, Dear ImGui... Puis à compiler un exemple autonome qui ressemblait un peu à pr0p avec des graphismes moins bons et une map à chier. Mais ça m'a suffi pour comprendre que ce truc avait du potentiel.

Je n'ai même pas parlé du contenu du menu ImGui, il a compris tout seul qu'il servirait à configurer la radiocommande, et même le drone lui-même comme si le Betaflight Configurator n'était pas accessible (alors qu'il l'était grâce à SimITL ; mais pas dans les versions navigateur par contre).

Tôt dans le développement, j'ai rendu libfpv compatible avec n'importe quel OS : Windows, Linux, macOS. Probablement même les consoles, mais pas encore officiellement (j'ai une PS Vita, donc dites-moi si vous voulez que je fasse quelque chose avec).

J'ai aussi travaillé à peaufiner l'intégration de Betaflight. SimITL le faisait mais n'implémentait pas certaines choses comme les éléments GPS sur l'OSD et un turtle mode fonctionnel, ainsi que la gestion des interrupteurs de désactivation de l'OSD / d'airmode... Je peux maintenant faire mon propre simulateur FPV parfaitement "réaliste", qui peut être intégré où je veux !

Après deux heures à faire tourner Claude, une fois la version initiale de libfpv terminée, je lui ai fait essayer d'intégrer libfpv dans Super Mario 64. C'est marrant parce que le projet lui-même vient de l'idée de libsm64. Après tout, c'est un jeu de mon enfance.

Je l'ai fait bosser sur un fork de sm64ex pour que la première intégration ne soit pas injectée dans le jeu mais plutôt intégrée directement dans son code source.

J'ai laissé Claude travailler pendant... 30 minutes. En 30 minutes, il a pu fournir un MVP déjà testé.

Il a rendu le drone interactif avec l'environnement, avec des collisions fonctionnelles et tout le reste lié au lien sm64ex <-> libfpv.

Le résultat était tellement bon que je devais poster ça sur Reddit. Puis je suis allé dormir. Il était tard. Fallait que je fasse des maths le lendemain matin.

En voyant que les gens adoraient l'idée, dès le lendemain soir j'ai voulu tester une vraie injection dans un jeu, un gros jeu. Parmi tous les jeux intéressants, j'ai choisi GTA IV. Pas GTA V parce que son mod FPV existant est bon, et pas GTA San Andreas que je voulais vraiment parce que je ne l'avais tout simplement pas installé.

J'ai encore laissé Claude travailler, mais cette fois c'était plus dur : d'abord il faut préparer les outils de modding, et après une heure d'attente on obtient une version initiale avec plein de bugs. Je la débugue, je fais corriger les choses à mon agent... En 3 heures au total, j'avais une autre intégration de libfpv qui fonctionnait. Donc je devais poster ça sur Reddit aussi !

Si j'ai passé 3 heures pénibles à débuguer, est-ce qu'on peut encore appeler ça du vibe coding ? 🤔

D'après Wikipédia, oui, sachant que je n'ai fait que tester le code produit et guider l'IA pour le corriger, sans le relire entièrement. Quelle honte 🙈

Après GTA IV, j'ai enfin compris que libfpv a un avenir et que je dois m'assurer que c'est l'avenir dont on a besoin. Au lieu d'essayer d'autres jeux, j'ai commencé à améliorer le cœur de libfpv lui-même et à retravailler la physique parce que j'avais eu des retours là-dessus. Tout ça pour que libfpv (et son intégration dans SM64) paraisse moins flottante et moins molle.

Les intégrations que je veux faire plus tard sont bien sûr GTA San Andreas et BeamNG.drive, les jeux que j'ai déjà mentionnés. Il y en aura encore d'autres, j'en suis sûr.

Il y a aussi un autre projet secret qui arrive avec libfpv, vous verrez 😉