Test Apple Scribble : l'IA vs l'écriture liée
29/6/2020
Dans la version 14 d'iPadOS, le logiciel Apple reconnaîtra les notes écrites avec le Pencil comme du texte. La fonctionnalité est à environ 90 % de là où elle devrait être. Une belle écriture attachée ne pose aucun problème au logiciel, mais la langue allemande si.
Avec iPadOS 14, Apple met sur le marché une fonction appelée Scribble. Scribble n'est rien d'autre que la dernière tentative d'un géant de la technologie pour reconnaître et interpréter l'écriture humaine comme un texte. Après la mise à jour sur un iPad Pro de deux ans, il est temps d'analyser le système et de s'essayer à l'écriture attachée. Car jusqu'à présent, c'était elle qui rendait la vie difficile à chaque ordinateur.
Et pour vraiment nous amuser, nous testerons jusqu'où ira Scribble avant de jeter l'éponge. Comme mon écriture est généralement considérée comme illisible – parfois je ne peux pas lire mes propres notes, mais heureusement, je me souviens de ce que j'ai écrit –, je veux savoir à quel point je peux gribouiller avant que Scribble rende les armes.
Si l'explication de la complexité et la problématique de la reconnaissance de l'écriture manuscrite ne vous intéressent pas, vous pouvez passer au sous-titre « Scribble : caché, mais actif ».
Écriture manuscrite : plus complexe que prévu
Avant de commencer le grand test, quelques mots sur l'écriture manuscrite et ses particularités, ses problèmes et ses avantages. Si vous voulez programmer la reconnaissance de l'écriture, vous êtes confronté à une complexité presque infinie. Lorsque vous lisez une écriture, votre cerveau fait une abstraction extrême.
J'ai demandé à trois collègues s'ils pouvaient écrire le mot « Digitec » sur un morceau de papier.
Si une machine doit comprendre cela, alors elle est confrontée à des images, pas à des écritures. Car lorsque vous tapez sur le clavier, quelle que soit la police que vous choisissez, un « D » est toujours un « D ». Même si elle est écrite en Wingdings, la machine a stocké une valeur qui lui permet d'interpréter la lettre comme un « D » sans se tromper.
Mais si vous écrivez à la main, la machine a devant elle une image qu'elle doit analyser. Cela commence déjà pour la première lettre ci-dessus, la majuscule « D ». Dans le cordage, le « D » a une courbe, qui pourrait également être interprétée comme un « d ». Alors l'arc du « D » devrait être un peu différent. Si vous gribouillez un « e », il peut ressembler à un « c », selon la densité de votre écriture. Un « g » peut être ouvert ou fermé en haut, ce qui le rend similaire à un « y ». Ensuite, s'ajoute le fait que deux lettres ne sont jamais identiques, même si elles sont écrites par la même personne. Sur les photos ci-dessus, on peut voir six "i" différents, écrits par trois personnes.
Pourtant, la reconnaissance de l'écriture sur une tablette est une chose attrayante. Parce que si vous pouvez simplement gribouiller dessus – « to scribble » en anglais – et que la machine le comprend, alors vous avez enfin ce que beaucoup de gens veulent : un bloc-notes numérique qui mérite son nom. L'intelligence artificielle (IA) reconnaît vos gribouillis et reconnaît lettre par lettre votre écriture comme si chaque valeur avait été tapée au clavier ; un texte parfaitement compréhensible, écrit à la main.
L'idée de la reconnaissance de l'écriture manuscrite n'est pas nouvelle. Dans les années 1990, la société Palm avait une forme de reconnaissance de l'écriture sur son Personal Digital Assistant Palm Pilot, une sorte de « bloc-notes numérique ». Comme le logiciel n'était pas assez rapide ou intelligent pour reconnaître les facettes de l'écriture manuscrite, les développeurs de l'époque ont créé une police sténographique appelée « Graffiti ». Il fallait dessiner des symboles sur l'écran et le Palm les interprétait correctement dans l'ensemble.
Mais Graffiti ne s'est pas imposé et la reconnaissance de l'écriture par le logiciel est passée à la trappe. Apple et l'univers Android ont livré des claviers sur leurs tablettes et ont passé sous silence la reconnaissance de l'écriture manuscrite. Des claviers matériels, filaires et sans fils, ont été construits.
L'idée de la reconnaissance de l'écriture est cependant restée dans les esprits des développeurs et Apple prétend maintenant avoir résolu le problème environ 25 ans après l'idée.
Scribble : caché, mais actif
Lors de la démo présentée dans le cadre de la Key Note Apple de la World Wide Developer Conference (WWDC), la fonctionnalité n'a été montrée qu'en action, et non pas dans sa mise en œuvre. Bonne nouvelle : Scribble est activé par défaut. Dans votre iPad OS, les paramètres se trouvent sous Settings → Apple Pencil.
Typiquement pour Apple, à part la fonction on/off, vous n'obtenez pas beaucoup de réglages. Mais qu'y aurait-il à ajuster ? Vous voulez écrire, l'iPad doit reconnaître et l'IA doit fonctionner. Vous n'avez pas besoin de réglages du genre « Niveau de détection : élevé » ou autre.
Scribble est profondément intégré au système. Vous pouvez modifier n'importe quelle zone de texte avec l'Apple Pencil et y entrer le texte. Cela concerne également les champs de texte dans les applications d'autres développeurs. Ainsi, vous pouvez même faire des recherches Google avec votre écriture. Je peux entrer une adresse dans Snowhaze Browser. Ou chercher des iPad sur digitec.ch, ce qui est complètement inutile, car j'en ai déjà un. Si vous écrivez légèrement sur les bords de la zone de texte, ce n'est pas grave. L'iPad comprend quel champ de texte vous utilisez actuellement et où vous écrivez.
C'est encore un peu inhabituel. Surtout que dans ma tête, je pense toujours à des choses comme « est-ce que l'iPad reconnaît ça ? ». En général oui, des fois non.
Sans IA, rien ne fonctionne
Il s'avère que l'iPad a de gros problèmes avec le mot « Digitec », ou, en respectant le CDCI, « digitec ». Le « g » est souvent interprété comme un « j » ou un « y ». Le « c » à la fin est parfois un « r ». Mais quand je cherche le titre de la chanson « Everything is awesome », on voit comment fonctionne le système. Ou du moins comment il pourrait fonctionner. Apple est très secret sur la façon dont Scribble fonctionne. Le fait est que l'IA joue un grand rôle.
Je commence donc à écrire dans l'appli Google. Après « Everything », mes pattes de mouche sont converties en écriture numérique. Le mot « Everything » entre alors dans le champ de recherche Google. Après « is », la même chose se produit. Je n'ai donc même plus besoin d'écrire « Awesome », car Google me le propose. Cela signifie que l'IA de Google et celle de l'iPad savent ce que je veux. Ou ce que veulent la plupart des utilisateurs lorsqu'ils commencent par « everything is ». Je peux donc écrire « awesome » tellement mal qu'un « a » est à peine reconnaissable et iPadOS pense « oui, c'est clair » et me montre la chanson de « The Lego Movie ».
Par conséquent, le système pourrait avoir des problèmes avec « Digitec » ou « digitec ». Bien que l'entreprise soit un géant sur le marché suisse, digitec est totalement insignifiante dans le contexte de l'Internet mondial.
Apple utilise donc les données de recherche de Google ? Possible. Je soupçonne plutôt les données de recherche de Google d'être un facteur qui sert à l'interprétation. Car il pourrait y avoir beaucoup de données en arrière-plan. Théoriquement, si vous pouviez donner l'autorisation à Scribble, de scanner le logiciel de vos e-mails pour découvrir les termes que vous aimez utiliser et les inclure dans la corrélation du griffonnage avec les lettres écrites.
Scribble est rapide. L'IA reconnaît certains mots si rapidement qu'il est presque impossible de prendre des captures d'écran de l'écriture dans les champs de recherche. Impressionnant.
Copier / coller ; pénible, mais fonctionnel
Scribble fonctionne également dans Notes, le bloc-notes Apple. Si vous écrivez quelque chose, vous pouvez le sélectionner et le copier. Attention : si vous ne sélectionnez que « Copy », iPadOS vous copie le graphisme de l'écriture. Vous devez sélectionner « Copy as Text » pour copier le texte sous forme de texte. C'est un peu pénible, mais compréhensible. Après tout, que faire si vous souhaitez seulement copier le graphisme un jour ?
Également pénible est le fait que l'iPadOS ne vous montre pas ce que vous copiez lorsque vous sélectionnez « Copy as Text ». Est-ce que j'ai maintenant copié « Digitec » ou « Dijiter » ? Je le découvrirai après insertion. Ainsi, avec le copier-coller, vous ne savez pas vraiment à quoi vous attendre et ne le découvrez qu'après avoir inséré le texte. Aurait-il été si difficile d'afficher le texte que le logiciel lit dans le menu contextuel ?
Le test de résistance : quand Scribble échoue-t-il ?
Aux États-Unis et au Canada, l'écriture liée n'est pas vraiment courante. Elle peut être enseignée dans les écoles, mais ce n'est pas une obligation. En Suisse, on enseigne l'écriture basique. Si nécessaire, elle peut être utilisée pour joindre des lettres si cela facilite le flux d'écriture. L'écriture liée, telle que nous l'avons apprise à l'époque, est devenue obsolète, tout comme Graffiti. Ou la sténographie dans son ensemble.
Le problème : ce n'est pas parce qu'il existe des logiciels pour reconnaître l'écriture attachée que je veux réapprendre à écrire. Car si le fabricant prétend que mon écriture est reconnue, alors je veux pouvoir utiliser mon écriture. Et, pour mon cas, c'est l'écriture liée, enseignée à travers des années d'écriture au stylo à bille sur du papier faisant presque à chaque fois office de brouillon.
Je soupçonne donc que quelque part se trouve un point où le logiciel rendra les armes. Le test est censé se faire avec le mot « Apple ». J'écris dans Notes, je copie et je cherche dans Google ce que le logiciel a reconnu.
Comme prévu, « Apple » en caractères d'imprimerie fonctionne parfaitement.
J'écris donc Apple en écriture liée soignée. Soignée, selon mes critères. C'est comme ça que j'écris quand je veux écrire quelque chose que d'autres personnes devraient pouvoir lire. Ce n'est pas toujours le cas, mais Scribble s'en tire bien.
Voilà comment j'écris quand je prends des notes. J'en suis au stade « je n'arrive plus à me relire, mais je sais ce que je voulais écrire ». iPadOS me propose « Copy as Text », donc cela pourrait être n'importe quoi. Il reconnaît l'écriture en tant qu'écriture. Encore mieux : iPadOS reconnaît le gribouillage comme « Apple ».
Ajoutons donc de la complexité. Mais cette fois-ci, seulement dans une écriture liée et laide. Je remarque que l'écriture sur le verre de l'iPad est extrêmement laborieuse et glissante. Donc si vous voulez écrire beaucoup à la main sur l'iPad, je vous recommande fortement d'utiliser un protecteur d'écran comme Paperlike.
Normalement, je devrais écrire ces mots-clés directement dans la boîte de recherche Google, mais je ne pourrais pas vous montrer à quoi Scribble doit faire face. C'est pourquoi j'écris dans Notes et fais du copier-coller dans Google.
Ça ne marche qu'à moitié. Scribble ne reconnaît pas « Everything is awesome », mais « Everything is ansane ». Est-ce que le mot « ansane » existe ? J'espère que Google remarquera que ce n'est pas un mot, qu'il ajoutera donc un peu d'IA à l'enchaînement de lettres et reconnaîtra « Awesome ». Non, je trouve des noms de groupes bizarres et autres trucs du genre, mais pas la chanson du film.
Mon écriture est généralement si illisible qu'au fil des ans, j'ai trouvé un mot que personne ne peut vraiment lire du premier coup. Parce que dans mon cas, les lettres « n », « m », « i », « s », « v », « w », « e » et « u » sont constituées du même élément visuel : ∧.
Testons voir ma théorie avec le mot :
Oui, c'est un mot allemand correct. Il est même dans le Duden. Exactement comme je l'ai écrit. Et c'est parce qu'il ressemble à un groupement aléatoire de pics que je pense que Scribble va rendre les armes.
J'écris, je copie et colle le tout dans Google. « Nomuinn ». Je dois accorder à Scribble que « om » est correct. Le reste ? Non. La recherche sur Google pour « Nomuinn » ne donne alors pas grand-chose. Des données climatologiques de l'État américain du Kansas, par exemple.
Si vous arrivez à me dire ce que j'ai écrit, je vous offre un petit rien. C'est un peu comme comme un prix normal, sauf que vous ne recevez rien d'autre qu'un remerciement écrit à la main. Avec un petit cœur. Rédigé sur l'iPad.
Il faut beaucoup pour que Scribble échoue. Je n'ai pas besoin de trop changer d'écriture, mais l'IA fonctionne mieux en anglais qu'en allemand. Mais même avec la traduction anglaise de mon mot infernal ci-dessus, Scribble n'y arrive pas. Les formes ne sont probablement pas assez claires. Quand j'écris « Das ist ein Test » (ceci est un test), j'obtiens la phrase absurde « Pas int ein Test ». En revanche, « This is a test » n'est pas un problème pour Scribble. « Winter is coming » aussi, « Best ever » – à prononcer avec la voix de Tim Cook, bien sûr – est aussi reconnu sans problème par l'iPad.
Le problème
Si vous imaginez maintenant que vous pouvez écrire des textes entiers, comme cet article ici, avec l'Apple Pencil, ce n'est qu'à moitié possible. Dans Notes, vous pouvez gribouiller tout ce dont vous avez envie et copier le tout dans Pages ou un Google Doc. Mais la belle reconnaissance de l'écriture manuscrite comme elle existe dans le champ de recherche Google, n'est disponible ni dans Notes, ni dans Pages, ni dans Google Docs. Vous ne pouvez donc pas écrire à la main et attendre que le logiciel transforme votre écriture en texte numérique. Oui, ce serait génial.
Outlook peut le faire. Mais on dirait que cette fonction est cassée. J'écris donc un mail au rédacteur Luca Fontana, que je n'ai pas encore embêté aujourd'hui. La reconnaissance de l'écriture ne fonctionne vraiment bien que si j'écris en très gros caractères, c'est-à-dire beaucoup plus gros que ce qui rentrerait dans le champ de texte. Bon, ça, je ne peux rien y faire. Mais à cela s'ajoute aussi le fait que je ne peux pas faire de retour à la ligne.
Scribble me surprend. Il est très rapide, reconnaît même l'écriture liée et me facilite grandement le travail avec l'iPad. Mais il n'arrive pas encore à venir à bout des longues phrases. Oui, il est facile de rayer les mauvais mots, mais au final, je gagne plus de temps si je tape le texte sur mon clavier que si je me fie à l'IA de Scribble et espère en tirer des lettres correctes quand j'écris normalement. Mais si je veux me faire un mémo dans Notes ou faire une recherche avec Google, le système Scribble est fonctionnel et fiable.
Je dirais que Scribble a fait 90 % du chemin qu'il devait faire. Il n'est pas encore tout à fait le saut quantique que nous avions espéré dans le fonctionnement des tablettes. Il manque aussi de précision, de compréhension de la langue allemande – je ne parle pas du suisse allemand – et de choses comme la prise en charge du retour à la ligne. Mais je suis sûr que cela va venir. Après tout, l'idée d'écrire à la main sur une tablette et pas seulement de dessiner est trop belle pour être laissée de côté.
Voilà, j'ai fini. J'attends de savoir ce que Luca a à dire sur mon magnifique e-mail.
Journaliste. Auteur. Hackers. Je suis un conteur d'histoires à la recherche de limites, de secrets et de tabous. Je documente le monde noir sur blanc. Non pas parce que je peux, mais parce que je ne peux pas m'en empêcher.
Smartphone
Suivez les thèmes et restez informé dans les domaines qui vous intéressent.
22 commentaires
later