Mais Que Choisir ? laissons faire le mannequin !

Un article du mensuel UFC – Que Choisir de mars 2020 teste les aides auditives de Classe I dans différentes conditions sonores, en les comparant aux aides auditives de Classe II des mêmes fabricants.

Il s’agissait d’évaluer « …l’intelligibilité, c’est à dire la compréhension des mots, […] d’un mannequin équipé d’un appareil à l’oreille gauche… ».

C’est donc un mannequin doué d’intelligibilité, nous arrivons donc plus vite que prévu à ce futur tant redouté où les robots supplanteront l’humain !

Le but ici n’est pas de dénigrer gratuitement les mesures faites par ce mensuel, mais de soulever des interrogations de ma part, et de comparer les modèles testés par Que Choisir avec ces mêmes modèles testés par bibi, car ça tombe bien, je les ai (presque) tous en stock !

• Tout d’abord, rectifions un peu : l’intelligibilité est le degré de compréhension d’un message, c’est à dire en passant par le filtre de l’intellect. Donc parler d’intelligibilité, dans le cas d’un mannequin, est un peu exagéré. Au mieux, on pourra calculer le SII (Speech Intelligibility Index) ou ses dérivés (STI, ESII, etc.), mais dans ce cas, le terme « Intelligibility » est en fait une mauvaise traduction mot à mot de l’anglais par « Intelligibilité » : la norme ANSI S3.5-1997 le définit plutôt comme l’émergence des indices vocaux au-dessus du bruit et/ou du seuil d’audition. L’article de UFC – Que Choisir devrait plutôt parler d’audibilité au lieu de parler d’intelligibilité, les processus cognitifs n’intervenant pas.
• Il est effectivement intéressant (je fais de même) de tester objectivement une aide auditive sur la base d’un audiogramme standard, mais je suis très très dubitatif quand ce magazine classe les performances avec un critère « Intelligibilité de la parole ». « Intelligibilité » : lorsque ce terme est utilisé à bon escient, il s’agit d’une notion bien peu fiable. Par exemple pour 18 patients malentendants à audiogrammes homogènes, voici à quel point les différences d’intelligibilité réelle sont énormes d’un malentendant à l’autre (pourtant avec un même appareillage bilatéral) :

Je précise que l’étude ci-dessus a été réalisée avec des… Widex Evoke 440 !! Et que les malentendants testés ici (avec une vraie intelligibilité pour le coup) montrent pour une moitié d’entre eux une restauration totale de l’intelligibilité dans le bruit et pour ces conditions de test. Qui a raison ? Qui a tord ? Le minimum de prudence tu garderas (Dicton Yoda).

Et même sur des sujets « normo-entendants » l’intelligibilité dans le bruit est une notion plus que relative :

UFC – Que Choisir juge le Widex Evoque 440 comme l’appareil le moins bon de ceux testés. Je l’avais pourtant trouvé parmi les plus homogènes et performants dans une ambiance Voix + Bruit ! Mais bon, je vais certainement encore être accusé d’un hypothétique lien d’intérêt avec ce fabricant ou je ne sais quoi… Que valent mes tests face à ceux de Que Choisir ? Que ce soit l’Evoke 440, ou un autre modèle d’un autre fabricant, je reste très surpris par la différence entre ce que j’ai pu mesurer objectivement et subjectivement, et le jugement couperet de Que Choisir. J’ai donc des questions légitimes sur la méthodologie (la leur).

Prudence, prudence, prudence chers lecteurs malentendants : jamais un audioprothésiste qui se respecte ne vous fera des promesses d’intelligibilité tant sont différentes les cochlées, les voies auditives supérieures et les cerveaux qui sont au bout. C’est un fondamental de l’audioprothèse : on règle le plus finement possible, et l’appareillage bien réalisé nous amène à une constatation finale (c’est à dire l’intelligibilité réelle) des capacités du patient.

• Comment tester une pseudo-intelligibilité avec une aide auditive ? Là, Que Choisir reste discret, très discret. Nous lisons juste qu’il y a un mannequin sur lequel est placée une aide auditive. C’est déjà un biais : quasiment toutes les aides auditives sont faites pour fonctionner en réseau de microphones dans le bruit, donc par paires. Même si l’on enregistre qu’un côté, une seconde aide auditive va permettre une bien meilleure focalisation des microphones, en théorie, ainsi qu’un meilleur démasquage dans le bruit par restitution ou renforcement de l’ILD (Différence Inter-aurale de Niveau) présente sur de plus en plus d’aides auditives. Tester avec une seule aide auditive et en extrapoler un résultat (le plus souvent binaural) d’intelligibilité, je ne m’y suis jamais risqué.
• Les tests objectifs et la pseudo-réalité : là encore, mais c’est toujours mon petit avis, il faut rester très humble et très prudent devant la complexité d’une telle mesure. Vous avez dû lire, en parcourant les nombreux articles dont je me faisais l’écho, qu’une analyse objective de performance d’aides auditives est une mesure de labo très complexe à mettre en oeuvre et encore plus périlleuse à exporter dans la vie réelle. Grossièrement, l‘ analyse la plus courante et la plus robuste pour analyser le RSB ou le SII à la sortie d’une aide auditive, consiste à séparer le signal et le bruit par une technique d’inversion de phase développée en 2004 par Hagerman&Olofsson. Afin de réussir ces « extractions » et de recomposer le RSB ou de calculer le SII résultants, il faut travailler dans des conditions très particulières et avec des réglages d’aides auditives très contrôlés :
  • pas de mesure live possible (donc que vaut la situation en voiture avec le moteur en marche ?)
  • pas d’anti-larsen activé (sous peine d’inversion de phase du signal, donc d’extraction de la voix ou du bruit impossible)
  • un environnement sonore hyper contrôlé (très silencieux en dehors des signaux testés), reproductible (les conditions SpN, SmN, etc. doivent durer le même nombre d’échantillons, être strictement alignées), non-mouvant (c’est à dire se répétant strictement afin que les signaux enregistrés soient ensuite alignés, et séparés en phase pour en extraire le bruit et la parole)

• L’effet de la spatialisation : là aussi, il faut une grande prudence dans l’analyse et les commentaires des résultats obtenus. Si par exemple je reprends le Widex Evoque 440 FS dont il est question dans l’article (mais c’est une manie !!) : comme tout appareil, en fonction de la spatialisation (angles) du bruit et de la parole, les résultats absolus dans le bruit ne seront pas les mêmes. Pour exemple, ces appareils avec la voix de face (0°) et un bruit derrière (180°) :

Et si on modifie la spatialisation du bruit, avec deux sources de bruit derrière, à 135 et 225°, la voix toujours devant à 0° :

Des résultats absolus totalement différents. Si je ne regardais que les courbes rouges, dans le second cas, les aides auditives me paraîtraient très peu efficaces. Si par contre je compare à une référence, qui peut être l’oreille opposée du mannequin, ou comme ici le même appareil sans ses algorithmes, la mesure prend tout son sens. Il s’agit à mon petit avis d’audioprothésiste d’un des 4 appareils les plus performants que j’aie pu tester à ce jour (6 mesures diverses en tout pour ce modèle, et toutes homogènes), sur la bonne trentaine de mesures qui doivent traîner dans mes disques durs.

Il me semble très important de prendre en compte une référence pour évaluer une aide auditive. Les mesures peuvent être faites avec ou sans algorithmes activés, avec appareils et sans appareils, etc. Il s’agira donc d’une mesure relative, et non absolue.

Par exemple, donner la note de 12/20 (c’est précis) à un modèle qui n’apporterait « que » 60% de SII en milieu bruyant serait peut être très réducteur. Je n’ai jamais voulu m’y risquer dans l’absolu, sachant que sans appareil (mesure au microphone de référence, par exemple) le SII dans cette même condition est très certainement autour de 30 à 40% à RSB 0dB. Concrètement pour cet exemple, l’apport serait très important et permettrait potentiellement une intelligibilité complète.

Comment juger d’une qualité de l’intelligibilité quand on ne sait pas quelle était cette intelligibilité « sans » (sans algorithmes, sans appareils, etc.) ? Comment évaluer des appareils entre eux quand les conditions de mesures peuvent différer entre elles (en voiture par exemple où la situation d’une mesure à l’autre peut être différente) ?

• Si on reprend 5 des 6 modèles testés par Que Choisir, en Classe I et en Classe II, et avec une analyse du rapport Signal/Bruit en sortie d’aide auditive par la technique d’extraction proposée par Hagerman & Olofsson, on obtient pour les Classe II :

Et pour les Classe I des mêmes fabricants (parce que le journal n’avait pas l’apanage de la curiosité dans ce domaine) :

Quand on atteint péniblement 5dB d’amélioration du RSB pour le meilleur Classe I, c’est pratiquement la performance minimale en Classe II. Un seul fabricant fait un peu moins bien… quand trop d’algos tuent la performance, mais ceci est une autre histoire et peut être que Tonton Xavier la racontera pour sa retraite à taux plein à 75 ans.

Que conclure ?

• L’article de UFC – Que Choisir est-il un article scientifique ? Fake news ? Audio bashing ? Rayez la mention inutile.
• Si l’article de Que Choisir était un article scientifique, un mémoire de D.E. ou de Master, il ne passerait aucun comité de lecture. Tout comme mon blog d’ailleurs, mais je me suis toujours bien gardé de nommer, comparer, sauf à performances égales et algorithmes très spécifiques comparés entre eux.
• Et si je m’y suis risqué, j’ai toujours fourni les enregistrements, les codes et bien documenté la procédure de test. Comment teste l’UFC – Que Choisir ? Quelles sont ses conditions de tests, ses fichiers sons d’enregistrements, la méthode d’analyse utilisée, les codes d’analyse ? Aucune information. La crédibilité de l’article est alors nulle à mes yeux.
• Relier la performance à l’intelligibilité, ou le SII à l’intelligibilité est extrêmement périlleux. Aucun audiologiste ne s’y risque chez le malentendant. En pensant « protéger » le consommateur, l’UFC – Que Choisir singe en fait les pires nuages de fumée du marketing (conclure sans expliquer clairement).
• Tester des aides auditives dans le bruit, en extraire une information fiable, robuste et reproductible, c’est réellement un travail scientifique de bon niveau, et peu d’études indépendantes sont publiées sur le sujet. Nous ne sommes pas dans l’univers de la TV, de la Hifi ou du congélateur bi-zone. Ça devient donc très périlleux et demande une rigueur scientifique et une humilité que je ne retrouve pas. Quelques pistes d’amélioration ici.
• Tous les audioprothésistes (mais ils sont peu dignes de confiance, bien sûr) le constatent au quotidien, et leurs patients avec : les aides auditives les plus récentes sont tellement plus confortables et souvent plus performantes dans le bruit. Réducteurs de transitoires, gain linéaire flottant, réducteurs de bruit, modes microphoniques avancés, connectivité, rechargeable, etc. sont des progrès réellement indéniables. Propager des informations contraires revient à nier un progrès tangible.
• Je ne parle pas au nom de ma profession, simplement au nom d’une honnêteté intellectuelle. J’ai toujours été prêt à dénoncer une communication fumeuse de certains fabricants, en cherchant toujours à extraire une information impartiale de tous ces tests. L’article de Que Choisir joue à peu de frais sur le sensationnalisme de l’annonce. J’ai moi-même été tenté de penser que les Classes I et II étaient identiques; une belle info bien claquante et qui aurait fait vendre du papier ! Il n’en est rien, preuves à l’appui pour ma part.

Voici un enregistrement brut d’un certain appareil auditif de Classe II, réglé sur un audiogramme standard KS100 et capté à l’oreille d’un mannequin. Je vous laisse juger à RSB -10dB en entrée, ce que l’appareil en question est capable de faire. Attendez 30 secondes après le début du bruit pour un effet maximal des algorithmes :

Et pour finir plus en légèreté, je citerais (presque, mais on est dans l’à peu près là) Michel AUDIARD :

Les com(paratifs), ça ose tout. C’est même à ça qu’on les reconnaît.