web analytics

DxOMark : de Belles polémiques en perspective !

31
BILLET PREC.
BILLET SUIV.

La société Française DxO Labs qui édite le fameux logiciel DxO, vient de lancer un site vraiment passionnant DxO Mark qui livre gratuitement (en anglais) les résultats des tests obtenus dans leurs laboratoires…

Il est certain que les résultats (parfois surprenants), n’ont pas fini de faire parler d’eux… Personnellement je recommanderais une certaine prudence, il ne faut pas aller trop vite en besogne et prendre les résultats de DxO Mark pour argent comptant (ce que certains semblent faire un peu vite). Ces données sont intéressantes et doivent être ajoutées à d’autres information en notre possession, mais elles ne constituent qu’une vision des choses selon un prisme particulier !

Dxo

Pour ma part, les résultats de DxO ne recoupent pas toujours (parfois seulement) les constatations que j’ai pu faire à titre personnel (et j’en ai testé pas mal des boîtiers)… Il est encore bien trop tôt pour en tirer des conclusions, mais le simple fait que DxO passe outre l’interprétation que les fabricants eux-même font de leurs propres fichiers RAW me semble être un problème.

En effet quand vous achetez un boîtier, vous payez aussi les années
de recherche et de savoir faire des ingénieurs de Canon, Nikon, Sony,
ou autres… Et je ne parle pas de l’importance des optiques, ou de
leur correction. Par exemple la correction de l’aberration chromatique
qui est un atout incroyable chez Nikon (il faut le voir pour le
croire). Ou la correction du vignetage sur les Canon EOS 5D mk2 ou EOS
50D (intéressante aussi même si dans une moindre mesure).

Autrement dit le développement d’une image dans un logiciel comme
Nikon Capture NX fait « parfois la différence »… Idem pour les diverses
interprétations que l’on peut faire dans DxO ou Lightroom. Donc il
faudra reparler de DxO Mark avec un peu de recule dans quelques temps.
Pour l’instant je reste très surpris par certains résultats ou
classements que j’ai pu y découvrir ! Et que je ne comprend pas… Car
en faisant de vrai photos dans de vrais conditions, on ne tombe pas sur
les même résultats.

Au final, je me demande si les test de DxO ne sont pas complètement
« déconnectés » des réalités pratiques (dématricage du RAW, optiques,
etc) ? A suivre

BILLET PREC.
BILLET SUIV.

31 commentaires

  1. Se fier à ce type de test, c’est un peu comme sélectionner une bagnole en ne tenant compte que du fait qu’elle va 10km/h plus vite que sa voisine.

  2. J’y ai jeté un rapide coup d’oeil et houlala !!! le classement semble proportionnel aux prix des boitiers…Il est clair que l’on n’a pas fini d’en parler et c’est d’ailleurs peut être là le but recherché…DxO Optics ça dis encore quelque chose à quelqu’un ? Non ? Et bien c’est pas étonnant…

  3. J’y ai jeté un rapide coup d’oeil et houlala !!! le classement semble proportionnel aux prix des boitiers…Il est clair que l’on n’a pas fini d’en parler et c’est d’ailleurs peut être là le but recherché…DxO Optics ça dis encore quelque chose à quelqu’un ? Non ? Et bien c’est pas étonnant…

  4. Enfin un angle de vue différent (je parle du dxomark). J’avoue être un peu saturé des test « à la dpr », avec des crops 100% sans jamais parler du résultat qui compte, celui à l’impression sur un format donné et qui focalisent aussi beaucoup trop pour moi sur les hauts isos (perso je ne dépasse jamais 800 mais bon c’est mon usage, je comprends que d’autres en ai besoin).
    pour revenir au sujet, ces tests, pour ce que j’en ai compris donnent une indication de la qualité intrinsèque du raw  » brut » si je puis dire qui sort d’un boitier donné. Il me semble donc normal que les « avancées technologiques » propres à certains boitiers (correction des aberrations chromatiques, du vignettage,…) ou logiciels de développement ne soient pas prises en considération. Vient ensuite le développement logiciel du raw où selon le soft utilisé (logiciel du fabricant, lightroom, dxo,…), on peut récupérer plus ou moins bien la quintescence du raw.
    Bref un comparatif qui ne fait que nous donner une idée du potentiel intrinsèque des raw générés par tels ou tels boitiers. Après à chacun de savoir si il préfère un boitier permettant à priori un traitement (développement) léger pour en tirer le meilleur (ceci n’étant peut être pas valable dans toutes les configurations), ou s’ il accepte de passer un peu plus de temps avec son dématriceur, mais en sachant qu’en définitive le raw a du potentiel permettant le cas échéant de récupérer des HL par exemple.
    Enfin les premiers commentaires ici me semblent étonnant et empreint de ce que je qualifierais d’anti-dxo primaire (moi aussi j’ai essuyé les plâtres de leur version 5 pas du tout finalisée mais alors maintenant cela dépote).
    Enfin qui est le plus geek : celui qui ne jure que par la qualité d’un fichier à 3200 isos et au delà, celui qui se  » tue  » les yeux à comparer des crops 100% de fichiers jpeg issu de capteurs de taille différente ou alors celui qui face à une autre façon de comparer les boitiers se dit simplement  » ben voilà un élement intéressant de plus à prendre en compte qui permet d’avoir un jugement en définitive plus éclairé et non pas basé sur une seule approche »
    Cordialement

  5. Bon, je vais revendre mon D300 et me prendre un D90… non, je blague. Restons sérieux: que pensez de ce type de test? J’ai hâte de lire l’analyse que vous en ferez…

  6. tu sais Hiro, pour le cas du Nikon D90, je suis 100% convaincu que ses images sont parfaitement équivalentes à celle du D300 !
    D’ailleurs j’ai pu utiliser pendant 2 mois le Nikon D300 et le Canon EOS 450D en Indonésie : et bien les résultats au niveau image de ces deux boîtiers me semblent absolument équivalents ! ! !
    Impossible de les départager selon moi (sauf à faire des test sur mire)…
    Un peu normal : deux CMOS de 12 megapixels avec un savoir faire au plus haut niveau… ne peuvent aboutir qu’au même résultat !
    Le petit avantage du Nikon D300 (et D90) : la correction des aberrations chromatiques ! Point final…

  7. jmvoir, pour te répondre sur ce point : je copie un extrait de l’article de JF sur le Nikon Alpha 900
    http://www.macandphoto.com/2008/11/le-grand-matc-1.html#more
     » Quiconque a déjà réalisé des tirages en vue d’une expo comprendra le problème : les gens regardent d’abord vos images dans leur ensemble à bonne distance. Puis ils s’approchent à 30 cm pour en explorer les détails et se « promener » dans l’image. Vous ne pouvez l’empêcher et cela fait d’ailleurs tout l’intérêt d’un tirage grand format d’exposition…
    Il reste donc absolument légitime et nécessaire d’étudier le bruit en affichant l’image à 100%, comme le font D Preview, Camera Labs et la plupart des média spécialisés. Car on n’achète pas un boîtier de plus de 20 megapixels pour se contenter de tirages A3 (les reflex de 10 megapixels suffisaient largement à cela)… CQFD !  »

  8. oulalalala je pourrais seulement faire des A3 avec l’alpha 900 à 1600 iso mais à 100 200 400 et 800 iso (plages les plus utilisées) je pourrais imprimer en A1 !!!
    c’est dure la vie

  9. Oui ! Et tu pourra faire encore mieux avec un Nikon D700 qui coûte moins cher que l’Alpha 900 et ne fait que 12 megapixels…
    Et même : avec un Nikon D90 à 1000 € tu monteras sans problème au A2 (tout en conservant 1600 ISO) ce qui concerne la plupart des gens, tous comme avec un vieil EOS 5D d’occaz…
    Dur dur !

  10. mais bien sur entre 12 et 24 megapixels il n’y a aucune différence oui oui, je pense même acheter un bon vieux D100 pour faire du A1 et puis il doit pas être cher

  11. Bon, je vois que ma réaction première en lisant ces résultats hier est partagée par d’autres.
    Jean-François, si je ne doute pas que le D90 soit équivalent au D300 en qualité d’image, les résultats de DxoMark le place sensiblement au dessus! Ils placent même le D50 au dessus du D80!
    Pour connaitre aussi ces 2 boitiers (et avoir discuté avec d’autres personnes qui les ont également possédés), j’en reste… pantois!

  12. Attention, les Raw de DXO Mark sont développés avec DXO Optics Pro, qui ne dispose pas des algorithmes propriétaires (donc cryptés) de chaque marque. L’analyse ne serait valable qu’avec une comparaison des images traitées également dans les logiciels maison. Cela dit, cette base de données reste tout de même intéressante.

  13. D’après ce que je viens de lire, le test de Dxo ne concernerait QUE le capteur (analyse de l’image brute AVANT dématriçage).
    Il ne présage donc rien de la qualité finale de la photo qui dépend grandement de l’exploitation qui est faite du dit capteur. L’intérêt de ces tests est donc surtout technique. On constatera que certains capteurs sont mieux exploités que d’autres … qui en ont encore sous le pied (cas probable du Nikon D90 et du Sony A900 par exemple).
    Ce n’est donc pas en se basant la dessus qu’on pourra dire « tel boitier est meilleur que tel autre ».

  14. En gros ce test veut dire un truc… les algorithmes dxo marchent mieux pour les nikon que pour les canon…
    Moi en temps que Canoniste, j’en deduis un peu rapidement, certainement, que Dxo ne presente donc aucun interet pour developper mes Raw canon comparé a ACR ou Canon DPP.
    En + j’en ai marre de ces tests scientifiques déconnectés d’une utilisation réelle. Et dire que je depasse jamais le 800 iso en pdv… alors franchement comment je m’en tamponne des 25000 zozo.

  15. un petit lien sur un article que je trouve intéressant(en anglais, pas toujours facile à suivre) qui aborde dxomark en revenant sur 2 boitiers plutot bien classés(D3 et alpha900)
    http://theonlinephotographer.typepad.com/the_online_photographer/2008/11/the-sony-a900-f.html
    Olivier : j’utilise la version 5.3 de dxo avec du canon et franchement les résultats sont excellents. DPP je ne m’en sert jamais à la différence de LR2 (ou ACR) qui est mon derawtiseur par défaut à égalité avec dxo (dxo me sert en traitement batch avec les réglages par défaut ou alors pour les photos cramées ou « spéciales »).

  16. Au moins le test me rassure sur une chose, mon vieux 20D n’est pas si largé que ça par la nouveauté. Et lors de sa sortie c’était un super appareil.
    Il y en a encore qui veullent nous lancer dans la course à l’armement sans toujours de gros gain.
    À l’ironie je dirai que c’est un moyen de me consoller car un petit 5D mkII me tentrait bien si j’en avais les moyens.

  17. « Impossible de les départager selon moi (sauf à faire des test sur mire)…
    Un peu normal : deux CMOS de 12 megapixels avec un savoir faire au plus haut niveau… ne peuvent aboutir qu’au même résultat !
    Le petit avantage du Nikon D300 (et D90) : la correction des aberrations chromatiques ! Point final… »
    Wow!
    Surement oui, équivalent sur la précision de l’AF (ce qui influe sur la QI), de la gestion du bruit, de la colorimétrie BEAUCOUP plus fidèle chez Nikon, le d-lightning ça te dis quelque chose?
    Là franchement… Avec tout le respect que je te dois J-F, tu as frôlé le ridicule. Je mets la faute sur une réponse trop rapide… ;)
    Et avant de me faire traiter de sale nikoniste, j’ai dans mon sac un 350D-40D et un D300. Et si je donne l’avantage au 40D à 100 iso, il n’en a plus aucun sauf la rafale à 14 bits dès les 200 isos. Même ton tests 40D-D300 où toi tu voyais presque match égal, m’a incité à tenter le coup avec le D300 tellement je trouvais les tofs au d300 supérieur au canon. Comme quoi…
    Pour le reste, DXO mark, ça a le mérite d’être différent. À voir l’évolution…

  18. question que l’on peut se poser a chaud, je rentre de voyage et j’ai pas eu le temps de tout lire
    mais le logiciel DXO ne se base t il pas sur le meme type d’interpretation et donc le resultat donnees pas dxo ne serait il pas fausse par rapport a la realite
    au final rien de mieux que le polaroid ou avec de la chance tu pouvais comparer ta photo a la rrealite en directe mais bon tu n’avais aucune maitrise sur le developpement.

  19. Saucisse je te retourne le compliment ! Je ne pense pas que tu ais utilisé autant de boîtiers Nikon et Canon, comme je l’ai fait depuis pas mal d’années (je peux donc comparer sur une longue période)…
    Affirmer qu’une des deux marque possède (dans l’absolu) une meilleur colorimétrie que l’autre est COMPLETEMENT RIDICULE ! ! ! Cela tient du fantasme absolu… (No comment)
    Idem pour le D-LIghting qui existe aussi chez Canon (dès l’EOS 40D) et se nomme correction Auto de Luminosité (et propose désormais 3 niveau).
    Au niveau précision de l’AF : idem ! Pas de différence de précision dans 99% des situations…
    Je ne dis pas que sur un bolide lancé à 150 km/h les performances de Nikon ne soient pas un peu meilleur… Mais pour le reste (c’est à dire 99% des photos) : pas de différence de précision de mon point de vue… Même si l’AF 3D de Nikon est supérieur en terme d’agrément d’utilisation.

  20. chadokpebrokPosté le

    Très très drôles ces emportements…
    Heureusemnt certains sont moins primaires dans leurs réactions, cherchant peut-être à comprendre le protocole des mesures: Olivier, Carl, les RAW ne sont pas « Développés par DxO 5.3″, puisque c’est la sortie de capteur qui a été analysée, avec l’analyseur maison DxO Analyser(il suffit de lire, c’est écrit).
    Cependant, la quantité de paramètres en jeu est tellement importante(beaucoup ont déjà du mal à comprendre le LowLightIso alors qu’il ne joue que sur 3 paramètres! par exemple il est mesuré pour une dynamique faible de 9dB) que pour la présentation des résultats, il faut faire un choix(ce qui est fait dès la mesure car tout n’est pas testé à tous les isos par exemple).
    Donc lire ces résultats comme ça, « à la volée » ça n’a aucun sens et ça ne peut qu’encourager les incompréhensions:il faut plutôt les utiliser pour faire une différence précise sur un paramètre précis d’un capteur.
    Et ces test sont très gentils avec les grands capteurs, puisque tout est normalisé(le bruit par exemple) à 8Mpix(pas comme chez JMS), alors que lorsqu’on achète un 21Mpix, il-y-a des chances que l’on fasse des agrandissements géants et pas que des 30×45…
    Possesseur d’un D2H(45ème sur 45!) et d’un D3…

  21. Le fichier brut, c’est une chose, la qualité du processeur , une autre, et la qualité du post traitement avec un bon logiciel, encore une autre.
    Personnellement, je suis un amateur exigeant, je possède un Nikon D300, et je commence assez bien à maîtriser capture NX2, en terminant toujours mon travail par des affinements locaux de l’image ( c’est là qu’on fait la différence en matière de qualité finale ).
    Je pense ( et je suis difficile ) qu’on peut tirer énormément de choses d’un raw 14 bit de D300 pris à 1600 ASA avec une lumière difficile et un très ordinaire 18-200 mm, mais aussi du savoir faire, de la méthode , de la patience, du temps disponible, un bon écran calibré … et si on aime ça , bien sûr.
    On récupère beaucoup d’infos dans les hautes lumières comme dans les ombres, on gère parfaitement à postériori le micro-contraste ainsi que le bruit final de l’image sans perte de détails, pour des images au format de 20 x 30 cm , par exemple, tirées sur un papier brillant d’un bon minilab du commerce. Quand on shoote à 200 ASA avec une excellente optique, c’est encore mieux, et surtout, on arrive plus vite au bon résultat.
    Par ailleurs, on a le choix de ses supports de sortie maintenant ; l’impression jet d’encre « fine art » est en plein boum.
    Alors bien sûr, avec un D700 ce sera encore meilleur, plus facile, plus rapide à obtenir… mais nous sommes devenus très exigeants avec les progrès fulgurants de la technologie numérique ces dernières années. Plus que jamais, l’essentiel est de bien savoir positionner le curseur de ses exigences et de ses besoins.
    En réalité, je pense que la différence essentielle, entre un D700 et un D300 dans, des conditions de lumière difficiles, c’est que le rendu de l’image finale, correctement traitée dans les deux cas, sera un peu différent. L’image provenant du D300, sera un peu plus sèche, avec un peu moins de modelé et des transitions de teintes un peu plus brutales sûrement, mais à mon avis rien de plus dommageable que ça ( je considère bien sûr l’hypothèse d’un agrandissement sur papier raisonnable, du genre A4 ou A3 )
    N’oublions jamais que c’est le résultat final qui compte.

  22. Le fichier brut, c’est une chose, la qualité du processeur , une autre, et la qualité du post traitement avec un bon logiciel, encore une autre.
    Personnellement, je suis un amateur exigeant, je possède un Nikon D300, et je commence assez bien à maîtriser capture NX2, en terminant toujours mon travail par des affinements locaux de l’image ( c’est là qu’on fait la différence en matière de qualité finale ).
    Je pense ( et je suis difficile ) qu’on peut tirer énormément de choses d’un raw 14 bit de D300 pris à 1600 ASA avec une lumière difficile et un très ordinaire 18-200 mm, mais aussi du savoir faire, de la méthode , de la patience, du temps disponible, un bon écran calibré … et si on aime ça , bien sûr.
    On récupère beaucoup d’infos dans les hautes lumières comme dans les ombres, on gère parfaitement à postériori le micro-contraste ainsi que le bruit final de l’image sans perte de détails, pour des images au format de 20 x 30 cm , par exemple, tirées sur un papier brillant d’un bon minilab du commerce. Quand on shoote à 200 ASA avec une excellente optique, c’est encore mieux, et surtout, on arrive plus vite au bon résultat.
    Par ailleurs, on a le choix de ses supports de sortie maintenant ; l’impression jet d’encre « fine art » est en plein boum.
    Alors bien sûr, avec un D700 ce sera encore meilleur, plus facile, plus rapide à obtenir… mais nous sommes devenus très exigeants avec les progrès fulgurants de la technologie numérique ces dernières années. Plus que jamais, l’essentiel est de bien savoir positionner le curseur de ses exigences et de ses besoins.
    En réalité, je pense que la différence essentielle, entre un D700 et un D300 dans, des conditions de lumière difficiles, c’est que le rendu de l’image finale, correctement traitée dans les deux cas, sera un peu différent. L’image provenant du D300, sera un peu plus sèche, avec un peu moins de modelé et des transitions de teintes un peu plus brutales sûrement, mais à mon avis rien de plus dommageable que ça ( je considère bien sûr l’hypothèse d’un agrandissement sur papier raisonnable, du genre A4 ou A3 )
    N’oublions jamais que c’est le résultat final qui compte.

  23. chadokpebrok t’as l’air trop fort toi…
    Je suis bien de ton avis mdr c’est les fichier brut qui sont testé… Mais tu crois pas que DxoMark les dématrices avec les algorithmes DXo pour obtenir les mesures ? Pcq qu’il va avoir du mal a le faire sur le raw brut… et puis cela serait sans aucun interet.
    Donc avant de parler et de juger on se sert de ca tete ;) meme si on a le D3 et le D2H mdr c’est ni un passe droit, ni une crédibilité.

  24. En fait je complete mon message précedent, chadokpebrok tu n’as pas l’air de savoir ce qu’est un raw…
    ce n’est pas une image, mais une matrice de valeur par pixel, tester la matrice ne correspond à rien, étant donné qu’il est nécessaire d’interpréter ces valeurs pour aboutir à une image. C’est donc à ce niveau que les algorithmes de developpement Dxo interviennent obligatoirement dans le test pour obtenir les valeurs de test.
    C’est pour cela que ce test est subjectif est non objectif pour moi.

  25. Olivier bonjour :)
    Je ne sais pas qui tu es,mais je crois que tes avis sont…un peu rapides et pas très respectueux :)
    - je n’ai pas parlé de « fichier brut » mais de « sortie de capteur »…lis avant de t’emporter :)
    - les algorithmes DxO sont ceux utilisés dans DxO v5 par exemple, rien ne te dit que l’ANALYSE du signal électronique du capteur se fait de la même façon que le TRAITEMENT du fichier RAW(à moins que toi tu sois mieux informé que tout le monde et que toi tu traites la sortie de capteur et pas le fichier :))
    - j’ai mentionné le D3 et le D2H pour dire, mais celà t’a échappé, que quel que soit l’appareil utilisé, avec les reflex(dès le D1X chez Nikon) actuels ont fait quasiment toujours de superbes photos(mais cet humour « en filigrane » t’échappe apparemment :))
    - en effet je ne sais pas ce qu’est un RAW, je ne travaille jamais en NEF, je n’ai aucun dématriceur(ni CaptureOne, ni DxO,ni Capture NX, je n’ai jamais traité les fichiers du S5 bicapteur, je ne m’intéresse pas au capteur Fovéon récemment racheté par Sigma,…) donc oui tu as raison je ne sais pas ce qu’est un RAW, ni une matrice de Bayer, ni comment le traiter, je ne m’intéresse à aucun de ces débats et les avis de JMS(sur chassimages par exemple) sont bien sûr sans intérêt pour moi, pauvre ignorant merci :)
    - ensuite oui ce test est « subjectif » non pas dans sa réalisation, mais dans les choix de mesures qui sont faits(choix inévitables) mais je croyais l’avoir dit notamment pour la « normalisation » à 8Mpix
    - pour finir(plus rien à voir avec DxOMark), Olivier je trouve ta réponse « légère » quand au contenu, légèreté compensée par ta véhémence: je n’ai plus 15 ans, donc je ne me lancerai pas dans une polémique ridicule qui n’intéresse personne(pas même moi, toi peut-être?).Tu vois, je me garde de critiquer ce que tu as compris à ces test car visiblement, ton analyse est…superficielle?
    Sinon je félicite JF pour ce site très intéressant et vivant(je le suis par RSS), merci pour tes tests terrain, j’attends impatiemment celui du 5DMkII :)
    Malheureusement, certaines interventions sur le « forum » sont…agressives et ignorantes?
    Donc mon Cher Olivier, je m’incline devant toute ta sapience que tu as la bonté de nous communiquer :)
    je lirai ta réponse par politesse si tu en fais une, mais je n’y répondrai pas, car en deux messages tu t’es malheureusement discrédité pour moi :(
    J’espère être détrompé! :)

Postez un commentaire