3DMark05 - version imprimable

3DMark05
Cartes Graphiques
Publié le Mercredi 29 Septembre 2004 par Damien Triolet et Marc Prieur

URL: /articles/521-1/3dmark05.html

Page 1 - 3D Mark 2005

Depuis son lancement en 1998, 3DMark est victime d’un succès qui ne s’est pas démenti. Il faut dire que ce logiciel permet en un clin d’œil de se faire une idée générale des performances d’une carte graphique, grâce à un seul chiffre : c’est rapide, simple, et donc ça plait.

Si nous avons utilisé le mot victime, ce n’est pas pour rien. En effet, devant l’importance prise par 3DMark, son côté benchmark est presque devenu inutile à des fins comparatives. Les constructeurs, conscient de l’importance prise par 3DMark03, font en effet tout pour arriver à obtenir le meilleur indice de performance possible, quitte à introduire de nombreuses optimisations spécifiques dans leurs drivers.

Il faut bien dire que c’est surtout avec la version 2003 que ce phénomène a pris de l’ampleur. NVIDIA, devant les piètres performances de son architecture GeForce FX lorsqu’elle devait traiter des calculs de pixel en virgule flottante, n’a pas hésité à dénaturer 3DMark03 afin d’obtenir un score comparable à celui des Radeon d’ATI.

Après les versions 1999, 2000, 2001, 2003, FuturMark revient sur le devant de la scène avec la version 2005 de son benchmark dédié aux cartes graphiques.

100% DirectX 9

3DMark05 est censé incarner le renouveau de 3DMark. NVIDIA fait de nouveau partie des partenaires de FutureMark, comme ATI et les autres acteurs du marché graphique, après avoir quitté le groupe de travail un peu avant la sortie de 3DMark03. Cette adhésion a permit à NVIDIA de donner son feedback à FutureMark durant le développement de 3DMark05.

Avec 3DMark03, FutureMark avait commencé à introduire le Shader Model 2.0 via le Game Test 4 (Mother Nature). 3DMark05 va plus loin puisqu’il nécessite au minimum une carte graphique supportant les Pixel Shader 2.0 pour fonctionner. Tous les pixel shaders sont au minimum du niveau PS 2.0. Les possesseurs de GeForce4, GeForce 4 MX, Radeon 9000, 9100, 9200 et 9250 peuvent donc passer leur chemin. Les puces actuelles d’entrée de gamme en AGP de ATI ne feront pas tourner 3DMark05, au contraire des GeForce FX 5200 de NVIDIA.

Tous les shader intégrés dans 3DMark05 sont maintenant écrits en HLSL, contrairement aux shaders de 3DMark03 qui étaient écris en assembleur. Pour rappel, le HLSL est un language de haut niveau – un peu comme le C – et les shader nécessitent donc une compilation avant d’être exécutés. Le compilateur HLSL est accessible aux développeurs à travers le kit de développement de DirectX. Les développeurs ont ensuite la possibilité de précompiler tous les shader ou d´intégrer le compilateur directement dans leur application. Cette compilation s’effectue selon des profils prédéfinis qui correspondent à un type d´architecture. Pour les Pixel Shader, on dispose par exemple des profils 2.0, 2a, 2b et 3.0. Le premier correspond aux spécifications de bases de DirectX 9.0, le second aux GeForce FX, le troisième aux X800 et le dernier aux GeForce 6. Une puce supportant le profil 2a ou 2b supporte le profil 2.0, alors qu’une carte supportant le profil 3.0 gère sans soucis les profils 2.0, 2a et 2b.

L´utilisation du HLSL par Futuremark est un choix judicieux puisqu´il correspond à ce que font et vont faire les développeurs de jeux vidéo. Programmer en HLSL est bien plus aisé et intuitif que l´assembleur et cet avantage devient de plus en plus important avec l´augmentation du nombre et de la complexité des shaders. Néanmoins, un shader HLSL est en général moins efficace qu´un shader écrit et peaufiné en assembleur. Un second compilateur intégré aux drivers de chaque carte graphique permet de compenser cela. L´utilisation du HLSL par 3DMark05 permet donc de donner un peu plus d´importance au compilateur intégré aux drivers... ou aux optimisations manuelles.

Du côté de la précision de calcul en virgule flottante, 3DMark05 utilise, lorsque cela ne réduit pas la qualité graphique, une précision partielle, chose que ne faisait pas 3DMark03. Pour rappel, la pleine précision nécessite un calcul sur 24 bits au minimum, ce que fait ATI, NVIDIA calculant pour sa part avec une précision accrue de 32 bits. Pour compenser cela, NVIDIA propose également un mode de précision partielle sur 16 bits. Bien entendu il est possible de forcer un mode pleine précision.

Gestion avancée des ombres

Pour en finir du côté des nouvelles fonctionnalités, sachez que 3DMark05 utilise pour le rendu des ombres dynamiques une version améliorée des perspective shadow maps (PSM). La taille de ces shadow maps est fixée à 2048*2048 pour les sources de lumières directionnelles, rien que ça ! 2 shadow maps de ce type sont utilisées, une pour les ombres situées à l´avant plan et l´autre pour les ombres situées sur le reste de la scène. Cette séparation permet d´avoir des ombres de meilleur qualité à l´avant plan mais elle a un désavantage : le passage d´une shadow map à une autre est brusque et inestétique. Un second problème vient s´ajouter : même en 2048x2048, la shadow map utilisée pour la scène entière est trop petite. Quelques bugs graphiques sont donc visibles notamment dans le game test 3. Futuremark est bien conscient de ces 2 petits défauts et nous a indiqués qu´ils résultaient d´un compromis qu´ils estiment être le meilleur actuellement et le plus représentatif de ce qui se fait et se fera dans la majorité des jeux vidéo. Il est vrai que le rendu des ombres n´est jamais parfaitment robuste dans la majorité des jeux vidéo, à l´exception de Doom 3.

Ces maps sont soit de type R32F, soit de type D24X8 pour les puces supportant la fonction de Depth Stencil Textures (DST). Dans ce dernier cas, le calcul des ombres sera plus rapide mais d´une qualité différente étant donné que leur filtrage est traité par l´unité de texturing au lieu du shader. Cela tombe bien pour NVIDIA puisque ATI ne supporte pas cette fonction alors que les GeForce en sont capable depuis très longtemps. Cette fonctionnalité ne fait cependant pas partie de DirectX... Futuremark justifie son choix d’utiliser cette fonction de part le fait que les développeurs de jeux l’utilisent et/ou vont le faire. Dans ce cas pourquoi avoir refusé d´utiliser le 3Dc sous prétexte qu´il ne s´agissait pas d´un standard de DirectX ? Dans tous les cas il est possible de désactiver la fonction DST pour ceux qui veulent une charge réellement comparable.

Les sources de lumières de type point light utilisent pour leur part des cube maps de haute qualité : (6x)512x512 en R32F. Le rendu des ces sources de lumières et de leurs ombres est donc identique sur toutes les cartes.

Quid des nouvelles fonctionnalités des GeForce Série 6 ?

Elles ne sont pas utilisées par 3DMark05, tout du moins dans sa version actuelle. 3DMark05 est capable d´utiliser le profil de compilation PS 3.0 mais uniquement pour compiler des shaders de classe 2.0. Futuremark nous a cependant indiqué qu´un shader avec branchement dynamique était utilisé dans les 2 premiers game tests et permetttait de sauter le calcul de certaines sources de lumières pour les pixels qui ne sont pas éclairés. Nous avons effectivement pu observer ce shader. Cependant, chose très étrange, il ne semble pas être formulé correctement ! Nous essayons d´en savoir plus auprès de Futuremark.

Le Geometry Instancing n´est pas supporté. Futuremark a envisagé de l´implémenter dans le second game test mais NVIDIA le leur a déconseillé étant donné que la scène ne s´y prêtait pas bien. Par contre et là c´est plus étrange, Futuremark n´y a pas pensé pour les tests de Vertex Shader. Cela pourrait être corrigé via une éventuelle mise à jour.

Le filtrage des textures FP16 et le blending FP16 ("HDR") est également ignoré. Ce choix est cependant logique au vu des performances des cartes actuelles dans les 3 game tests étant donné que l´utilisation de textures FP16 et surtout l´utilisation du blending FP16 ont un coût très important sur les performances.

Page 2 - Les tests

Les tests

Le premier test jeu de 3DMark05 est Return to Proxycon, qui fait référence au GT2 de 3DMark 03 - Battle of Proxycon, qui avait un faux air de Doom 3. Bien entendu, cette fois la scène est notablement plus lourde, avec notamment des matériaux abusant de réflexions de type Blinn-Phong. Cette scène utilise par ailleurs de nombreuses sources d’éclairage distinctes.

Le second test jeu, Firefly Forest, est assez sombre. La scène se passe la nuit, dans une forêt, avec deux sources principales de lumière : la lune, ainsi qu’une lumière volante verte. Ce sont surtout la végétation ainsi que l’éclairage dynamique qui sont ici mis en avant.

La dernière scène jeu, Canyon Flight, est moins complexe au niveau des éclairages mais l’est plus au niveau des matériaux, que ce soit la surface rocheuse, de la peau du monstre ou de l´eau, qui est une version plus avancée de celle incluse dans le Game Test 4 de 3DMark03. Un brouillard est également utilisé pour augmenter l´homogénéité de la scène. Il s´agit de la scène la plus impressionante de 3Dmark05 !

Bien entendu 3DMark05 ne se contentent pas de ces tests, mais si ils en constituent le cœur et forment à eux 3 l’index de performance qui est calculé de la sorte : (GT1 * GT2 * GT3)^(1/3)*250.

Parmi ces tests additionnels, on retrouve le CPU Test. Comme dans les 3DMark précédents, il s’agit de Game Test sans Post Processing et avec les calculs de vertices pris en charges par le CPU. Le CPU Test 1 est basé sur le Game Test 4, avec en sus sous un autre thread (afin de profiter de l’HyperThreading ou d’un second CPU physique) un algorithme d’intelligence artificielle pour le déplacement du navire. Le CPU Test 2 est basé sur le Game Test 1, mais sans calculs d’intelligence artificielle.

En sus, 3DMark05 propose bien entendu un test de fillrate en single et multi-texturing, un test de Pixel Shader utilisant la surface rocheuse du Game Test 3, et deux tests de Vertex Shading. Le premier utilise une transformation assez simple et une unique lumière sur 4 modèles du monstre du Game Test 3 (1 Millions de vertice pièce !). Le second anime et illumine de nombreuses brindilles d’herbe, sans toutefois faire usage du Geometry Instancing.

Le dernier test est assez théorique puisqu’il mesure les performances en fonction de la taille des batchs (paquets de commande) envoyés à la carte graphique. Depuis longtemps, les fabricants incitent les développeurs à utiliser des paquets les plus gros possibles. Ce test, qui a été demandé par plusieurs membres du BPD (Benchmark Development Tool), permet de voir ce qui se passe lorsque l’on utilise des batchs de plus ou moins grande taille.

Page 3 - La magie des drivers

La magie des drivers

L’intérêt, à nos yeux, de cette nouvelle version de 3DMark, c’est que des drivers relativement récents n’intègrent pas encore « d’optimisation ». Ne vous inquiétez pas, c’est temporaire ! En effet, NVIDIA et ATI se sont empressés de fournir quelques jours avant la sortie de 3DMark05 de nouveaux drivers.

Bien entendu selon les constructeurs ils n’intègrent pas d’optimisations spécifiques, et dans ce cas on peut se demander d’où viennent les gains d’autant qu’effectivement d’après les screenshot il n’y a pas de différence qualitative, et FutureMark certifie d’ailleurs ces drivers. D’où viennent les gains ? Seuls NVIDIA et ATI le savent ...

Sur X800 Pro, soit la carte la plus haut de gamme de chez ATI réellement disponible, les gains sont assez importants et se concentrent sur les « Game Test ». Le Game Test 1 voit ses performances augmenter de pas moins de 39%, alors que le score global augmente de 19%.

Sur 6800GT, soit la carte la plus haut de gamme de chez NVIDIA réellement disponible, les gains sont moins variables selon les scènes, mais restent relativement important puisqu’au global le score augmente de 17%. C’est toutefois moins que chez ATI, si bien qu’avec les drivers officiels si le 6800GT est légèrement devant la X800 Pro, et qu’avec les derniers pilotes « 3DMark05 » c’est l’inverse qui ce produit. Cette situation pourrait bien entendu être temporaire, le temps que NVIDIA trouve de nouvelles « optimisation », ce à quoi ATI pourrait répondre par d’autres gains, etc. ... !

Lorsque l’on regarde les tests individuels de Pixel et Vertex Shading, on peut voir que NVIDIA obtient également des gains dans le test individuel de Pixel Shading. Optimisation générique ou remplacement par un shader plus performant tout en offrant le même rendu ? Difficile de le dire. Toujours est-il qu’avec ou sans cette optimisation, le 6800GT est de base plus performante, ce gain étant notamment lié à l’utilisation du FP16 dans ce shader – ce mode étant supporté par NVIDIA alors que ATI reste en FP24. Lorsque l’on force la pleine précision, soit FP32 chez NVIDIA et toujours FP24 chez ATI, c’est logiquement ce dernier qui l’emporte.

Pour ce qui est du test de Vertex Shading, c’est ATI qui l’emporte, et ce quelque soit le driver.

On notera que 3DMark05 inclue également la possibilité d’enregistrer le framerate au fil du temps et de le visualiser sous forme graphique. Généralement, le comportement de cartes graphiques offrant un framerate moyen identique sont assez proches. Toutefois, 3DMark05 étant assez différent des jeux du fait de sa charge exceptionnelle côté graphique, ces graphiques sont assez intéressants et vous pouvez les télécharger ici si cela vous intéresse. De notre côté, nous avons sélectionné deux graphiques intéressants, celui du Game Test 1 sur X800 Pro avec les Catalyst 4.9, et celui du Game Test 3 avec les Catalyst 4.11 beta :

Si le framerate moyen augmente fortement avec les 4.11, une chose autrement plus étrange ce produit : le framerate est affreusement peu stable, comme vous pourrez le voir avec plus de détails si vous télécharger les fichiers excels. Ceci est notamment visible entre la 80è et la 90è seconde. Une chose est sûre, ATI va devoir s’expliquer sur ce point.

Page 4 - Influence du Shader Model, Full Precision, DST

Performances du Shader Model, Full Precision, DST

Nous avons voulu voir quelle était l’influence des différents réglages proposés par 3Dmark05 sur les performances globales. On commence avec le X800 Pro, que l’on peut faire fonctionner en Pixel Shader 2.0 ou 2b :

Comme vous pouvez le voir, il n’y a pas d’influence notable sur les performances, puisque la seule différence peut être imputée à l’écart entre deux exécutions de 3DMark05. Cela signifie une chose : les shaders utilisés par 3DMark05 rentrent parfaitement dans un shader 2.0 classique et n’ont pas besoin d’instructions supplémentaires.

Voyons voir maintenant ce qui se passe sur GeForce FX 5950 Ultra :

Lorsque l’on active le mode Full Precision pour les shader, les performances baissent sensiblement puisque l’on passe de 1264 à 1063 points. La désactivation de la fonction DST pour les ombrages est encore plus douloureuse en terme de performances puisque l’on passe de 1264 à 1021 points. Le choix d’une compilation des pixel shaders en PS2.0 et non pas en PS2a fait également nettement baisser les performances, ce qui laisse à penser que si 3DMark05 n’utilise pas des shaders très long, leur organisation via le compilateur est importante pour les performances chez NVIDIA. Au final, le mode le plus favorable au GeForce FX 5950U – celui utilisé par défaut - permet de faire gagner près de 47% de performance par rapport au mode le plus défavorable (précision pleine, pas de DTS, PS2.0).

Passons au GeForce 6800 GT :

Première chose à remarquer, l’influence du mode pleine précision est ici bien moins important, puisque l’on perd 7.2% de performances, contre 15.9% sur GeForce FX. Il en va de même pour la désactivation des ombrages DST, qui fait perdre 11% ici contre 19% sur GeForce FX, et pour le passage en Shader Model 2.0 (-12.7% contre -19%). Au final le mode le plus favorable ne fait gagner « que » 21% par rapport au mode le plus défavorable.

En ce qui concerne les profils de compilation, on remarquera que seul le profils PS2.0 fait baisser les performances du GeForce 6800 GT. Les profils de pixel shader 3.0, 2b et 2a offrent des performances similaires – les différences minimes pouvant être imputées aux écarts entre chaque run de 3DMark05, et ce malgré la présence d’un pixel shader doté de branchement dans les Game Test 1 et 2. Si NVIDIA voulait mettre en avant l’utilité du Shader Model 3.0 avec 3DMark05, c’est râpé.

Page 5 - Performances des cartes actuelles

Performances globales

Nous avons effectué quelques tests de performances sur diverses solutions ATI et NVIDIA :

- 9600XT 128 Mo AGP
- 9800 Pro 128 Mo AGP
- 9800 XT 256 Mo AGP
- X700 Pro 256 Mo PCI Express
- X800 Pro 256 Mo AGP
- X800 XT 256 Mo AGP
- X800 XT PE 256 Mo AGP

- 5700U 128 Mo AGP
- 5900XT 128 Mo AGP
- 5950U 256 Mo AGP
- 6600 128 Mo PCI Express
- 6600GT 128 Mo Express
- 6800 128 Mo AGP
- 6800GT 256 Mo AGP
- 6800 Ultra 256 Mo AGP

Tous les tests ont été effectués avec un Pentium 4 3.4E GHz. Nous ne donnerons ici que le score global, mais ceux qui sont intéressés par les détails peuvent télécharger ce fichier excel. Nous n’avons malheureusement pas pu tester sur des cartes X700 128 Mo, seul le modèle X700 Pro 256 Mo étant disponible pour ce test. Faute de mieux, on s’en contentera.

Sur toutes les cartes hormis les 6600 et X700, qui ne fonctionnent pas correctement avec les drivers officiels actuels de NVIDIA et d’ATI, nous avons effectués les tests avec les drivers officiels, puis avec les drivers optimisés, et ce dans le réglage par défaut puis avec anti aliasing 4x.

Côté qualité, voici les screenshots obtenus sur X800 Pro, puis sur GeForce 6800 GT :

Voici les scores obtenus :

Comme vous le savez déjà si vous lisez HardWare.fr depuis quelques temps, la série GeForce FX à quelques problèmes avec les calculs en virgule flottante. Sous 3DMark03, NVIDIA avait réussi après de nombreuses optimisations dont des remplacements de shader à obtenir des performances proches des Radeon 9800. Ici, les ingénieurs de NVIDIA ne sont pas trop occupés de cette ancienne gamme qui équipe pourtant de nombreux PC avec les derniers drivers, si bien que les performances sont tout bonnement catastrophiques, une 9600XT étant plus rapide qu’une 5950 Ultra !

Sans drivers optimisés, on obtient le classement suivant en ce qui concerne la gamme X800/6800 :

X800 Pro < 6800 GT < 6800 Ultra < X800 XT < X800 XT PE

Avec les drivers optimisés 3DMark05, on passe à :

6800 GT < X800 Pro < 6800 Ultra < X800 XT < X800 XT PE

Il y’a donc une constante au niveau des performances du X800 XT, qu’il soit PE ou non : il est plus performant que le GeForce 6800 Ultra - dommage qu’il soit introuvable ou presque. Même avec le X800 XT PE, 3DMark05 n’est pas encore fluide : 25.4 fps au GT1, 16.2 fps au GT2 et 28.8 fps au GT3. En ce qui concerne les X800 Pro et 6800 GT, si la hiérarchie varie selon les drivers les performances restent au global assez proches.
En ce qui concerne le nouveau milieu de gamme, à savoir X700 et 6600, on notera que le X700 Pro est au niveau du 9800XT, et que le 6600 classique fait bien mieux qu’un 9600XT et bien entendu que les GeForce FX. Le 6600GT 128 Mo est 8.8% plus rapide que le X700 Pro 256 Mo. Ces deux solutions sont au même prix, tout comme le X700 XT 128 Mo que nous n’avons pas pu tester et qui devrait offrir des performances au niveau du 6600GT à la vue de ses fréquences (475/525, contre 425/430 pour le X700 Pro).

Voici par ailleurs les performances obtenues en anti aliasing 4x par rapport aux performances sans anti aliasing :

3DMark05 étant très lourd du côté de la puissance de calcul et peu en terme de bande passante mémoire, l’activation de l’anti aliasing est peu coûteuse ... à condition de disposer de 256 Mo de mémoire ! Dans ce cas, chez ATI ou NVIDIA on obtient en AA 4x environ 90% des performances obtenues sans anti aliasing. Avec seulement 128 Mo, les choses sont plus compliquées puisque 3DMark05 occupe déjà jusqu’à 160 Mo de mémoire vidéo sans anti aliasing. Chez ATI, on obtient tout de même 80% des performances sans AA, mais chez NVIDIA les résultats sont un peu moins bons, voir assez mauvais sur 6800 classique (56%).

Page 6 - Entrée de gamme, Conclusion

Et pour moins de 100 € ?

Nous avons voulu voir ce que l’on avait comme performances sous 3DMark05 avec moins de 100 € en poche. Soyons fous, descendons jusqu’à 50 €. Qu’offre ATI pour ce prix ? Une Radeon 9250, bus mémoire 64 bits, score : 0, elle ne supporte pas les Pixel Shader 2.0. Et NVIDIA ? Une GeForce FX 5200, bus mémoire 64 bits. Cette fois, ça fonctionne, et en plus on a le temps de profiter de la beauté du rendu ... avec une moyenne de 1 fps. Le score ? 243.

Bon allez, soyons un peu plus généreux avec environ 100 €. Pour ce prix, ATI et NVIDIA nous proposent en AGP :

- Une Radeon 9550, score : 848
- Une GeForce FX 5700LE, score : 392

En PCI Express :

- Une Radeon X300 SE (bus 64 bits), score : 817
- Une GeForce PCX5300 (bus 64 bits), score : 250

Merveilleux non ? Plusieurs choses sont à noter. D’une part, NVIDIA est le seul à supporter pour 50 € les Shader 2.0. Certes, c’est (très) lent, mais c’est supporté. D’autre part, à 100 €, ATI se décide à supporter les Shader 2.0. Cette fois, les performances sans être exceptionnelles sont d’un autre ordre que ce que propose NVIDIA avec ces GPU de la gamme GeForce FX : il est grand temps que NVIDIA sorte le NV44.

Enfin, on remarquera aussi que le passage au PCI Express n’est pas une très bonne affaire. En effet, le PCI Express à un surcoût non négligeable, du coup pour 100 € on vous passe d’un bus mémoire 128 bits à un bus mémoire 64 bits (faible influence sous 3DMark05 qui utilise fortement les shader mais bien plus dans les jeux classiques) et chez NVIDIA le GPU proposé est dans l’absolu moins performant.

Conclusion

Avec 3DMark05, FutureMark nous propose une nouvelle fois une démonstration de ce dont sont capables les dernières cartes graphiques lorsqu’elles sont utilisées dans leur derniers retranchements. Contrairement à son prédécesseur, il est complètement voué à DirectX 9 et utilise ce dernier au mieux, notamment avec le HLSL, mais cela empêchera de nombreux utilisateurs d’en prendre plein la vue, faute de carte le supportant.

En ce qui concerne l’utilisation de 3DMark05 en tant que benchmark, elle est soumise à précaution. En effet, les derniers drivers de NVIDIA et d’ATI augmentent fortement les performances. Certes, ces drivers sont certifiés par FuturMark et sur les screenshots il n’y a pas de perte de qualité visible, mais on aimerait que ATI et NVIDIA s’expliquent clairement sur la provenance de tels gains. De plus, nous avons remarqué un comportement assez étrange de la X800 Pro en terme de stabilité de framerate avec les derniers drivers beta ATI.

Au-delà de ces gains de dernières minutes, il est intéressant de voir les scores sans ces optimisations. On voit alors que les dernières architectures de NVIDIA et d’ATI sont très proches, avec avantage pour ce dernier avec le quasi indisponible X800 XT PE. Le 6600GT 128 Mo est pour sa part plus rapide que le X700 Pro 256 Mo sans anti-aliasing, ce dernier reprenant l’avantage en AA 4x grâce à sa mémoire.

La gamme GeForce FX, montre une fois de plus ses performances très faibles dans les calculs en virgule flottante, et seuls de futurs drivers remplaçant les shaders de 3DMark par des shaders de moindre précision pourront lui donner des performances dignes de leur placement prix. Reste qu’à la vue des drivers 66.51, NVIDIA ne semble pas pressé d’augmenter les performances sous 3DMark05 des cartes GeForce FX : il faut espérer pour les possesseurs de GeForce FX que, comme l´indique NVIDIA, ce ne sera pas la même chose pour les futurs jeux Pixel Shader 2.0 !