Zgłoś błąd
X
Zanim wyślesz zgłoszenie, upewnij się że przyczyną problemów nie jest dodatek blokujący reklamy.
Błędy w spisie treści artykułu zgłaszaj jako "błąd w TREŚCI".
Typ zgłoszenia
Treść zgłoszenia
Twój email (opcjonalnie)
Nie wypełniaj tego pola
Załóż konto
EnglishDeutschукраїнськийFrançaisEspañol中国

Kompendium wiedzy o testach procesorów - Wszystko co musisz wiedzieć o procedurze pomiarowej i ustawieniach platform

Sebastian Oktaba | 07-10-2024 08:00 |

Testy procesorów - Benchmark vs rzeczywistość

Kompendium wiedzy o testach procesorów - Wszystko co musisz wiedzieć o procedurze pomiarowej i ustawieniach platform [nc1]

Kształt procedury pomiarowej jest indywidualną decyzją testującego, niemniej pewne programy powtarzają się praktycznie zawsze - Cinebench, Corona, ShotCut, Blender itp. Wymienione aplikacje bądź benchmarki można z powodzeniem nazwać kanonicznymi, bowiem charakteryzują się wzorowym skalowaniem, powtarzalnością i prostotą obsługi. Sytuacja wygląda inaczej w przypadku gier komputerowych, najpierw wymagających wyselekcjonowania produkcji faktycznie pokazujących różnice między procesorami. Później dochodzi kwestia sposobu wykonania samego pomiaru. Zasadniczo mamy dwie przeciwstawne szkoły testowania - wbudowane benchmarki i miejsca wybierane bezpośrednio w grach komputerowych. Teoretycznie obydwa powinny służyć identycznemu celowi, prawda? Owszem, aczkolwiek korzystanie z gotowych narzędzi może okazać się średnim pomysłem, nawet w tytułach o wybitnie procesorowym zacięciu. Istnieją jednak pewne kryteria pozwalające obiektywnie określić, który scenariusz przedstawia bardziej życiowe wyniki. Na potrzeby niniejszego opracowania posłużę się przykładami Cyberpunk 2077 i Total War Warhammer III, porównując wbudowane testy wydajności z wynikami uzyskanymi w realnych miejscach pomiarowych. 

Zaletą automatycznych benchmarków okazuje się oczywiście łatwość obsługi, a także możliwość szybkiego zweryfikowania pomiarów przez czytelnika, dzięki powszechnie dostępnym narzędziom. Główną wadą wbudowanych benchmarków w przypadku testów procesorów jest przeważnie charakterystyka bliższa graficznej, czyli kompletnie odmienna od faktycznie potrzebnej (szybko zachodzi bottleneck GPU). Często na dokładkę dostajemy jeszcze odrealnione ujęcia kamery albo specyficzne scenki niewiele mające wspólnego z rzeczywistą rozgrywką. Miejsca testowe wymagają dokładnego poznania produkcji oraz wybrania odpowiedniej lokacji, która połączy wysokie wymagania, reprezentatywność oraz powtarzalność. Plusem jest pokazywanie wyników rzeczywistych, ale pewnym problemem (dylematem?) pozostaje decyzja jaki scenariusz konkretnie wybrać, zwłaszcza w przypadku sandboxów o ogromnych światach. Przeciętny czytelnik nie będzie mógł również dokonać własnych pomiarów, chyba że odnajdzie lokację pomiarową lub otrzyma gotowy save. Sprawdźmy najpierw jak przedstawiają się różnice wydajności między wbudowanymi benchmarkami i prawdziwymi miejscami.

Kompendium wiedzy o testach procesorów - Wszystko co musisz wiedzieć o procedurze pomiarowej i ustawieniach platform [nc6]
Kompendium wiedzy o testach procesorów - Wszystko co musisz wiedzieć o procedurze pomiarowej i ustawieniach platform [nc5]

Zacznijmy od gotowego testu dostępnego w menu ustawień graficznych Cyberpunk 2077, powszechnie stosowanego w mediach branżowych, który skonfrontowałem z lokacją wykorzystywaną w pomiarach procesorów PurePC. Połowa przelotu we wbudowanym narzędziu odbywa się w zamkniętym pomieszczeniu (bar), następnie kamera wylatuje na zewnątrz podążając wąską uliczką, finalnie pokazując niewielki kawałek miejskiej infrastruktury. Pamiętajmy, że benchmark przedstawia spreparowany i niewielki wycinek wirtualnego świata, pozbawiony dalszego tła towarzyszącego rzeczywistej rozgrywce. Nasza lokacja (Little China) to natomiast miejsce mocno zagęszczone postaciami niezależnymi, gdzie poniżej poziomu targowiska biegnie jeszcze ruchliwa droga. Wybraną dzielnicę powinniście odwiedzić kilkukrotnie w czasie trwania kampanii fabularnej oraz podczas wykonywania licznych zadań pobocznych. Test polegał na spokojnym przejściu określonego odcinka odgórnie ustaloną trasą. Wbudowany benchmark nie podaje odczytów 1% LOW, ograniczając wyłącznie do MIN/AVG, dlatego na potrzeby porównania wyniki zmuszony byłem zawęzić do dwóch wartości.

Cyberpunk 2077 - Benchmark

1920x1080 / Ultra / RT OFF / FOV 100 / DirectX 12

MIN / AVG FPS (więcej = lepiej)

30
60
90
120
150
180
210
240
Intel Core i7-14700K (20R/28W)
3400-5600 MHz, DDR5-7000 MHz CL32
226
92
AMD Ryzen 7 7800X3D (8R/16W)
4200-5000 MHz, DDR5-7000 MHz CL32
225
89

Cyberpunk 2077 - Realne Miejsce (Little China)

1920x1080 / Ultra / RT OFF / FOV 100 / DirectX 12

MIN / AVG FPS (więcej = lepiej)

18
36
54
72
90
108
126
144
Intel Core i7-14700K (20R/28W)
3400-5600 MHz, DDR5-7000 MHz CL32
136
130
AMD Ryzen 7 7800X3D (8R/16W)
4200-5000 MHz, DDR5-7000 MHz CL32
121
115

Przede wszystkim - wbudowany benchmark Cyberpunk 2077 kładzie zdecydowanie silniejszy nacisk na obciążenie układu graficznego, dlatego nie powinien służyć do testowania procesorów. Praktycznie zerowe różnice między Intel Core i7-14700K i AMD Ryzen 7 7800X3D świadczą o zjawisku bottleneck GPU, nawet pomimo wykorzystania w platformie sprzętowej NVIDIA GeForce RTX 4090. Zastosowanie słabszej karty graficznej jeszcze bardziej odrealniałoby wyniki w kontekście procesorów. Wbudowany benchmark cechuje także zaskakujący rozrzut wartości MIN FPS, chociaż teoretycznie powinien być całkowicie powtarzalny (odchyły wynosiły 10%). Lokacja testowa i pomiary podczas rozgrywki (Little China), abstrahując od pozycji jednego bądź drugiego producenta, pokazują już różnice między procesorami ponieważ karta graficzna nie stanowiła tutaj ograniczenia. Zwrócić jeszcze uwagę na średnią ilość wygenerowanych klatek na sekundę - takich wartości podczas realnej zabawy na mieście raczej nie zobaczycie w wybranych ustawieniach. Dlatego użyteczność wbudowanego benchmarka Cyberpunk 2077 jest wątpliwa.

Kompendium wiedzy o testach procesorów - Wszystko co musisz wiedzieć o procedurze pomiarowej i ustawieniach platform [nc8]
Kompendium wiedzy o testach procesorów - Wszystko co musisz wiedzieć o procedurze pomiarowej i ustawieniach platform [nc7]

Podobny eksperyment przeprowadziłem w strategii Total War: Warhammer III, posiadającej kilka gotowych scenariuszy testowych, natomiast do porównania wybrałem najbardziej popularny Battle. Benchmark przedstawia typową potyczkę z wykorzystaniem mieszanych oddziałów, podczas gdy autorskie miejsce testowe pokazuje oblężenie twierdzy. Różne scenerie, kadrowanie kamery i perspektywa ukazania pobojowiska, bardzo istotnie wpływają na ogólną wydajność. Przypadek Total War: Warhammer III okazał się jednak analogiczny do Cyberpunk 2077 - wykresy ponownie zostały spłaszczone, bowiem procesory ograniczały możliwości układu graficznego. Intel Core i7-14700K i AMD Ryzen 7 7800X3D remisują nie dlatego, że oferują identyczną wydajność, ale zachodzi zjawisko bottlenck GPU. Zupełnie inaczej sytuacja wygląda w rzeczywistej rozgrywce, gdzie odnotowałem prawie trzykrotnie niższe wartości, a także zaistniało skalowanie między testowanymi jednostkami, skoro GPU przestało być wąskim gardłem. 

Total War: Warhammer III - Benchmark (Battle)

1920x1080 / Ultra / TAA / DirectX 11

MIN / AVG FPS (więcej = lepiej)

36
72
108
144
180
216
252
288
Intel Core i7-14700K (20R/28W)
3400-5600 MHz, DDR5-7000 MHz CL32
276
223
AMD Ryzen 7 7800X3D (8R/16W)
4200-5000 MHz, DDR5-7000 MHz CL32
273
225

Total War: Warhammer III - Sartosa (2 vs 2 Siege)

1920x1080 / Ultra / TAA / DirectX 11

MIN / AVG FPS (więcej = lepiej)

13
26
39
52
65
78
91
104
Intel Core i7-14700K (20R/28W)
3400-5600 MHz, DDR5-7000 MHz CL32
95
81
AMD Ryzen 7 7800X3D (8R/16W)
4200-5000 MHz, DDR5-7000 MHz CL32
84
70

Czy zatem istnieją wbudowane benchmarki mogące uchodzić za użyteczne? Jeśli myślimy o sprawdzaniu możliwości procesorów, gdzie dodatkowo miałyby jeszcze oddawać realne wartości FPS widoczne podczas rozgrywki, to naprawdę trudno takowe uczciwie wskazać. Większość jest kompletnie oderwana od rzeczywistości oraz ukierunkowana na sprawdzanie wydajności układów graficznych. Dotyczy to zwłaszcza sandboxów i innych produkcji cechujących się zróżnicowanym środowiskiem. Wbudowane benchmarki mogą natomiast całkiem nieźle odzwierciedlać rzeczywiste wymagania sprzętowe w produkcjach hermetycznych np. wyścigach samochodowych, gdzie przykładem sensownego narzędzia jest chociażby Forza Horizon 5. Ostatecznie nie gramy jednak w benchmarki, dlatego najlepszą metodyką testową pozostaje wybranie wymagających, reprezentatywnych oraz powtarzalnych miejsc pomiarowych, aczkolwiek to również złożona kwestia wymagająca szerszego omówienia. 

Bądź na bieżąco - obserwuj PurePC.pl na Google News
Zgłoś błąd
Sebastian Oktaba
Liczba komentarzy: 81

Komentarze:

x Wydawca serwisu PurePC.pl informuje, że na swoich stronach www stosuje pliki cookies (tzw. ciasteczka). Kliknij zgadzam się, aby ta informacja nie pojawiała się więcej. Kliknij polityka cookies, aby dowiedzieć się więcej, w tym jak zarządzać plikami cookies za pośrednictwem swojej przeglądarki.