Есть причина, почему мы относимся к результатам бенчмарк тестов с долей скептицизма. Дело в том, что неоднократно OEM производители попадались на попытках обмануть систему. Так уж сложилось, что производители всячески стараются, чтобы их телефоны набрали чуть больше баллов, чем они заслуживают.
Для этого они вписывают дополнительный код в свои продукты, которые влияют на бенчмарк программы. После того, как сервис видит, что телефон работает, он автоматически запускает ядра процессора и заставляет их работать на полную катушку на протяжении всего теста. В то время как технический результат показывает пределы процессора, эта информация никак не отражает реального поведения телефона в ежедневном использовании. Самый простой способ выявить обман – переименовать ваше бенчмаркинг приложение, так как код касается только названий.
Samsung, LG, HTC, и Asus уже были признаны виновными в накрутке результатов тестов, а теперь еще и Huawei пойман с поличным и попадает в этой вовсе не почетный список. Конкретно, – Ascend P7 был исключен из вебсайта Futuremark, а результаты были удалены. Причина в том, что выяснилось следующее – тест устройства проходил не совсем честно, когда тестировался на таких сервисах, как GFXBench T-Rex и 3DMark Ice Storm.
Техноблог AnandTech провел тест, запустив два приложения на Ascend P7, затем переименовала программы и снова их протестировала. К удивлению многих, результаты сильно отличались. T-Rex дал телефону 12.3 баллов результата, когда программа тестировалась в версии Play Store; а после переименования, устройство набрало всего 10.6 баллов. На лицо накрутка на 16% производительности, вот вам и обман бенчмаркинга. Еще больше разрыв был зафиксирован на Ice Storm – 7462 очков с оригинальным именем, и 5816 очков после переименования, что составляет 28.3% разницы.
Ascend P7 работает на собственном Kirin 910T и ГП Mali-450. Это далеко от мощностей Snapdragon 800, и результаты теста далеко не поражают. Однако производительность P7 все равно довольно высока, поэтому немного обидно, что Huawei решили обмануть своих пользователей и подмочили репутацию ожидаемого устройства.