Apple обвини Consumer Reports в използване на неправилна методология за тестване

Преди две седмици феновете на Apple бяха учудени от новината, че новите MacBook за първи път не получиха препоръката на Consumer Reports за закупуване.

Високото качество на лаптопите на Apple е известно на всички. Тази компютърна техника се използва от елитните хакери, дори и да се наложи преинсталиране на операционната система. Но най-новия лаптоп на Apple не бе препоръчан за закупуване. Оказа се, че причината за това са твърде противоречивите резултати за времето на автономна работа при тестовете с отваряне на уеб-сайтове от браузъра Safari.

Веднага започнаха да се появяват слухове, че това е някакво недоразумение. Так се и оказа – Apple намери и оправи един твърде странен бъг. Но сега компанията от Купертино обвинява „прекалено умните“ експерти на Consumer Reports, при които се прояви въпросния бъг. Тоест, използваната от тях методология не е правилна. Кой е правият?

Резултатите от тестовете наистина са много странни: 13-инчовият MacBook Pro с Touch Bar при първия тест издържа 16 часа в автономен режим, 12,75 часа при втория тест и 3,75 часа в третия.

13-инчовият MacBook Pro без тъчбар издържа 19,5 часа при първия тест и 4,5 часа при втория.

Времената на 15-инчовия модел са 18,5 и 8 часа.

Тестът се състои от безкраен брой цикли с отваряне на 10 страници в браузъра, които се подават чрез Wi-Fi. Цикълът започва при 100% заредена батерия и приключва с автоматичното изключване на лаптопа. Уеб-страниците се отварят със стандартния браузър Safari в ОС с последните обновявания. Тестовете започнаха преди две седмици, а след това бяха продължени с излизането на macOS Sierra 10.12.2. Разлика няма.

Apple съобщи на пресата какво се е случило: „По време на тестването, Consumer Reports са използвали скритите настройки на браузъра, вместо реалните настройки, които хората използват в ежедневието„.

Това е настройка, която изключва кеша на браузъра. Експертите на това авторитетно списание специално са изключили кеша, за да получат по-реалистични резултати, понеже при тестовете се използва скрипт, който зарежда едни и същи сайтове. Ако бяха оставили кеша включен, нямаше да се получат верни резултати, тъй като данните биха се зареждали от паметта, а не чрез Wi-Fi връзката.

Прегледът на уеб-сайтове с изключен кеш на браузъра е напълно логична и валидна методология за тестване.

Apple и Consumer Reports проведоха съвместно разследване и изясниха, че при активирането именно на тази настройка се проявява „неясен и прекъсващ“ бъг, който презарежда иконките. Това е причината за тези необичайни резултати.

При стартиране на тестовете със стандартните настройки, бъгът не се проявява.

Apple оправи този злощастен бъг и сега редакцията на Consumer Reports може още веднъж да направи тестовете и да даде на новите лаптопи заслужения висок рейтинг и препоръки за закупуване.

Но Apple и Consumer Reports по различен начин гледат на този бъг. Apple счита, че методологията на тестването е неправилна, а Consumer Reports е на мнение, че лаптопите са се провалили на тестовете заради бъг.

Consumer Reports обяви, че тества абсолютно всички лаптопи по един и същ начин. Но PR машината на Apple работи перфектно и ситуацията се поднася по такъв начин, че въпросният бъг в Safari няма отношение към проблема. Кой е прав, навярно ще разберем при следващите тестове.