サムスンが「GALAXY Note 3」のベンチマークを水増している疑惑が浮上。波紋が広がっているようです。

問題の発端となったArs Technicaの記事によると、サムスンが「GALAXY Note 3」にベンチマークスコアを不正に引き上げる仕組みを密かに施しているとのこと。

その仕組みとは、デバイスがベンチマークのプログラムを識別し、通常とは異なる「スペシャルモード」で動作。ユーザーが体験することがない、虚偽のスコアを叩きだすというものです。

phill_on_benchmark_booster_3

元記事によると、この「ベンチマーク ブースター」により、GALAXY Note 3のスコアが20%も水増しされているとのこと。

下がそのグラフ。上がブースター有りで、下がノーマルなスコアです。

phill_on_benchmark_booster_1

サムスンによるベンチマーク水増し疑惑は「GALAXY S4」のGPUでも指摘されており、公式な見解(釈明)では、特別なケースに限りパフォーマンスが最大になる、ということを認めています。

しかしながら今回、Ars Technicaがベンチマークソフト・サイトが列挙されているコードをNote 3から掘り出すことに成功。グレーどころか、限りなく黒に近い状態とみなされているようです。
phill_on_benchmark_booster_2

これに対して、アップルのフィル・シラーも、自身のTwitterで「shenanigans (愚かな行為・まやかし・不正」と一蹴しています。

このニュースを見たときは「またか」という程度にしか認識していませんでしたが、その後この話が意外な展開を見せます。

ディープなハードウェアの記事で知られるAnadTechがその後掲載した記事によると、「ベンチマークブースター」はサムスンの端末だけでなく、アップルとモトローラを除く、テストをしたほぼ全てのメーカーで見受けられたとのこと。

下の表で「Y」となっているのが、「Cheats (ズル)」をしているとされる箇所です。

あまりの酷さに、表のタイトルが「I Can’t Believe I Have to Make This Table (この表を作らなければいけないこと自体異常)」となっている有様。

phill_on_benchmark_booster_4

Androidの世界では複数のメーカーが端末を開発しているため、自社製品の優位性を示すためにベンチマークが重要となることが、この悪しき慣習の原因のひとつかもしれません。

ハードウェアの性能が数値化されるベンチマークは、端末を比較する上で便利ではありますが、必ずしも実世界のパフォーマンスを反映しているとは限りません。

ユーザーとしても、あまりベンチマーク結果ばかりに踊らされることが無いよう気をつけたいものです。