サムスンが「GALAXY Note 3」のベンチマークを水増している疑惑が浮上。波紋が広がっているようです。
問題の発端となったArs Technicaの記事によると、サムスンが「GALAXY Note 3」にベンチマークスコアを不正に引き上げる仕組みを密かに施しているとのこと。
その仕組みとは、デバイスがベンチマークのプログラムを識別し、通常とは異なる「スペシャルモード」で動作。ユーザーが体験することがない、虚偽のスコアを叩きだすというものです。
元記事によると、この「ベンチマーク ブースター」により、GALAXY Note 3のスコアが20%も水増しされているとのこと。
下がそのグラフ。上がブースター有りで、下がノーマルなスコアです。
サムスンによるベンチマーク水増し疑惑は「GALAXY S4」のGPUでも指摘されており、公式な見解(釈明)では、特別なケースに限りパフォーマンスが最大になる、ということを認めています。
しかしながら今回、Ars Technicaがベンチマークソフト・サイトが列挙されているコードをNote 3から掘り出すことに成功。グレーどころか、限りなく黒に近い状態とみなされているようです。
これに対して、アップルのフィル・シラーも、自身のTwitterで「shenanigans (愚かな行為・まやかし・不正」と一蹴しています。
shenanigans http://t.co/30FoQDfNw0
— Philip Schiller (@pschiller) October 1, 2013
このニュースを見たときは「またか」という程度にしか認識していませんでしたが、その後この話が意外な展開を見せます。
ディープなハードウェアの記事で知られるAnadTechがその後掲載した記事によると、「ベンチマークブースター」はサムスンの端末だけでなく、アップルとモトローラを除く、テストをしたほぼ全てのメーカーで見受けられたとのこと。
下の表で「Y」となっているのが、「Cheats (ズル)」をしているとされる箇所です。
あまりの酷さに、表のタイトルが「I Can’t Believe I Have to Make This Table (この表を作らなければいけないこと自体異常)」となっている有様。
Androidの世界では複数のメーカーが端末を開発しているため、自社製品の優位性を示すためにベンチマークが重要となることが、この悪しき慣習の原因のひとつかもしれません。
ハードウェアの性能が数値化されるベンチマークは、端末を比較する上で便利ではありますが、必ずしも実世界のパフォーマンスを反映しているとは限りません。
ユーザーとしても、あまりベンチマーク結果ばかりに踊らされることが無いよう気をつけたいものです。
