※この記事はASCII.jpからの転載です（文中リンクはASCII.jpの記事に飛ぶことがあります）
Microsoft OfficeやAdobe CCなどユーザーの実利用環境のソフトウェアを利用するProcyon
そうしたUL Benchmarksのベンチマーク・プログラムの中で最新製品がProcyonになる。UL Solutionsの新谷氏によれば「Procyonの特徴は、実際に存在するアプリケーション・ソフトウェアをインストールしてもらい、それを利用してPCの処理能力を計測するという形になる。
例えば、Office Productivity BenchmarkではMicrosoft OfficeのWord、Excel、PowerPoint、Outlookがインストールされている必要があるし、Photo Editing BenchmarkではAdobe Creative CloudのPhotoshop、Lightroom Classicがインストールされている必要があり、Video Editing Benchmarkでは同じくAdobe Creative CloudのPremiere Proがインストールされている必要がある」という言葉の通りで、ベンチマークを実行するユーザーが別途Microsoft OfficeやAdobe Creative Cloudのライセンスを用意し、ターゲットとなるシステムに自分でインストールしておく必要がある。Procyonはそれらのアプリケーション・ソフトウェアを自動実行して、スコアを計測する仕組みになっている。
Procyonの3つのスイート
なお、Procyonにはこの他にもAI Inference Benchmark、Battery Life Benchmarkというベンチマークが用意されており、前者はAndroidデバイスのAI推論性能を計測するもの、後者はWindows PCにおけるバッテリー駆動時間を計測するテストになる。
Procyonはそれぞれ別のプログラムとして提供されており、ライセンスはそれぞれ別に販売される形になる。つまり、Procyonを利用してPCの性能を計測したい企業にとっては必要なプログラムのライセンスを購入して利用できる。
UL Solutionsの新谷氏は「Procyonの最大の特徴は、エンドユーザーが利用している実際のアプリケーション・ソフトウェアを実行してスコアを得ることで、一貫したスコアの再現性、そしてエンドユーザーの実利用環境を反映したスコアが最大の特徴となる」とその特徴を説明する。
新谷氏によればProcyon のOffice Productivity BenchmarkではMicrosoft Excelから表をWordに貼り付けたり、それをPDFに変換したりという実際のビジネスシーンで普通に行われている処理が再現され、その処理にかかった時間などを計測することでスコアが出されるという。
実際にOffice Productivity Benchmarkでは、PowerPointやExcelが立ち上がり、決められた作業が実行されてPCの性能が計測されていた
それにより、車を直線で走らせる「直線番長」的な性能ではなく、サーキットを走らせてみてタイムで性能を比較できる「総合性能」を調べるように、PCの性能を総合的にチェックすることが可能になる。
新谷氏によれば「欧州ではこうした客観的な指標が、パブリックセクターのお客さまがPCを選択する時の基準の1つにしたりしており、Procyonをその指標としてご活用いただいている。今後日本でもそうした動きが増えていくだろうと考えている」との通りで、既に欧米ではPCの性能を客観的に見ていくツールとしてProcyonが使われており、今後は日本でもエンタープライズなどを中心にそうした使い方が増えていくのではないかと想定しているということだった。
ベンチマーク・プログラムの最大の特徴は「ゆがまないモノサシ」であること
最後にUL Solutionsがこうしたベンチマーク・プログラムを提供する意義を紹介して、この記事のまとめとしたい。というのも、ベンチマークというのは常に「公平なモノサシとは何か？」を問われる存在だからだ。
というのも、固定した数値しか測れない物理的なモノサシとは違い、ベンチマーク・プログラムは、プログラムの作り方次第で、ある特定のベンダーに有利なように作ることも不可能ではないからだ。例えば、PCの心臓部であるCPUは、CPUの世代によって命令セットが追加されていたりする。
その新しい命令セットを利用すると、従来よりも効率よく演算できるようになるため性能は高まる。したがってベンチマークにその新命令セットをいち早く取り込めば、新命令セットに対応しているCPUでのスコアは必然的にあがることになる。
問題は、ベンチマーク・プログラムはそうした新命令セットにいつ対応するのがフェアかということだ。その新命令セットに対応しているCPUをいち早く出したCPUベンダーは当然「すぐに対応するのがフェアだ」となるが、そうではないCPUベンダーは「実際のアプリケーション・ソフトウェアはまだ対応していないのだから対応しないのがフェアだ」と主張するだろう。どちらの主張も正しいのだが、どうしても自社に有利なようになってほしいと願うのは自然なことで、それは誰かが決めるしかないだろう。
UL SolutionsのProcyonではそうした有利不利というのは、アプリケーション・ソフトウェアを作っているソフトウェア・ベンダーがそれを決めなければならない。Office Productivity BenchmarkであればMicrosoftだし、Photo Editing Benchmark/Video Editing BenchmarkであればAdobeということになる。
そしてそれが実際のエンドユーザーが利用する環境と同じであるため最もフェアな形でそうした指標が決められている、そういうことができる仕組みだろう。
もう1つ重要なのは、UL Solutionsが独立した企業ということだ。UL Solutionsの新谷氏によれば「UL Solutionsは、第三者の安全科学機関であり、中立的で公平な立場で試験・認証・監査などのサービスをを提供してきている」との通りで、PCベンダーも、CPUベンダーもUL Solutionsに影響力を行使できないということだ。
つまり、UL SolutionsがどこかのPCベンダーに有利なように、あるいはどこかのCPUベンダーに有利なようにベンチマーク・プログラムを作らないということが、担保されているといえる。
「ゆがまないモノサシ」をUL Solutionsは提供している、その客観性に対する高い信頼こそがUL Solutions傘下のUL Benchmarksが提供するベンチマーク・プログラムの最大の特徴と言ってもいいだろう。
