ベンチマーク（TPC・SPEC）とは？

ベンチマーク（TPC・SPEC）の意味

標準化された業務模擬プログラムを実行して、機種間で比較可能な性能値を得る手法。オンライン取引処理や意思決定支援を模す系統と、演算・整数処理などプロセッサ単体の能力を測る系統がある。機種選定やサイジングの根拠として提示できる客観的な指標になる。

ベンチマーク（TPC・SPEC）の具体例

調達仕様書に「取引処理の基準試験で毎分◯◯取引以上、かつ価格性能比を評価対象とする」と書き、提案各社の公表値で一次比較する。最終的には自社の代表的な業務処理を切り出して実機で測る試験（実測評価）を併用し、公表値との乖離を確認する。

ベンチマーク（TPC・SPEC）は試験でどう引っ掛けられる？

公表値は最適な構成・調整のもとで測られており、自社の業務特性（データ量、参照の偏り、同時利用者数）とはずれる。数値の大小だけで決めると本番で目標を満たさない。測定条件と価格を併せて見るのが原則。

ベンチマーク（TPC・SPEC）と関連する用語

• CPIとMIPS（プロセッサの性能指標）
• 負荷テストとストレステスト
• GPGPUとアクセラレータ

ベンチマーク（TPC・SPEC）が出た過去問

• システムの性能を評価する指標と方法に関する次の記述中のa〜cに入れる字句の適切な組合せはどれか。利用者が処理依頼を行ってから結果の出力が終了するまでの時間を［ …

  正解：a：ターンアラウンド　b：スループット　c：ベンチマークテスト

  要点：所要時間はターンアラウンド、処理量はスループット

  ターンアラウンドタイムは依頼から結果の出力が終わるまでの時間、スループットは単位時間当たりに処理できる仕事量を表す。実際に代表的なプログラムを走らせて性能を測る評価方法がベンチマークテストであり、模擬モデルで挙動を再現するシミュレーションとは区別する。

  出典：平成22年度 秋期 ITパスポート試験 問86（IPA）

• コンピュータシステムの性能評価を中立的な立場で行うために、各種ベンチマークテストの開発や評価結果を公開することを目的として設立された団体はどれか。

  正解：SPEC

  要点：中立的なベンチマークを開発・公開する団体がSPEC

  SPECは、コンピュータの性能を客観的に比較できるよう、標準的なベンチマークプログラムを開発し、測定結果を公開している非営利の団体である。特定のメーカに偏らない中立的な指標を提供することを目的としている。

  出典：平成24年度 秋期 ITパスポート試験 問75（IPA）

• システム開発プロジェクトにおいて、類似している他のプロジェクトの実績を基準として、単体テストの不具合発生率を評価することにした。品質計画におけるこの手法はどれか…

  正解：ベンチマーク

  要点：ベンチマークは他の実績を基準に自らの水準を比較評価する

  ベンチマークは、他の優れた事例や類似案件の実績値を基準に置き、自らの水準を比較して評価する手法である。類似プロジェクトの不具合発生率を目安として自プロジェクトを評価するやり方はこれにあたる。

  出典：平成25年度 秋期 ITパスポート試験 問46（IPA）

• ホットプラグの説明として，適切なものはどれか。

  正解：PCの電源を入れたままで周辺機器の着脱が行える機能のこと

  要点：ホットプラグは電源を入れたまま機器を着脱できる

  ホットプラグは、機器の電源を入れたまま周辺機器を抜き差しできる機能で、USBなどが対応している。稼働を止めずに接続を変更できるため利便性と可用性が高まる。プラグインやバスパワー、ベンチマークとは別の概念である。

  出典：平成27年度 秋期 ITパスポート試験 問50（IPA）

• プラグアンドプレイに関する記述として、適切なものはどれか。

  正解：PCに周辺機器を接続すると、デバイスドライバの組込みや設定を自動的に行う。

  要点：プラグアンドプレイは接続するだけで自動認識・設定する仕組み

  プラグアンドプレイは、周辺機器を接続しただけでOSが機器を自動的に認識し、必要なドライバの組込みや資源の割り当てを行う仕組みである。利用者が手作業で設定する手間が省ける。ケーブル経由の給電はバスパワー、機能を追加するのはアドオン、性能測定はベンチマークであり、いずれも別の用語である。

  出典：平成27年度 春期 ITパスポート試験 問82（IPA）