ITパスポート試験 ITパスポート 2017年 (平成29年 春期) 問77: ベンチマークテストに関する記述として,適切なものはどれか。

問題本文

ベンチマークテストに関する記述として,適切なものはどれか。

選択肢

• ア.システム内部の処理構造とは無関係に,入力と出力だけに着目して,様々な入力条件に対して仕様どおりの出力結果が得られるかどうかを試験する。
• イ.システム内部の処理構造に着目して,分岐条件や反復条件などを網羅したテストケースを設定して,処理が意図したとおりに動作するかどうかを試験する。
• ウ.システムを設計する前に,作成するシステムの動作を数学的なモデルにし,擬似プログラムを用いて動作を模擬することで性能を予測する。
• エ.標準的な処理を設定して実際にコンピュータ上で動作させて,処理に掛かった時間などの情報を取得して性能を評価する。

正解

エ. 標準的な処理を設定して実際にコンピュータ上で動作させて,処理に掛かった時間などの情報を取得して性能を評価する。

解説

ベンチマークテスト(Benchmark Test)とは、あらかじめ決められた標準的な処理(ベンチマークプログラム)を実際にコンピュータ上で実行し、処理時間・スループット・応答時間などの実測値を取得してコンピュータの性能を比較・評価する手法である。CPU性能指標のSPECやグラフィック性能指標など、分野ごとに標準ベンチマークが存在する。他の選択肢の「ブラックボックステスト」は入出力だけに着目するソフトウェアテスト手法、「ホワイトボックステスト」は内部ロジックを検証するテスト手法、「シミュレーション」は数理モデルで動作を模擬する手法であり、ベンチマークとは概念が異なる。

選択肢ごとの解説

• ア.誤り。「内部構造と無関係に入出力だけに着目して仕様どおりの出力が得られるか試験する」はブラックボックステスト(Black Box Test)の説明である。外部仕様のみを基にテストケースを作成し、内部実装を問わず動作を検証する手法でベンチマークとは無関係。
• イ.誤り。「内部処理構造に着目して分岐・反復を網羅したテストケースで処理が意図どおりか試験する」はホワイトボックステスト(White Box Test)の説明である。命令網羅・分岐網羅などのカバレッジ基準を設けてソースコードの論理構造を検証する手法で、性能評価とは異なる。
• ウ.誤り。「システム設計前に数学的モデルと擬似プログラムで動作を模擬して性能を予測する」はシミュレーション(Simulation)の説明である。実際に稼働させず数理モデルで仮想的に動作させる点がベンチマークと異なる。ベンチマークは実機で実際に動かして測定する。
• エ.正しい。「標準的な処理を設定して実際にコンピュータ上で動作させ、処理にかかった時間などを取得して性能を評価する」がベンチマークテストの定義に合致する。代表的なベンチマークにはCPU性能のSPECint、浮動小数点演算のSPECfp、ストレージ性能測定ツールなどがある。