SPEC

기타 동음이의어에 대한 내용은 스펙 문서 참고하십시오.






1. 개요[편집]

---

Standard Performance Evaluation Corporation[1], 즉 SPEC은 컴퓨터를 위한 표준화된 성능 벤치마크를 생산, 수립, 유지, 보증하기 위한 미국의 비영리단체이다.

1988년 설립되었으며 멤버로는 Intel, AMD, NVIDIA, ARM, 아마존닷컴, Apple, 오라클, 퀄컴 등의 기업과 대학, 연구센터로 이루어진 수백 개 단체가 가입되어 있다.

이곳에서 만드는 벤치마크는 SPEC 벤치마크라 불리며 컴퓨터 시스템을 평가하는데 널리 사용된다. 컴퓨터공학과라면 수업 시간에 한 번쯤은 다루고 지나가게 되는 벤치마크이며 논문이나 기업의 공식 자료에 자주 인용되는 산업표준에 가장 가까운 벤치마크이다. 인텔, AMD, ARM이 새로운 CPU의 성능을 발표할 때도 SPEC 벤치마크 기준으로 발표하는 경우가 많다.

2. SPEC 벤치마크 제품군[편집]

---

SPEC 벤치마크는 클라우드, CPU, 그래픽, 워크스테이션, OpenCL, 스토리지, 파워 등 수많은 제품군을 평가하기 위해 다양한 종류로 개발되어 있다.
현재 판매되고 있는 벤치마크 종류는 크게 28가지이며, 단일 CPU 성능을 평가하는 데 주로 쓰이는 SPEC CPU의 경우 라이선스 하나에 1000달러에 판매되고, 워크스테이션을 평가하기 위한 SPECworkstation의 경우 상업용 라이선스가 5000달러에 판매되고 있다.

2.1. SPEC CPU[편집]

---

SPEC2017과 SPEC2006은 서로 다른 시스템, 서로 다른 아키텍처, 서로 다른 마이크로아키텍처 간의 성능을 비교하는데 표준이 되는 테스트이다.

CPU 설계 초기 단계엔 벤치마크 테스트를 RTL 시뮬레이션이나 ASIC 에뮬레이션을 통해 수행하는데, 일반적으로 ASIC 에뮬레이터는 현실보다 1000배 느리며 RTL 시뮬레이터는 ASIC 에뮬레이터보다 1000배 느리다. 따라서 Dhrystone이나 Coremark같은 작은 단위의 동일한 연산을 반복하여 수행하는 테스트를 주로 사용하여 성능을 검증하고, 전력 소모량을 예측한다. 하지만 Dhrystone과 Coremark가 정수연산만을 수행하고 부동소수점 연산이 포함되어 있지 않으며, 단순 연산만을 반복하기 때문에 CPU의 실제 연산 능력을 모두 표현하지 못한다는 단점이 존재했다. 따라서 SPEC은 SpecInt와 SpecFP 두가지 큰 틀 아래 각각 정수연산과 부동소수점 연산을 테스트 할 수 있도록 구성되어 있다.

SpecInt와 SpecFP는 실제 사용자가 CPU를 통해 주로 수행하는 코드컴파일과 인터프리터연산(perlbench, gcc), XML처리(xlancbmk), 비디오압축(x264), AI(deepsjeng,leela,exchange), 압축(xz), 각종 물리연산과 시뮬레이션(bwaves,cactuBSSN,namd,parest,povray,lbm,wrf 등) 같은 다양한 연산을 테스트에 반영하고 있다. 물론 Dhrystone과 Coremark에 비해 각 테스트의 연산량이 많고, 종류가 다양하기 때문에 반도체 설계 단계에서 RTL 시뮬레이션이나 ASIC 에뮬레이션으로 이를 수행하는 것에는 여전히 무리가 따르며, 이를 위해 통계학적으로 특이점만 추출해 테스트 하는 SimPoint 기법을 활용한다.

SPEC에 참여한 기업 목록에서 짐작 할 수 있겠지만, ARM과 x86 두 아키텍처 간의 비교에 사용하는데 무리가 없으며 두 진영 모두 프로세서 설계 단계에서 SPEC을 적극 활용하고 있다.

여담으로, 벤치마크를 컴파일할 때 사용한 컴파일러 종류나 플래그에 따라 결과가 달라질 수 있으므로 일관된 환경에서 컴파일된 벤치마크로 테스트하는것이 중요하다.[2]

현재 최신 버전은 SPEC2017이며 이전 버전은 SPEC2006이다.

2.1.1. SPEC2006[편집]

---

2006년에 공개되었다.

후속 버전인 SPEC2017이 이를 대체하게 되었지만 여전히 구성이 알차고, 2017에 돈을 또 쓰긴 아깝고[3]

벤치 한 카피당 1000달러씩 한다.

최신 명령어 셋을 사용하도록 빌드되기 때문에 현재까지도 공식 성능 발표나 논문에 자주 인용되는 벤치마크이다.

정수 연산을 평가하기 위한 SPECint2006과 부동소수점 연산을 평가하기 위한 SPECfp2006으로 나뉜다.

각 항목의 처리 속도를 측정한 다음 기하평균을 내 전체 점수를 도출한다.

• SPECint2006

• SPECfp2006

2.1.1.1. 아난드텍 SPEC2006 결과[편집]

---

마이크로아키텍처별 벤치마크 결과이다. 아키텍처 규모가 클수록 클럭당 처리성능이 높은 경향을 보인다.[5]

2.1.1.1.1. ARM 기반 CPU[편집]

---

2.1.1.1.2. x86 기반 CPU[편집]

---

2.1.2. SPEC2017[편집]

---

2017년에 공개된 SPEC CPU 벤치마크의 최신 버전이다.

정수와 부동소수점 연산이 SPECrate와 SPECspeed로 나뉜다.

• SPECint2017

• SPECfp2017

2.1.2.1. 아난드텍 SPECrate2017 결과[편집]

---

마이크로아키텍처별 벤치마크 결과이다. 캐시나 아키텍처 규모가 클 수록 클럭당 처리 성능이 높은 경향을 보인다.

2.1.2.1.1. ARM 기반 CPU[편집]

---

2.1.2.1.2. x86 기반 CPU[편집]

---