문서의 임의 삭제는 제재 대상으로, 문서를 삭제하려면 삭제 토론을 진행해야 합니다. 문서 보기문서 삭제토론 벤치마크 (문단 편집) === 의미가 없다? === OS가 다른 경우 벤치마크 테스트 결과 비교 분석이 의미가 없다는 주장도 있다. 특히 모바일 쪽에서 iOS와 안드로이드, 윈도우 기기간 벤치마크 테스트를 한 다음 비교 리뷰하는 게 무의미하다고 생각하는 이들이 있다. 선스파이더나 산드라 역시 [[Xcode]]쪽으로 최적화가 되어 있다는 소문이 있어 안드로이드의 점수가 iOS보다 비교적 안 좋게 나온다는 것. 그래서 구글은 Octane(옥테인)이란 벤치마크를 만들기도 했었다. 다만 위 주장은 과장이 있는 것이, 일부 벤치마크 소프트웨어가 한쪽에 최적화되어 있을 수는 있지만 그로 인해 생기는 오차는 생각보다 크지 않다. 참고로 말하자면 [[http://www.anandtech.com/show/7460/apple-ipad-air-review/3|아이패드 에어]]나 [[http://www.anandtech.com/show/7519/apple-ipad-mini-with-retina-display-reviewed/2|아이패드 미니 레티나 모델]]은 구글이 내세운 옥테인에서도 높은 벤치마크 스코어를 찍었다. 애초에 벤치마크 테스트 결과가 사용자들이 느끼는 "체감 성능"을 수치로 설명하는데 널리 사용된다는 것을 보면 저런 걸 수치화하는 게 문제라고 볼 수는 없다. 안드로이드 기기의 이러한 한계는 단순 하드웨어 스펙 수치에서 나타나지 않는 소프트웨어 관련 부분이다. 당장 저 주장이 말이 된다면 iOS, 안드로이드, 윈도우 모바일 기기를 벤치마크 테스트로 지금도 열심히 비교분석하고 있는 대다수의 전문 IT 리뷰어들은 헛짓을 하고 있다는 말이 된다. 이들도 벤치마크 테스트의 한계를 모르는 게 아니기 때문에 벤치마크 테스트를 한개만 돌리는 게 아니라 5-10가지를 돌리면서 OS간 성능 비교분석을 하므로, 일반 사용자 입장에선 충분히 지표로 활용할 수 있다. 벤치마크 테스트에 여러가지 이유로 오차가 존재할 수 있다는 주장이 틀린 건 아니며 그건 수많은 IT 기기를 테스트하는 걸 업으로 삼는 전문가들도 모르는 게 아니다. 하지만 거기서 더 나아가 iOS와 안드로이드, 윈도우의 벤치마크 분석이 아예 무의미하다고 단정짓는 건 침소봉대급 주장이라고 봐도 무방하다. 한편, 같은 안드로이드끼리도 벤치마크 점수가 의미가 없다고 하기도 한다. 첫 번째로 서로 다른 기기의 경우 최적화 정도가 다를 때, 예를 들어 [[넥서스 5]]는 [[LG G2|G2]]나 [[갤럭시 S4 LTE-A]]와 같은 AP인 [[스냅드래곤 800]]을 사용하고, 오히려 AP 외에 타 부분의 스펙은 조금 떨어지지만[* 단, 대부분의 벤치마크 프로그램이 AP와 램을 기반으로 한 성능을 측정해서 이를 제외한 다른 부분의 스펙 차이는 점수에 큰 영향을 미치지 않는다] 구글의 지원을 필두로 한 최적화가 잘 되어 반응성이 좋다고 평가되고 실제로 점수도 더 잘 나온다. 두 번째로 같은 기기에서 서로 다른 커스텀 롬을 올리는 경우. 이 경우는 스펙도 같고 최적화 정도도 비슷하지만 롬이나 커널 상에서 추가한 패치나 트윅이 체감에 비해 벤치마크 점수에 더 큰 영향을 미치는 경우다. XDA에서는 개발자들이 나서서 커스텀 롬을 점수로 비교하는 것은 무의미하다고 열을 올리기도 한다. 다만 또 다른 뜻의 "의미가 없다"라면 일정 부분 맞는 말이다. 요즘 스마트폰들의 성능이 워낙 상향 평준화 되었음에 반해 [[안드로이드(운영체제)|안드로이드]]나 [[iOS]]에서 할 수 있는 작업이나 구동 가능한 S/W의 사양이 별반 올라가지 않았기 때문. 이는 스마트폰과 7~9인치의 컨텐츠 소비 위주 태블릿 PC가 작은 화면, S/W 키보드, 터치스크린 기반 조작방식, ARM 아키텍처 프로세서 등의 한계로 컨텐츠 소비를 목적으로 하고 판매되는 기기이기 때문이다. 스마트폰과 소형 태블릿의 그 조그만 화면과 키보드, 터치 기반 인터페이스, 그리고 아무리 많아봤자 5000mAh 수준인 배터리 용량으로 클라이언트 용량이 50~70GB에 육박하는 PC/콘솔 게임을 하려 드는 사람은 많지 않을 것이다. 그리고 매우 중요한 부분이지만 '''벤치마크가 모든 성능을 입증하지 않는다.''' 그 때문에 무의미하다고 주장하는 사람들이 엄연히 존재하는 것이고 2022년 기준으로도 현재 진행형인 논란이다. 전력 소모량에 따른 성능 차이도 있거니와 이마저도 사용하는 소프트웨어에 따라 최적화된 성능과 스펙이 다 다른걸 벤치마크를 무조건 신뢰하는건 잘못된 것이다. 결국 오차가 매우 커질 수 밖에 없는 변수들이 많거니와 실질적으로 의미가 없다고 볼 수 있다. 애초에 많은 전문 리뷰어들도 벤치마크만 테스트하는게 아니라 게임이나 작업용 소프트웨어같은 제대로된 소프트웨어로 테스트하여서 결과를 내놓는게 다반사다. 오히려 이쪽이야말로 제대로 테스트할 수 있다고 볼 수 있다. 즉, 벤치마크상으론 고성능인데 정작 실제 테스트상에선 결과가 다를 수 있다는 것. 요약하자면 벤치마크는 참고용으로는 훌륭한 지표이지만, 벤치마크상 성능만으로 전체 성능을 가늠해서는 안된다. 즉 벤치마크 만능설과 무용설 모두 극단적인 시선이다.저장 버튼을 클릭하면 당신이 기여한 내용을 CC-BY-NC-SA 2.0 KR으로 배포하고,기여한 문서에 대한 하이퍼링크나 URL을 이용하여 저작자 표시를 하는 것으로 충분하다는 데 동의하는 것입니다.이 동의는 철회할 수 없습니다.캡챠저장미리보기