2016.01.19

"시스마크는 조작됐다" AMD, 인텔-BAPCo 고소

Gordon Mah Ung | PCWorld

AMD가 폭탄을 던졌다. 경쟁업체인 인텔과 벤치마킹 컨소시엄인 BAPCo를 사기 혐의로 고소한 것이다.

지난 14일 유튜브에 게시한 비디오를 통해 AMD의 클라이언트 컴퓨팅 제품 담당 이사 존 햄튼은 폭스바겐의 최근 배기 가스 관련 조작 사건을 언급하며, 심지어 가장 저명한 단체가 제공하는 정보가 어떻게 왜곡될 수 있는지를 완벽하게 보여주는 사례라고 지적했다.

인텔은 AMD의 고소에 대해 논평을 거절했으며, BAPCo는 자사의 고객은 BAPCo를 신뢰한다고 답했다. BAPCo 대변인은 “수천의 고객이 BAPCo 벤치마크를 신뢰하는 것은 우리가 사람들이 매일 사용하는 애플리케이션의 성능에 중점을 두는 산업 컨소시엄이기 때문이다”라고 강조했다.

성능은 일반 사용자는 물론 기업에게 여전히 중요한 문제이다. 서드파티 벤치마크 테스트의 수치를 정확하게 이해하는 사용자는 많지 않지만, 여전히 제품 구매 결정을 내리는데 있어서 상당한 영향력을 행사하고 있다. AMD는 근거 있는 의문을 던진 것이지만, 대답은 확실하지 않다. 심지어 AMD의 결론조차 모호한 부분이 있다.



AMD의 이유있는 고소
AMD의 햅튼은 비디오에서 자사의 주장을 자세하게 설명했다. 햄튼은 “믿거나 말거나. 과연 시스마크(Sysmark)는 시스템 성능 평가에 사용하는 믿을만하고 객관적이고 편향되지 않은 벤치마크인가?”라고 질문을 던지고는 AMD의 엔지니어링 매니저 토니 샐리나스와 함께 비슷한 사양의 노트북 2대에서 시스마크 2014를 구동한다. 결과는 인텔 코어 i5 노트북은 987점, AMD FX 노트북은 659점.

샐리나스는 같은 노트북으로 퓨처마크의 PC마크 8 워크 액셀러레이티드(PCMark 8 Work Accelerated) 워크로드를 실행한다. 이번에도 AMD FX 노트북이 느린 것으로 나타나지만, 성능 차이는 7%에 불과하다. 그리고 샐리나스는 마지막으로 마이크로소프트 오피스로 알려지지 않은 벤치마크를 실행했다. 여기서는 코어 i5 노트북이 61초를, FX 노트북은 64초를 기록한다.

햄튼은 “우리가 내린 결론은 시스마크는 현실적인 일상 워크로드를 사용하지 않는다는 것이다”라고 말했다. 또 시청자들에게 FTC의 결정으로 인텔이 벤치마크와 관련해 공개해야만 하는 사항을 읽어볼 것을 권했다.

지난 2010년 이뤄진 FTC의 판결로 인해 인텔은 “성능 테스트에서 사용된 소프트웨어와 워크로드는 인텔 마이크로프로세서 상에서만 성능에 최적화되어 있을 수 있다. 시스마크나 모바일마크(MobilrMark)와 같은 성능 테스트는 특정 컴퓨터 시스템, 부품, 소프트웨어, 운영체제, 기능을 사용해 측정된다. 이들 요소 중 어떤 것이라도 바뀌면 테스트 결과가 달라질 수 있다. 사용자는 신중한 구매 결정을 제대로 평가하는 데 있어서 해당 제품이 다른 제품과 조합됐을 때의 성능 등을 포함해 다른 정보와 성능 테스트를 참고해야만 한다”라고 표기해야만 한다.



벤치마크와 AMD의 오래된 불화
AMD의 문제 제기는 실질적으로 2000년 AMD의 애슬론 XP CPU가 시스마크 2001에서 인텔 펜티엄을 앞지르면서부터 시작된다. 하지만 시스마크 2002가 발표되자 펜티엄 4가 갑자기 1위가 된다. 이후 AMD는 BAPCo에 가입해 테스트에 좀 더 영향력을 행사하기로 결정했다.

AMD는 2011년까지 BAPCo 회원 자격을 유지했지만, 벤치마크 테스트가 인텔 CPU에 맞춰 만들어진다고 고소를 하면서 협회를 떠났다. 당시 이유를 밝히지는 않았지만, 엔비디아와 VIA도 BAPCo를 탈퇴했다.

BAPCo는 원래 PC OEM 업체들이 모여 만든 단체로, 인텔을 비롯한 여러 업체가 참여했다. 한때는 애플도 BAPCo에 가입했으며, 미디어 회사가 참여하기도 했다.

시스마크는 포토샵이나 프리미어, 워드, 엑셀과 같은 일반적인 애플리케이션을 사용한다. 일정한 워크로드를 부여한 애플리케이션을 구동하고, 해당 작업을 마친 시간을 측정하는 방식이다. AMD가 문제시한 것은 애플리케이션이 아니라 워크로드였다. 2011년 BAPCo를 탈퇴하면서 AMD는 시스마크가 컴퓨팅의 미래를 촉진하지 않고 GPU를 테스트하지 않는다고 지적한 바 있다.

5년이 지난 현재, AMD의 주장은 동일하다. 햄튼은 “시스마크에는 과도할 정도로 많은 CPU 작업이 사용된다. 다시 말해 이 벤치마크는 실제로 시스템의 CPU 측면만 평가할 뿐이다”라고 강조했다.




2016.01.19

"시스마크는 조작됐다" AMD, 인텔-BAPCo 고소

Gordon Mah Ung | PCWorld

AMD가 폭탄을 던졌다. 경쟁업체인 인텔과 벤치마킹 컨소시엄인 BAPCo를 사기 혐의로 고소한 것이다.

지난 14일 유튜브에 게시한 비디오를 통해 AMD의 클라이언트 컴퓨팅 제품 담당 이사 존 햄튼은 폭스바겐의 최근 배기 가스 관련 조작 사건을 언급하며, 심지어 가장 저명한 단체가 제공하는 정보가 어떻게 왜곡될 수 있는지를 완벽하게 보여주는 사례라고 지적했다.

인텔은 AMD의 고소에 대해 논평을 거절했으며, BAPCo는 자사의 고객은 BAPCo를 신뢰한다고 답했다. BAPCo 대변인은 “수천의 고객이 BAPCo 벤치마크를 신뢰하는 것은 우리가 사람들이 매일 사용하는 애플리케이션의 성능에 중점을 두는 산업 컨소시엄이기 때문이다”라고 강조했다.

성능은 일반 사용자는 물론 기업에게 여전히 중요한 문제이다. 서드파티 벤치마크 테스트의 수치를 정확하게 이해하는 사용자는 많지 않지만, 여전히 제품 구매 결정을 내리는데 있어서 상당한 영향력을 행사하고 있다. AMD는 근거 있는 의문을 던진 것이지만, 대답은 확실하지 않다. 심지어 AMD의 결론조차 모호한 부분이 있다.



AMD의 이유있는 고소
AMD의 햅튼은 비디오에서 자사의 주장을 자세하게 설명했다. 햄튼은 “믿거나 말거나. 과연 시스마크(Sysmark)는 시스템 성능 평가에 사용하는 믿을만하고 객관적이고 편향되지 않은 벤치마크인가?”라고 질문을 던지고는 AMD의 엔지니어링 매니저 토니 샐리나스와 함께 비슷한 사양의 노트북 2대에서 시스마크 2014를 구동한다. 결과는 인텔 코어 i5 노트북은 987점, AMD FX 노트북은 659점.

샐리나스는 같은 노트북으로 퓨처마크의 PC마크 8 워크 액셀러레이티드(PCMark 8 Work Accelerated) 워크로드를 실행한다. 이번에도 AMD FX 노트북이 느린 것으로 나타나지만, 성능 차이는 7%에 불과하다. 그리고 샐리나스는 마지막으로 마이크로소프트 오피스로 알려지지 않은 벤치마크를 실행했다. 여기서는 코어 i5 노트북이 61초를, FX 노트북은 64초를 기록한다.

햄튼은 “우리가 내린 결론은 시스마크는 현실적인 일상 워크로드를 사용하지 않는다는 것이다”라고 말했다. 또 시청자들에게 FTC의 결정으로 인텔이 벤치마크와 관련해 공개해야만 하는 사항을 읽어볼 것을 권했다.

지난 2010년 이뤄진 FTC의 판결로 인해 인텔은 “성능 테스트에서 사용된 소프트웨어와 워크로드는 인텔 마이크로프로세서 상에서만 성능에 최적화되어 있을 수 있다. 시스마크나 모바일마크(MobilrMark)와 같은 성능 테스트는 특정 컴퓨터 시스템, 부품, 소프트웨어, 운영체제, 기능을 사용해 측정된다. 이들 요소 중 어떤 것이라도 바뀌면 테스트 결과가 달라질 수 있다. 사용자는 신중한 구매 결정을 제대로 평가하는 데 있어서 해당 제품이 다른 제품과 조합됐을 때의 성능 등을 포함해 다른 정보와 성능 테스트를 참고해야만 한다”라고 표기해야만 한다.



벤치마크와 AMD의 오래된 불화
AMD의 문제 제기는 실질적으로 2000년 AMD의 애슬론 XP CPU가 시스마크 2001에서 인텔 펜티엄을 앞지르면서부터 시작된다. 하지만 시스마크 2002가 발표되자 펜티엄 4가 갑자기 1위가 된다. 이후 AMD는 BAPCo에 가입해 테스트에 좀 더 영향력을 행사하기로 결정했다.

AMD는 2011년까지 BAPCo 회원 자격을 유지했지만, 벤치마크 테스트가 인텔 CPU에 맞춰 만들어진다고 고소를 하면서 협회를 떠났다. 당시 이유를 밝히지는 않았지만, 엔비디아와 VIA도 BAPCo를 탈퇴했다.

BAPCo는 원래 PC OEM 업체들이 모여 만든 단체로, 인텔을 비롯한 여러 업체가 참여했다. 한때는 애플도 BAPCo에 가입했으며, 미디어 회사가 참여하기도 했다.

시스마크는 포토샵이나 프리미어, 워드, 엑셀과 같은 일반적인 애플리케이션을 사용한다. 일정한 워크로드를 부여한 애플리케이션을 구동하고, 해당 작업을 마친 시간을 측정하는 방식이다. AMD가 문제시한 것은 애플리케이션이 아니라 워크로드였다. 2011년 BAPCo를 탈퇴하면서 AMD는 시스마크가 컴퓨팅의 미래를 촉진하지 않고 GPU를 테스트하지 않는다고 지적한 바 있다.

5년이 지난 현재, AMD의 주장은 동일하다. 햄튼은 “시스마크에는 과도할 정도로 많은 CPU 작업이 사용된다. 다시 말해 이 벤치마크는 실제로 시스템의 CPU 측면만 평가할 뿐이다”라고 강조했다.


X