Споры относительно бенчмаркинга Qualcomm: что происходит?

TLDR

Qualcomm сталкивается с противоречиями по поводу своих заявлений о тестировании новой серии процессоров Snapdragon X.
В одной статье утверждается, что Qualcomm «обманывает», по сути, фальсифицируя результаты, чтобы создать впечатление, что чипы более мощные, чем они есть на самом деле для потребителей.
Qualcomm не была полностью прозрачна в своих методах тестирования, оставляя мало однозначных ответов о том, что является точным, а что нет.

Тесты Qualcomm Snapdragon серии X: поверьте нам, братан?

Вчера мне посчастливилось стать свидетелем презентации последней инновации Qualcomm — чипсета Snapdragon X Plus. Эта передовая технология, созданная специально для ноутбуков с ОС Windows on Arm, призвана обеспечить удобство, которое давно нравится пользователям macOS: мощные безвентиляторные машины с удивительно длительным временем автономной работы.

Если вы недавно присоединились к беседе, настоятельно советую вам просмотреть видео выше для ясного понимания. Я предоставляю обширную справочную информацию о серии Snapdragon X и ее потенциальном влиянии на рынок ноутбуков с Windows.

С моей точки зрения как стороннего наблюдателя, к сожалению, не все разделяют энтузиазм Qualcomm по поводу их новых чипов Snapdragon X. В подробном анализе, опубликованном на SemiAccurate, Чарли Демерджян выразил обеспокоенность тем, что Qualcomm может «нарушать правила», когда дело доходит до продвижения эталонных тестов X Elite и X Plus. С тех пор это обвинение получило распространение в социальных сетях, что привело к более широкой дискуссии о Qualcomm, Windows on Arm и надежности этих чипов.

Android Authority посетил несколько мероприятий Qualcomm, на которых был представлен практический доступ к машинам Snapdragon X, поэтому мы подумали, что Я вступлю в разговор. Здесь я хочу обсудить, что происходит и что мы можем ожидать увидеть, когда в розничной торговле станут доступны устройства с чипами Snapdragon X.

Споры о бенчмаркинге Qualcomm: немного предыстории

Многие люди, которые сталкиваются с этим текстом, хорошо знакомы с концепцией бенчмаркинга — процесса, при котором оборудование подвергается стандартизированному набору тестов для оценки его производительности по сравнению с другим оборудованием по конкретным показателям. Если вы один из таких людей, вы знаете, что на результаты сравнительного анализа можно повлиять. Позвольте мне проиллюстрировать это примером: выполнение теста смартфона на столе, подверженном прямому солнечному свету, обычно дает более низкие оценки, чем если бы тот же тест проводился в охлаждаемом помещении.

С моей точки зрения, просто обладание эталонной цифрой не дает полной картины. Это становится проблематичным, когда важная информация о том, как был получен этот эталонный показатель, упускается лицом, ответственным за измерение.

Во время всех мероприятий Snapdragon X, которые Android Authority посетил с октября 2023 года, Qualcomm предлагала нам множество тестов. . Как и следовало ожидать, все они показывают, что Snapdragon X Elite и X Plus обходят конкурирующие чипсеты, включая Apple M3 и новейшие чипы Core Ultra от Intel. Во всех случаях Qualcomm утверждает, что процессоры серии X более мощные, более экономичные и лучше справляются с задачами, основанными на искусственном интеллекте. В случае с Apple, в частности, это довольно невероятно, если учесть, что Apple уже выпустила три поколения готовых к розничной продаже чипов Arm, а Qualcomm еще не выпустила в розницу ни одну из серий X.

Qualcomm предоставила множество тестов для серии X, но не так много ответов.

Qualcomm уклонилась от предоставления подробностей о том, как они получили тесты, что стало проблемой. Во время презентации перед выпуском Snapdragon X Plus компания Qualcomm продемонстрировала превосходство своего чипа по сравнению с процессором Apple M3. Из любопытства я поинтересовался расчетной тепловой мощностью (TDP) обоих процессоров, использованных для этого сравнения, поскольку на слайде она не была указана. Ведущий не смог дать ответ и пообещал связаться со мной (но не сделал этого).

Насколько мне известно, TDP чипа в тестах Snapdragon X Elite/Plus никогда никому не разглашался (помните, что TDP устройства и TDP чипа — это две разные вещи). Это огромная проблема, поскольку значительная разница в TDP может резко изменить историю эталонного теста. Другими словами, если ноутбук Apple M3 работает со стандартным TDP 20 Вт, а процессор Snapdragon X работает с мощностью 80 Вт, тесты больше не сопоставимы.

Со стороны я заметил, что скептицизм вокруг заявлений Qualcomm об их серии X довольно высок. В основном это связано с тем, что Qualcomm не разрешила полностью независимое тестирование этих процессоров. По моему опыту, когда мы тестировали Snapdragon X Elite, это была скорее роль наблюдателя, чем активного участия. Мы могли просто наблюдать, как Qualcomm проводила выбранные ими тесты и не имела возможности устанавливать дополнительные приложения или собирать конкретные сведения об устройстве, используемом для тестирования.

Проще говоря, Qualcomm вполне уверена в возможностях своих процессоров серии Snapdragon X, но некоторым их заверения могут показаться лишенными конкретных доказательств.

Новые обвинения в «обмане»

Согласно недавней статье Чарли Демерджяна на SemiAccurate, этот автор якобы беседовал с конфиденциальными информаторами, которые обладают знаниями из первых рук о внутренней деятельности Qualcomm и сотрудничестве с деловыми партнерами OEM. Некоторые из утверждений, сделанных в статье, включают в себя:

«SemiAccurate на 100 % уверен, что некоторые цифры, которые Qualcomm демонстрировала [для прессы], не могут быть воспроизведены с заявленными настройками».
«После того, как OEM-производители получили первоначальные образцы и сделали что-то близкое к окончательному дизайну, SemiAccurate получила сообщения о низкой производительности. Под плохими мы подразумеваем менее 50% цифр, которые Qualcomm сообщала им в технической документации и презентациях».
«Позже, когда появилось больше образцов Snapdragon X Elite и появилось множество новых версий [Windows on Arm], мы получили аналогичные отчеты от OEM-производителей и еще одного уровня 1. Оба сообщили о цифрах, которые были далеки от обещанных Qualcomm. Как не близко? На этот раз выше 50%, но для описания производительности использовался термин «Celeron».

Со стороны кажется, что Демерджян утверждает, что Qualcomm использует расширенные тесты производительности не только для того, чтобы убедить технических журналистов, но и OEM-производителей, производящих ноутбуки с процессорами серии Snapdragon X.

Я заметил, что Демерджяну не хватает конкретных доказательств в поддержку своих обвинений. Объяснение заключается в том, что SemiAccurate «поощряет взаимодействие между OEM-производителями и техническими специалистами Qualcomm, что потенциально может привести к обнаружению источника, если мы не будем осторожны». Далее Демержан заявляет: «Конфиденциальность наших источников всегда будет нашим приоритетом». Хотя такой подход понятен, SemiAccurate находится в том же положении, что и Qualcomm, апеллируя к доверию, не предоставляя веских доказательств.

Наше мнение и заявления Qualcomm

В связи с этой историей мы связались с Qualcomm. На вопрос о части SemiAccurate компания Qualcomm ответила следующее:

Мы поддерживаем наши заявления о производительности и рады, что потребители скоро получат в свои руки устройства Snapdragon X Elite и X Plus.

Когда его спросили о методологии тестирования, он сказал:

Наши тесты измерялись в режиме переменного тока (подключено зарядное устройство) и в сбалансированном режиме (по умолчанию на розничных устройствах).

На вопрос о расчетной тепловой мощности (TDP) чипа компания Qualcomm предоставила нам в ответ набор пресс-материалов. Однако мы заметили, что эта важная информация явно отсутствовала в этих документах. Похоже, это единственная деталь, которую Qualcomm предпочитает держать в секрете по неизвестным причинам. Учитывая отсутствие официальных данных, мы можем сделать вывод, что TDP чипа должен быть выше, чем у Apple (20 Вт). Если бы она была равна или ниже 20 Вт, Qualcomm, скорее всего, охотно поделилась бы этой информацией с любознательными людьми.

Хотя на данный момент мы не можем однозначно ответить на вопрос о TDP, мы можем дать вам представление о том, чего ожидать от чипов Qualcomm в этой области. Благодаря постоянному соавтору Android Authority Камиле Войцеховской, у нас есть несколько слитых тестов различных компьютеров Snapdragon X, которые вы можете почитайте по ссылке. Все это действительно интересно, но суть в том, что топовая машина Snapdragon X Elite имеет довольно высокий TDP, поскольку увеличивает тактовую частоту. Сообщается, что другие модели Elite и Plus ближе к Apple M3 Pro и M2, хотя, возможно, энергопотребление все же немного выше.

Я следил за нашими запросами относительно готовых к розничной продаже ноутбуков Qualcomm с процессорами Snapdragon X. Компания не смогла предоставить конкретную информацию о том, когда мы сможем протестировать эти устройства, поскольку они не смогли раскрыть планы своих OEM-партнеров. Тем не менее, они подтвердили, что продукты с Snapdragon X Elite и новым процессором Snapdragon X Plus будут представлены в середине 2024 года — информация, которую мы получили ранее.

Лично я не могу сдержать энтузиазма по поводу серии Qualcomm Snapdragon X. Независимо от любых возможных неточностей в тестировании или ложных утверждений, перспектива владения мощным ноутбуком с Windows, который продлевает срок службы батареи, меня чрезвычайно привлекает. Даже если MacBook превосходит его во всех аспектах, мне достаточно возможности писать статьи, редактировать видео и играть в Baldur’s Gate 3 во время полета, не разряжая батарею, чтобы немедленно рассмотреть возможность его покупки. Для меня использование в реальном мире важнее абстрактных цифр.

Ожидается, что примерно через три недели Microsoft представит новый ноутбук Surface на базе чипа Snapdragon X. Презентация запланирована на май, а релиз намечен на июнь. На этом этапе предварительно опубликованные результаты тестов Qualcomm подвергнутся тщательной проверке. Если эти показатели оправдают ожидания, технологическим экспертам, таким как Чарли Демерджян, возможно, придется отказаться от своей критики. Однако, если результаты тестов разочаруют, Qualcomm может столкнуться с волной неблагоприятного внимания средств массовой информации, что потенциально повлияет на успех серии Snapdragon X и более широкое внедрение Windows на Arm.

Смотрите также

2024-04-25 17:11