TLDR
- В новом отчете говорится, что Amazon изо всех сил пытается разработать большую языковую модель (LLM), которая могла бы конкурировать с OpenAI и Google.
- Модель настроена на уже анонсированное обновление Alexa, которое дает ассистенту возможность разговаривать.
- Ограниченные наборы данных и отсутствие видения остановили прогресс, что привело к уходу многих талантливых исследователей и ученых.
Как исследователь с опытом работы в области искусственного интеллекта и языковых моделей, я нахожу этот отчет о попытках Amazon разработать большую языковую модель (LLM) для своего помощника Alexa весьма тревожным. Судя по моему пониманию этой области и информации, представленной в статье, кажется, что Amazon сталкивается с серьезными проблемами в создании конкурентоспособной LLM, способной конкурировать с разработками OpenAI и Google.
В недавнем отчете, опубликованном Fortune, говорится, что передовой проект искусственного интеллекта Amazon для голосового помощника Alexa, как сообщается, сталкивается с серьезными проблемами во время разработки и может быть вообще не выпущен. Отчет основан на интервью с более чем дюжиной бывших сотрудников, которые выявили различные препятствия, с которыми столкнулась Amazon при совершенствовании своей технологии диалогового искусственного интеллекта. В прошлом году Amazon представила Alexa следующего поколения и объявила о планах по предварительному запуску в США «в ближайшее время». Однако прошло восемь месяцев без каких-либо признаков появления новой Alexa.
В отчете указывается, что проект крупной языковой модели Amazon столкнулся со значительными неудачами из-за недостаточности высококачественных данных. В отличие от таких компаний, как Google и Meta, которые управляют обширными поисковыми системами и социальными сетями соответственно, Amazon не обладает таким же объемом данных для своей языковой модели. Как следствие, LLM Amazon был обучен только на трех триллионах токенов, в то время как GPT-4 OpenAI, как полагают, был обучен более чем в два раза большему количеству (приблизительно 13 триллионов токенов).
С конца 2023 года ходили слухи о модели, находящейся в разработке, под кодовым названием Olympus. Первоначально предполагалось, что эта модель будет иметь впечатляющие 2 триллиона параметров, что вдвое больше, чем, по слухам, у GPT-4. Большее количество параметров предполагает более мощную и функциональную модель. Однако бывший исследователь назвал Olympus простой шуткой, отметив, что нынешняя Alexa LLM в настоящее время обрабатывает 100 миллиардов параметров. Важно отметить, что модели меньшего размера по-прежнему могут давать отличные результаты — недавно я испытал Llama 3 и был удивлен, обнаружив, что его ответы соперничают с ответами GPT-3.5, несмотря на то, что у него всего 7 миллиардов параметров.
Однако, по мнению некоторых сотрудников, есть и другие проблемы, препятствующие прогрессу Amazon в области генеративного искусственного интеллекта. Они раскритиковали высшее руководство Amazon за неправильное обращение с ситуацией. Эту обеспокоенность выразил один из сотрудников.
Похоже, что руководство ничего не знает о LLM — они не знают, сколько людей им нужно и какое ожидаемое время должно быть для выполнения каждой задачи для создания успешного продукта, такого как ChatGPT.
На рынке цифровых помощников Amazon столкнулась с серьезной конкуренцией со стороны Google. Тем не менее, Google остался конкурентоспособным, полностью перейдя на свой новый проект Gemini, отказавшись при этом от бренда Assistant. В настоящее время Gemini способен выполнять реальные задачи, такие как создание напоминаний и управление умной бытовой техникой. С другой стороны, центральная команда Amazon по языковому моделированию (LLM), как сообщается, столкнулась с проблемами при реализации этих функций из-за противоположных точек зрения между различными подгруппами.
Эксперт по машинному обучению объясняет, что доработка языковой модели Amazon для функций умного дома может стать в значительной степени неэффективной после процесса тонкой настройки команды Alexa Music. Как сообщается, в Amazon работает более дюжины команд, ориентированных на Alexa, каждая из которых состоит из сотен сотрудников, занимающихся достижением определенных целей, таких как покупки и развлечения.
Разрыв в возможностях Gemini и Google Assistant может быть связан с решением Google в конечном итоге полностью отказаться от последнего. Google не продемонстрировал такого же уровня амбиций, как Amazon, в расширении своей технологии диалогового искусственного интеллекта, например, в ее внедрении в умные колонки.
Представитель Amazon поделился с Fortune, что их стремление создать идеального личного помощника, «лучшего в мире», остается неизменным. Они также сообщили, что модель Alexa, основанная на больших языковых моделях, все еще находится в стадии доработки, и продолжаются испытания на клиентах функции «Давайте пообщаемся», которая была продемонстрирована в конце прошлого года. Однако бывшие сотрудники предупреждают, что если эта улучшенная версия Alexa действительно будет запущена, она может оказаться не такой продвинутой, как другие чат-боты с искусственным интеллектом, такие как ChatGPT.
Смотрите также
- Аниме «Возможно, величайший алхимик всех времен» раскрывает превью новой серии 1 в преддверии январской премьеры
- Обзор Fiio SR11: доступный сетевой стример с интеграцией Roon
- Google до сих пор не исправил задержку уведомлений на пикселях, но вы можете попробовать это
- Можно ли использовать поврежденное устройство Stellar Blade после «Неизвестного подарка»?
- Какой цвет Galaxy S24 лучший? Мы проверили их все
- Лучшие фильмы десятилетия в формате Dolby Atmos (на данный момент) для проверки вашего домашнего кинотеатра
- Лучшие телефоны для людей, чувствительных к ШИМ/мерцанию, 2024 г.
- Беспроводные наушники Sony WH-1000XM6 планируют выпустить в 2025 году
- Первые 11 вещей, которые нужно сделать с Samsung Galaxy Watch Ultra
- Действительно ли доктор Джулиан Раш в исполнении Тео Росси пугало? Шоураннер «Пингвина» взвешивается!
2024-06-14 15:56