<как=»» и=»» опыт=»» фанат=»» на=»» языке=»» big=»» локально=»» модели=»» бег=»» кто-то=»» с=»» >: Я в восторге от выпуска Meta Llama 3, особенно ее доступной версии с параметрами 8B. Как человек, экспериментировавший с запуском больших языковых моделей на персональных компьютерах, я ценю, насколько эта более компактная модель предлагает впечатляющее повышение производительности по сравнению со своей предшественницей. Пошаговые инструкции по настройке LM Studio и Ollama делают этот процесс доступным для широкой аудитории. Эти опции позволяют пользователям изучить потенциал Llama 3, не требуя обширных вычислительных ресурсов или технических знаний. Мне не терпится увидеть, как эта модель улучшит наше повседневное взаимодействие с технологиями!
Meta, ранее известная как Facebook, представила последнюю версию своей большой языковой модели под названием Llama 3. Доступны два варианта: версия с 8B (восемь миллиардов) параметров и версия с 60B (шестьдесят миллиардов) параметров. В этой статье мы покажем вам процесс запуска более доступной версии 8B локально на стандартных настольных компьютерах или ноутбуках, которые могут не справиться с ресурсоемкой более крупной версией 70B.
Обзор производительности Llama 3
Третья версия Llama с огромными 8 миллиардами параметров действительно заслуживает внимания в области больших языковых моделей. Эта версия, обученная на основе значительных затрат времени на графический процессор (около 1,3 миллиона часов), превосходит свою предшественницу, Llama 2, во многих аспектах. Например, он может похвастаться улучшением на 34% по сравнению с версией Llama 2 с 7 миллиардами параметров и улучшением на 14% по сравнению с версией с 13 миллиардами параметров. Любопытно, что даже Llama 3 с 8 миллиардами параметров превосходит версию Llama 2 с 13 миллиардами параметров. По сравнению с версией Llama 2 с 70 миллиардами параметров она отстает всего примерно на 8%, что делает ее исключительной производительностью для своего относительно небольшого размера.
Вариант Llama 3 с использованием параметра 8B имеет ограничение на вновь поглощаемую информацию до марта 2023 года. Напротив, версия Llama 3 70B продолжает включать данные вплоть до декабря 2023 года. Следовательно, в реальном мире будут различия. знания между двумя моделями из-за разницы во времени.
Как запустить Llama 3 на своем компьютере
Чтобы запустить Llama 3 в Windows, мы будем использовать LM Studio.
- Чтобы начать, посетите lmstudio.ai и загрузите соответствующую версию LM Studio для вашей системы.
- После загрузки установите LM Studio.
- Откройте ЛМ Студию.
- Зайдя в LM Studio, убедитесь, что модель Llama 3 загружена. Если он уже установлен, он должен отображаться на главной странице. Если это не так, воспользуйтесь строкой поиска или значком поиска на левой вертикальной панели, чтобы найти его, а затем загрузите.
- После установки Llama 3 щелкните значок AI Chat на левой вертикальной панели в LM Studio. Откроется интерфейс чата, похожий на ChatGPT.
- Нажмите Выбрать модель для загрузки вверху страницы. Выберите Llama 3 LLM, который вы только что скачали. LM Studio загрузит модель, что может занять несколько секунд.
- Теперь вы можете общаться с Llama 3 на своем устройстве.
Примечательно, что LM Studio совместима не только с компьютерами Windows, но и с компьютерами Mac, оснащенными новейшими процессорами M (M1, M2 и M3). Бета-версия также доступна для пользователей Linux.
Как запустить Llama 3 с помощью Ollama
Вместо этого рассмотрите возможность локальной настройки Llama 3 с помощью проекта Ollama для людей, предпочитающих использовать модель на Raspberry Pi.
Если вы используете компьютер Mac или Windows, зайдите на oolama.com и выберите для загрузки версию, соответствующую вашей операционной системе. Для пользователей Linux или тех, кто хочет установить Llama 3 на Raspberry Pi, скопируйте и вставьте предоставленную команду в свой терминал, чтобы вместо этого загрузить и выполнить сценарий установки. После установки вы можете запустить Llama 3 непосредственно из предпочитаемого вами терминального приложения.
Смотрите также
- Шокирующая история инсульта Обри Плазы: как случай, изменивший ее жизнь, изменил ее взгляд на жизнь
- Дженна Ортега может присоединиться к кинематографической вселенной Marvel
- «Чудеса: Сказки о божьей коровке и Коте Нуаре» получили аниме-версию
- Я заменил Panasonic OLED на Samsung QD-OLED, и мне очень не хватает этой особенности.
- 10 творческих применений Bluetooth-трекера
- Зои Салданья хочет, чтобы коричневая актриса взяла на себя роль Гаморы в MCU
- Мета-увольнения затрагивают сотрудников по всем направлениям, чтобы «лучше соответствовать» целям компании
- Marvel Comics объявляет о дебюте «Storm: Lifedream» во время Месяца черной истории
- Вот ваш первый взгляд на предстоящий менеджер загрузок Google Play Store (разбор APK)
- Согласно этому отчету, Samsung делает ставку на QD-OLED и Micro LED, при этом производство светодиодов должно прекратиться к 2030 году.
2024-05-03 13:41