Почему я запускаю DeepSeek локально и как вы можете сделать то же самое

от

ИИ глубоко проник в вычислительную технику, от встроенного в смартфоны до помощи в популярных приложениях, таких как CoPilot, и даже платформах, таких как ChatGPT. Однако использование ИИ, особенно в журналистике, сопряжено с рядом проблем. Например, он полагается на контент, созданный другими для обучения, и учится на каждом взаимодействии или вводе, который вы предоставляете. Поэтому в течение последних нескольких месяцев я экспериментировал с управлением собственной языковой моделью (LLM).

Создание собственной программы LLM бесплатно и дает вам полный контроль.

ИИ перешел из концепции завтрашнего дня в то, что мы используем ежедневно. Очевидно, что он играет важную роль в творческих областях, инструментах производительности и взаимодействии с клиентами. Однако с его быстрым ростом важно не упускать из виду вопрос владения. Кто отвечает за ваши вопросы? Кто управляет вашими идеями? Используя локальную модель машинного обучения, вы можете уверенно решать эти проблемы — именно вы обладаете властью.

Есть что-то вдохновляющее в том, чтобы иметь свой ИИ прямо на вашем персональном компьютере — никаких регулярных платежей, никакой зависимости от внешних серверов и полная автономность в его работе. Использование локальных языковых моделей (LLM) дало мне контроль, конфиденциальность и немного непокорной самостоятельности. От модели Llama от Meta до последней модели DeepSeek я обнаружил, что эта настройка значительно превращает ИИ из простого инструмента в повседневного помощника по производительности. Вот моя причина для запуска локального LLM, и как вы тоже можете это сделать.

Другими словами: запуск ИИ на вашей собственной машине вместо того, чтобы полагаться на подписки или облако, обеспечивает больший контроль, конфиденциальность и чувство независимости. Использование локальных языковых моделей (LLM) было полезным для превращения ИИ в ежедневного помощника по производительности, от таких моделей, как Llama от Meta до DeepSeek. Вот почему я предпочитаю использовать локальные LLM, и как вы тоже можете это сделать.

Конфиденциальность не подлежит обсуждению

Каждый раз, когда я использую облачный ИИ, я по сути доверяю свои мысли, запросы и иногда конфиденциальную информацию внешнему субъекту. Независимо от того, составляет ли он корпоративные электронные письма, генерирует ли креативные идеи для клиентов или даже записывает личные размышления, мысль о том, что эти слова хранятся на удаленном сервере — или, что еще более тревожно, используются в учебных целях — оставляет у меня чувство дискомфорта.

Локальный запуск DeepSeek гарантирует, что мои данные останутся под моей опекой, что имеет решающее значение как для личных, так и для деловых целей. Я настоятельно предпочитаю хранить свой личный дневник вдали от посторонних глаз, но это становится особенно важным при работе с конфиденциальной информацией.

Постоянно обучающимся LLM нельзя доверять личную, привилегированную информацию. LLM, размещенный самостоятельно, обходит это.

В своей роли журналиста и предпринимателя я часто сталкиваюсь с конфиденциальной информацией, находящейся под эмбарго. Для меня крайне важно не допустить использования таких данных моделями ИИ во время обучения, поскольку, казалось бы, безобидные запросы могут содержать ценную интеллектуальную собственность, которую не следует раскрывать. Эта проблема особенно актуальна для профессионалов в области финансов, права или творчества, где защита конфиденциальной информации имеет первостепенное значение.

Ближайшая обучающая машина (LLM) гарантирует, что ваши данные останутся исключительно на вашем устройстве. Кроме того, локальный LLM не сталкивается с теми же правилами цензуры, что и его веб-аналог. Для иллюстрации, интернет-версия Deepseek активно фильтрует информацию о китайской политике, а другие LLM печально известны своей политической предвзятостью. Однако модель ИИ с открытым исходным кодом, которую вы можете разместить у себя, не связана этими ограничениями.

Оффлайн доступ

Другое преимущество использования автономной языковой модели (LLM) довольно простое. ChatGPT требует надежного интернет-соединения для работы, которое может быть ограничено или недоступно в определенных ситуациях, например, во время длительного перелета. Напротив, мои офлайн-модели, такие как Llama и DeepSeek, работают безупречно на моем MacBook Air без необходимости подключения к интернету.

Я делал наброски для статей в блоге, разбирал таблицы с большим количеством данных и приводил в порядок программный код, все это время паря на высоте 30 000 футов над землей. Традиционные инструменты ИИ не справляются с такими задачами. Ближайшая модель ИИ, которая постоянно доступна, значительно улучшает опыт, превращая ее в надежного, всегда готового к работе компаньона ИИ.

Усталость от подписки

Расходы на многочисленные подписки на потоковые платформы, облачные сервисы, инструменты производительности и решения ИИ могут быстро накапливаться. Если эти сервисы не повышают вашу производительность в значительной степени, ежемесячные траты в размере 20 долларов на такой сервис, как ChatGPT, могут оказаться излишними.

Степень магистра права с открытым исходным кодом вполне способна справиться с большинством повседневных задач без необходимости ежемесячной абонентской платы.

С моей точки зрения как аналитика, управление собственной моделью изучения языка (LLM) идеально сочетается с такими задачами, как составление журнальных записей, проверка грамматики и незначительные исправления кода. Текущая модель DeepSeek с восемью миллиардами параметров, которую я использую, более чем способна справиться с этими обязанностями. Хотя полноценная модель может быть полезной, стоимость подписки и сложность настройки кластера для ее запуска не кажутся оправданными для минимальных преимуществ, которые я бы получил лично. Кроме того, еще одним фактором, который пока не рассматривался, является автономный доступ. Однако ваши требования могут существенно отличаться от моих.

Обучение и развитие

Как инженер по образованию, я, естественно, испытываю сильное желание понять внутреннюю работу технологий. Неудивительно, что такие крупные языковые модели, как я сам, вызывают у меня большой интерес. Возможность запустить собственный локальный экземпляр LLM дает мне редкий шанс углубиться в его механизмы — это особенно верно в случае с DeepSeek, который раскрывает свой внутренний мыслительный процесс во время принятия решений, как рациональных, так и иногда нелогичных.

Например, я только что закончил обучение уменьшенной модели обработке журналов с моих устройств домашней автоматизации. Было увлекательно и приятно наблюдать, как ИИ адаптируется и улучшает свои ответы. Этот опыт также заставил меня больше задумываться об этических аспектах, которые связаны с технологией ИИ, даже за пределами ее профессионального использования.

Итак… как мне управлять собственной программой LLM?

Я хотел бы прояснить кое-что, прежде чем продолжить: запуск большой языковой модели (LLM) локально требует мощной системы, и даже в этом случае вы, скорее всего, будете работать с квантованной моделью из-за ограничений памяти. Полная LLM потребляет сотни гигабайт оперативной памяти, что больше, чем обычно есть у большинства пользователей. Однако кремний серии M от Apple является хорошим выбором для запуска локальных моделей ИИ.

Действительно, я запустил DeepSeek на M3 MacBook Air с 16 ГБ оперативной памяти, и он довольно гладко обработал модель с 8 миллиардами параметров. Когда дело доходит до ПК, наличие графического процессора практически обязательно, а более мощные графические процессоры предпочтительнее. Более того, для Large Language Model (LLM) вам понадобится как можно больше оперативной памяти. Тем не менее, я бы рекомендовал как минимум 16 ГБ оперативной памяти в качестве абсолютного минимума.

Вместо популярного выбора Ollama для локальной работы Large Language Model (LLM), я рекомендую LM Studio как предпочтительный выбор на моем компьютере. В то время как Ollama отлично подходит для тех, кто хорошо разбирается в командных строках или скриптах, LM Studio выделяется тем, что упрощает процесс. Вам не придется беспокоиться об управлении зависимостями или сложных настройках — просто загрузите, установите, и вы готовы запустить свои LLM без проблем.

LM Studio предлагает простое в использовании решение на основе графического интерфейса для запуска собственных моделей ИИ.

Этот инструмент упрощает все процедуры, предлагая интуитивно понятный, удобный интерфейс, похожий на тот, с которым вы столкнетесь при использовании ChatGPT. В частности, он устраняет необходимость взаимодействия с командной строкой.

Просто перейдите на сайт LM Studio и выберите файл, подходящий для операционной системы вашего компьютера. Изначально LM Studio может предложить загрузить модель Llama, но вы можете пропустить этот шаг, если это необходимо.

Вместо этого щелкните значок увеличительного стекла, чтобы перейти на вкладку Discover. LM Studio подключается к базе данных Hugging Face и упрощает процесс загрузки любой подходящей большой языковой модели. Более того, он информирует вас, способна ли ваша система запустить модель или нет. Будьте бдительны в отношении квантованных моделей, поскольку они обычно хорошо работают на компьютерах с меньшей вычислительной мощностью.

Просто найдите DeepSeek R1, и вы найдете возможность загрузить его. После этого не стесняйтесь начинать разговор с чат-помощником, как вы это сделали бы на их веб-сайте. У вас также есть возможность обмениваться различными моделями ИИ во время обсуждения, чтобы анализировать различия в их ответах.

Восстановление конфиденциальности и производительности

Для меня как исследователя выбор локального запуска больших языковых моделей был не просто техническим предпочтением — это было возвращение автономии. Несомненное чувство свободы приходит, когда я держу свои данные в пределах досягаемости, использую инструменты, не зависящие от интернет-одобрения, и работаю без постоянной заботы о подписках или цензуре. Это решение идеально соответствует моим ценностям и стилю работы.

Получить степень магистра права легко, конфиденциально и снизить зависимость от крупных технологических компаний.

Для тех, кто хочет уменьшить свою зависимость от крупных технологических компаний, использование вашей личной модели изучения языка с открытым исходным кодом (LLM) способствует движению к децентрализованному ИИ. Этот шаг, хотя и небольшой, важен для достижения цифровой автономии. Независимо от того, мотивированы ли вы этой идеологией или просто ищете увлекательный проект на выходные, создание собственной LLM — это просто и стоит того, чтобы рассмотреть это для большинства людей.

Смотрите также

2025-01-29 21:18