Как запустить Microsoft Phi-3 AI в Windows локально

Что нужно знать

• Phi-3 от Microsoft — это небольшая, но мощная модель искусственного интеллекта, которую можно запускать локально в Windows.
• Установить Оллама, затем выполните команду ollama run phi3 в приложении терминала (например, CMD). Как только phi-3 будет загружен, вы сможете общаться с ИИ внутри самого терминала.
• Вы также можете использовать такое программное обеспечение, как ЛМ Студия для графического интерфейса для локального общения с Phi-3. Загрузите Напильник для болтовни Phi-3 отдельно и сохраните его в каталоге LM Studio. Затем загрузите модель в LM Studio и начните общаться с Phi-3 локально в Windows.

Семейство языковых моделей Microsoft Phi-3 наконец-то появилось. По своим размерам они определенно представляют собой отдельный класс и уже зарекомендовали себя намного лучше, чем другие недавно выпущенные модели, такие как Llama 3 и Mixtral, по многим направлениям. Благодаря своему крошечному размеру Phi-3 может легко работать локально на вашем ПК с Windows. Вот как это можно сделать с помощью Ollama и LM Studio.

Как запустить Microsoft Phi-3 в Windows с помощью Ollama

Ollama — это программная платформа, которая позволяет запускать и экспериментировать с LLM. Вот как использовать его для локального запуска Microsoft Phi-3 в Windows.

Шаг 1. Загрузите и установите Олламу.

Во-первых, давайте скачаем и установим Ollama. Вот как:

1. Используйте указанную выше ссылку и нажмите «Загрузить для Windows (предварительная версия)».
   
2. После загрузки запустите установочный файл.
   
3. Нажмите «Установить» и установите Ollama.
   

Шаг 2. Запустите команду Phi-3 и загрузите LLM.

Далее загрузим модель Фи-3 с помощью Ollama.

1. Открыть Оллама.com и нажмите «Модели».
   
2. Прокрутите вниз и нажмите phi3. Если вы сначала не видите его, вы также можете поискать его.
   
3. Здесь скопируйте команду для загрузки phi3.
   
4. Затем откройте командную строку (или любое приложение терминала по вашему выбору) из меню «Пуск».
   
5. Сюда вставьте скопированную команду.
   
6. Нажмите Enter и подождите, пока Phi-3 загрузится на ваш компьютер.
   
7. Как только вы увидите сообщение «Отправить сообщение», вы готовы начать общение с моделью локально.
   

Шаг 3. Начните общение с Microsoft Phi-3 LLM.

Вы можете начать общение в самом приложении терминала. Просто введите приглашение и нажмите Enter. Вот несколько областей, в которых мы протестировали модель.

Тестирование устойчивости к цензуре

Проверка понимания сложных тем

Тестирование на галлюцинации

Тестирование на креативность

Как запустить Microsoft Phi-3 в Windows с помощью LM Studio

Если вам не нравится общаться с Microsoft Phi-3 в Windows с помощью терминального приложения и вы предпочитаете иметь для этого специальный интерфейс, нет ничего лучше, чем LM Studio. Вот как настроить Phi-3 в LM Studio и начать общаться с моделью локально.

Шаг 1. Установите LM Studio

1. Воспользуйтесь ссылкой выше и нажмите LM Studio для Windows, чтобы загрузить ее.
   
2. После загрузки запустите установщик и дайте LM Studio установиться.
   

Шаг 2. Загрузите файл gguf Phi-3.

Вы не сможете искать и загружать Phi-3 из самой LM Studio. Вам нужно будет получить файл Guff Phi-3 отдельно. Вот как:

1. Используйте ссылку, указанную выше, и нажмите «Файлы».
   
2. Здесь вы найдете две версии модели Phi-3. Выбери один. Для наших целей мы выбираем меньшую версию.
   
3. Нажмите «Загрузить».
   
4. Затем сохраните его в удобном месте.
   

Шаг 3. Загрузите модель Phi-3.

Далее мы собираемся загрузить загруженную модель Phi-3. Для этого выполните следующие действия:

1. Откройте LM Studio и нажмите «Мои модели» слева.
   
2. Обратите внимание на «Папку локальных моделей». Сюда нам нужно переместить скачанный файл Guff Phi-3. Нажмите «Показать в проводнике», чтобы открыть каталог.
   
3. Здесь создайте новую папку под названием Microsoft.
   
4. В папке Microsoft создайте еще одну папку под названием Phi-3.
   
5. Вставьте загруженный файл Guff Phi-3 в папку Phi-3.
   
6. Как только вы переместите файл Guff Phi-3, он также появится в LM Studio.
   
   Возможно, вам придется перезапустить LM Studio, чтобы он распознал Phi-3 в своем каталоге.
7. Чтобы загрузить модель Фи-3, нажмите кнопку «Чат AI» слева.
   
8. Нажмите «Выбрать модель для загрузки».
   
9. И выберите модель Фи-3.
   
10. Подождите, пока он загрузится. После этого вы можете начать общаться с Фи-3. Однако мы рекомендуем переложить модель на графический процессор, чтобы ваш процессор не подвергался чрезмерной нагрузке. Для этого в разделе «Системная подсказка» справа нажмите «Расширенная конфигурация» > «Настройки оборудования».
    
11. В разделе «Ускорение графического процессора» нажмите «Макс».
    
12. Нажмите «Обновить модель», чтобы применить конфигурацию.
    
13. Как только модель загрузится, вы сможете начать общение с Фи-3.
    

Шаг 4. Начните общение с Microsoft Phi-3 LLM.

И это все. Идите вперед и введите подсказку. Независимо от того, есть ли у вас подключение к Интернету, теперь вы сможете общаться с моделью Microsoft Phi-3 на своем ПК с Windows локально.

Часто задаваемые вопросы

Давайте рассмотрим несколько часто задаваемых вопросов о локальном запуске Microsoft Phi-3 на вашем ПК с Windows.

Как исправить, что Оллама застрял при загрузке Phi-3?

Если у вас возникли проблемы с загрузкой Phi-3 через Ollama в командной строке, просто введите команду ollama run phi3 еще раз. Загрузка возобновится с того места, где она была выполнена ранее.

Мы надеемся, что это руководство помогло вам запустить модель Microsoft Phi-3 локально на ПК с Windows через Ollama и LM Studio. До скорого!