Инструкция - развернуть ИИ на ноутбуке
Новые технологии совсем рядом
Простая инструкция как развернуть на собственном компьютере локальную модель ИИ
Больше года назад описывал процесс установки локальной модели ИИ. Ныне же этот процесс стал совсем простым, не требует особых технических знаний и локальный ИИ работает на, практически, любом современном компьютере. Памяти для Windows-компьютера вполне достаточно 16 Гб.
Шаг 1: Установка Ollama
Убедитесь, что у вас установлен Ollama. Вы можете скачать его с официального сайта https://ollama.ai/. Следуйте инструкциям по установке для вашей операционной системы.
После установки в трее появится иконка
Ollama работает и такой пусть остаётся.
Более детально можно почитать здесь: GitHub - ollama/ollama: Get up and running with Llama 3.2, Mistral, Gemma 2, and other large language models.. Там же приведены все команды для управления Ollama.
Шаг 2: Загрузка моделей
Список моделей можно увидеть здесь: library (ollama.com)
Запускаем консоль. Win + R. в поле cmd и Enter.
ollama run llama3.2
Загрузится модель и откроется консоль Ollama
Общаться можно в консоли. Прямо там писать запросы:
Рекомендую так же загрузить модель от Микрософт
ollama pull phi3.5:latest
Интерфейс Chatbox AI
Удобнее же работать не через консоль, а через приложение Chatbox AI https://chatboxai.app/ru
Устанавливаем, запускаем:
Выбираем Ollama в настройках
И указываем установленную модель
И можно общаться:
Подключение отдельно скачанной модели
Модели можно брать не из списка Ollama с их базы, а скачать из других источников и подключить на компьютере к Ollama.
Например, можно загрузить аблитерированные версии Gemma 2. Аблитерация для больших языковых моделей (LLM) - это техника, которая позволяет “разблокировать” модель, убирая встроенные механизмы отказа от выполнения запросов, которые считаются вредными или нежелательными.
Стоит попробовать следующие модели:
Качаем большую. В папке, содержащей скачанную модель, создаём текстовый файл, например
gemma-model
Название любое, файл без расширения. В нём пишем одну строку:
FROM ./gemma-2-9b-it-abliterated-Q5_K_M.gguf
сохраняем и закрываем файл.
в этой же папке, где созданный текстовый файл и скачанная модель, запускаем консоль и команду:
ollama create gemma-2-9b-f -f gemma-model
где gemma-2-9b-f
— название модели, как будет отображаться в Ollama.
и запускаем модель
ollama run gemma-2-9b-f
В Chatbox AI надо просто переключить на новую модель в настройках и наслаждаться мощью локального ИИ, на собственном компьютере, без подключения к интернет.
Всё описанное осуществлено на обычном ноутбуке, с интегрированной видеокартой, ОЗУ 16Гб.
Аналогично можно развернуть локальный ИИ на смартфоне, но надо ли? Удобнее работать с компьютера, да на смартфоне ИИ отвечает уже заметно медленнее.