Развернуть ИИ на домашнем компьютере? Сегодня? Элементарно!
Новые технологии совсем рядом
Обучать собственный ИИ на домашнем ПК — проверено, работает.
- Не самый старый компьютер с 16 ГБ памяти и современным процессором.
- Скачать отсюда: Releases · LostRuins/koboldcpp (github.com) файл koboldcpp.exe
- Скачать текстовую модель отсюда: Models for llama.cpp (ggml format) (rentry.org) Надо брать модель в формате ggml. Какую?
Сейчас есть 3 качественных модели, которые действительно имеет смысл попробовать - LLama, Alpaca и Vicuna.
Llama — оригинал слитой в первые дни модели. Версия 13B в тестах равносильна ChatGPT (135B).
Alpaca — дотренировка Llama на данных с инструкциями.
Эта модель лучше чем LLama в чат режиме.
Vicuna — дотренировка LLama прямо на диалогах с ChatGPT. Максимально похожа на ChatGPT. Есть только 13b версия, на данный момент.
Для начала лучше попробовать Alpaca.
- Всё в одну папку (лучше без русских букв в пути к папке).
- Разархивировать модель.
- Запустить koboldcpp.exe, в диалоге указать файл модели и …
- Работать с ИИ в домашних условиях! Как? В браузере зайти по адресу http://localhost:5001. Появится диалоговое окно чата с домашним ИИ. Вся работа будет здесь.
Русский понимает, но на английском, по прежнему, лучше.
Главное, его можно обучать далее самостоятельно.