Развернуть ИИ на домашнем компьютере? Сегодня? Элементарно!

Новые технологии совсем рядом

Хобби, Искуственный интеллект

Обучать собственный ИИ на домашнем ПК — проверено, работает.

  1. Не самый старый компьютер с 16 ГБ памяти и современным процессором.
  2. Скачать отсюда: Releases · LostRuins/koboldcpp (github.com) файл koboldcpp.exe
  3. Скачать текстовую модель отсюда: Models for llama.cpp (ggml format) (rentry.org) Надо брать модель в формате ggml. Какую?
   Сейчас есть 3 качественных модели, которые действительно имеет смысл попробовать - LLama, Alpaca и Vicuna.
  
Llama — оригинал слитой в первые дни модели. Версия 13B в тестах равносильна ChatGPT (135B).  

Alpaca — дотренировка Llama на данных с инструкциями.  
Эта модель лучше чем LLama в чат режиме.

Vicuna — дотренировка LLama прямо на диалогах с ChatGPT. Максимально похожа на ChatGPT. Есть только 13b версия, на данный момент.  

Для начала лучше попробовать Alpaca.
  1. Всё в одну папку (лучше без русских букв в пути к папке).
  2. Разархивировать модель.
  3. Запустить koboldcpp.exe, в диалоге указать файл модели и …
  4. Работать с ИИ в домашних условиях! Как? В браузере зайти по адресу http://localhost:5001. Появится диалоговое окно чата с домашним ИИ. Вся работа будет здесь.

Русский понимает, но на английском, по прежнему, лучше.

Главное, его можно обучать далее самостоятельно.

Ещё на тему: