Спробував локально запускати ШІ

Пару тижнів тому спілкувався із приятелем, і той спитав, чи я юзав ШІ у вигляді великих мовних моделей (LLM). Я сказав, що трохи грався з OpenAI, і вцілому був приємно вражений відповідями на свої запити (мене легко приємно вразити), і ще пробував локально запускати Ollama. Після чого дізнався, що до Ollam'и є ще і веб-інтерфейс. Я спробував його локально поставити, і воно досить прикольно працює.

Оскільки я досить давно полюю на цікаві ноутбуки, і перейшов з Thinkpad P50 на P1 gen1 (і це був прям крутий апгрейд, як на мене), я вирішив на ньому все це запустити, бо ресурси дозволяють.

Десь у четвертий раз перевстановив систему (бо "були причини", хоч і не суттєві), і нарешті дійшли руки поставити Докер, WSL2 та Ollama + OpenWebUI.

Про Докер та WSL писати не буду, бо це вже досить просто ставиться.

Так само, як і Ollama - у терміналі WSL виконується команда для інсталяції:

curl -fsSL https://ollama.com/install.sh | sh

І потім запускається мовна модель:

ollama run llama3

Далі запускається докерівський контейнер, який до цього всього під'єднується (але не у WSL - це вже у хост-системі запускається):

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

Далі все дуже просто - відкриваємо http://localhost:3000/ та створюємо обліковий запис. Створюємо там новий чат та насолоджуємось не дуже швидким(може і ні - залежить від вашої системи), але локально працюючим ШІ.

Моралі не буде.