Вне браузера: используем LLM в Windows

Простые обертки для веб-интерфейса

Простые программы, это скорее всего отдельно запущенный Chromium в котором открывается сайт ChatGPT, обычно оно оборачивается через фреймворк Electron.

Иногда независимые проекты могут украсть ваши данные, надо тщательно следить кто их сделал и открытый ли код.

У каталога моделей Poe https://poe.com/ есть официальная программа, которая похоже такая обертка.

Исследуя github я нашел обертку Pake github || https://alternativeto.net/software/pake/about/ она работает через Rust, а не JS-Node как Электрон и поэтому как пишут быстрее и меньше места занимает. Почти любой сайт можно сделать отдельной программой.

Тут нет никаких существенных преимуществ по сравнению с использованием в браузере, кроме того что на таскбаре отдельная кнопка и оно в переключении программ появляется.

Минус — не подгрузить, в сравнении с бразуером, кастомные CSS и https://greasyfork.org/en/scripts/by-site/chatgpt.com, например экспорт активного чата.

Последующие программы работают не как логин в браузере, а через API ключ — если так использовать OpenAI (Claude или другой провайдер), то мы платим за каждый входящий-исходящий токен.

У OpenAI квоты на ключи привязаны к тому, сколько вы уже денег потратили (называется Usage tiers).

Можно использовать провайдеры интеграторы с подпиской, как то https://aimlapi.com/ где будет выдан объем условных токенов на неделю. Подписка на месяц есть и в Chatbox. На groq бесплатные квоты.

Чат в программе: Chatbox и аналоги

“Средние” программы, предлагают более широкий функционал, чем простые обертки сайтов ИИ. Они часто имеют похожий интерфейс на ChatGPT, но предоставляют больше возможностей для настройки и кастомизации включая параметры модели и системной инструкции.

Из всех что я скачал и тестировал мне больше всего подошел проект https://chatboxai.app/en || https://alternativeto.net/software/chatbox-ai/about/

Во-первых тут есть хоткеи. Хотя почему то на тогл левой панели со списком чатов и на вызов окна настроек - нет.

Настройки провайдеров моделей.

Из настроек на модель тут есть срез токенов контекстного окна, температура и срез вероятности (top p), нет макс-токенов ответа.

Использование локальных моделей или API позволяет избежать зависимостей от изменений в политике или структуре веб-платформы Локальное или API-решение остается более независимым и гибким.

Все чаты хранятся локально у меня, не надо их постоянно экспортировать как в случае веб-версий. Это прям большой плюс таких программ. Claude (которые только пару месяцев тому в настройках добавили экспорт данных и я думаю это специально) мне просто заблокировали один из двух аккаунтов и после огромной переписки с поддержкой так и не вернули не то что доступ, а мою историю чатов. Так что я теперь готов что в любой момент любая из этих онлайн платформ просто может мне закрыть доступ к истории моих чатов, отключить аккаунт потому что я из не того региона планеты, пишу не на том языке или как-то еще стригерил их систему защиты.

Тут кстати нет экспорта в PDF, только в HTML, TXT, MD.

Поиск — в браузере в чаты достаточно трудно вернуться (ну недавно появилось https://claude.ai/recents?search= с фильтром названий чатов, а у ChatGPT все еще нет), тут же можно искать в текущем чате и во всех прошлых с выводом сразу мест, где слово упоминалось.

Также мне важно было что можно делать системные инструкции отдельно на каждый чат — тут их можно сохранять и это называется My Copilots. Похоже на простую версию GPTs.

В общем у этой программы хороший простой отзывчивый интерфейс для повседневных дел при этом достаточный базовый функционал. Она может и изображения генерить и подключить документ к запросу. Локально можно подтягивать модели с ollama

Навороченные: Msty и аналоги

Навороченные программы предлагают самый широкий функционал. Они часто имеют не только встроенную базу запросов (системных инструкций), а дополнительные локальные модели для скана папок (RAG) и распознавания изображений и часто способны сравнивать ответы на один запросы разных моделей.

Из моих поисков я остановился на Msty https://msty.app/ || https://alternativeto.net/software/msty-app/about/

Кроме работы по API-ключам программа сама может поднимать локальные модели и видит их из ollama.

Может сканировать на локальном диске папку с документам, включая и Obsidian vault как контекст для запроса RAG. Это тут называется Knowledge Stack. Так же может доставать субтитры из Youtube видео и приклеплять их к чату (как это делает https://notebooklm.google.com/).

как они пишут With Msty: one app, one-click setup, no Docker, no terminal, offline and private, unique and powerful features (одно приложение, настройка в один клик, без Docker, без терминала, автономно и конфиденциально, уникальные и мощные функции).

Есть возможность организовывать чаты по темам, которые тут привязаны к рабочим пространствам (Workspaces) - даже при большом количестве разговоров их можно разделить на группы и не путаться. Внутри этих пространств так же можно создавать папки и в них помещать чаты.

Модели так же можно добавлять из многих провайдеров

и доступны прям все настройки какие могут быть

Можно включить поиск в интернете в дополнение к запросу, так же можно использовать готовую встроенную базу запросов с поиском — тут она значительно богаче чем в Chatbox

Либо я не нашел как сделать, но программа не может с Groq подтянуть модель whisper-large-v3 чтобы файлы с диктофон в текст перегонять. А хотелось бы. Тот же гугл ноутбуклм это уже умеет. И некоторые похожие программы под Mac OS тоже.