Локальный ИИ-чат

Общайтесь с ИИ-ассистентом, который работает полностью в вашем браузере, на вашем собственном устройстве. Выберите модель — и ваш разговор никогда не отправляется.

Чат-модель работает локально в вашем браузере, поэтому ваши запросы и ответы обрабатываются на вашем устройстве и никогда не отправляются.

Создаёт и поддерживает Udit Agarwal

Нужно быстро сократить текст? Попробуйте ИИ-суммаризатор текста.

Об инструменте Локальный ИИ-чат

Этот локальный ИИ-чат запускает настоящую языковую модель прямо в вашем браузере, используя видеокарту вашего устройства для основных вычислений, поэтому ваш разговор никогда не покидает ваш компьютер. Выберите модель под своё устройство — компактная загружается быстрее и работает на более широком круге устройств, а более крупная отвечает качественнее — и при первом выборе её веса загружаются один раз и сохраняются в кэше, поэтому дальнейшие чаты начинаются мгновенно и работают даже офлайн. На экране видно, какие модели уже загружены, так что вы сразу понимаете, какая запустится мгновенно, а для какой нужна разовая загрузка, и в любой момент можно удалить файлы модели, чтобы освободить место. Это удобно для черновиков и переписывания текста, мозгового штурма, объяснения кода или концепций, а также для быстрых вопросов, которые вы предпочли бы не отправлять в облачный сервис. Поскольку всё работает на вашем собственном устройстве, модели нужен браузер с поддержкой WebGPU и достаточным объёмом памяти; если браузер не поддерживается, инструмент сообщает об этом, а не завершается молча с ошибкой.

Возможности

  • Настоящая чат-модель, которая работает на вашем устройстве, — разговор никогда не отправляется
  • Выбор из нескольких моделей: от компактной и быстрой до более крупной и качественной
  • Видно, какие модели уже загружены, — любую из них можно удалить, чтобы освободить место
  • Разовая загрузка модели с кэшированием — дальнейшие чаты начинаются мгновенно и работают офлайн
  • Потоковые ответы, которые можно остановить в любой момент, и новый чат одним нажатием
  • Понятное сообщение, если браузер не поддерживает необходимый WebGPU

Как использовать Локальный ИИ-чат

  1. Выберите модель — компактная загружается быстрее, крупная отвечает качественнее. Уже загруженные модели отмечены.
  2. Введите сообщение и нажмите Enter; при первом использовании модель загрузится один раз, а затем будет работать локально.
  3. Читайте ответ по мере поступления и в любой момент нажмите «Стоп», чтобы прервать его.
  4. Используйте «Новый чат», чтобы начать заново, или удалите загруженную модель, чтобы освободить место.

Пример

Ввод

Rewrite this to sound friendlier: 'Your request has been denied.'

Результат

Thanks for reaching out! Unfortunately we're not able to approve this one — but I'm happy to help you find another way forward.

Модель работает на вашем устройстве, поэтому запрос и ответ остаются приватными.

Частые ошибки и устранение неполадок

  • Инструмент сообщает, что ваш браузер не поддерживается. — Чат на устройстве требует WebGPU. Используйте последнюю версию Chrome или Edge на компьютере либо Chrome на Android; остальные инструменты ArrayKit по-прежнему работают везде.
  • Первое сообщение долго ждёт ответа. — Модель загружается один раз при первом использовании, а затем кэшируется; на экране отображается индикатор загрузки, а последующие чаты начинаются почти мгновенно.
  • Загрузка модели не удаётся или не хватает памяти. — Более крупным моделям нужно больше видеопамяти. Выберите модель поменьше или закройте другие вкладки, нагружающие видеокарту, и попробуйте снова.
  • Нужно освободить место на диске, занятое моделью. — У каждой загруженной модели есть кнопка удаления; используйте её, чтобы в любой момент удалить кэшированные файлы этой модели.

Часто задаваемые вопросы

Отправляется ли мой разговор на сервер?
Нет. Модель работает прямо в вашем браузере, на вашем собственном устройстве, поэтому ваши сообщения и ответы обрабатываются локально и никогда не отправляются.
Какие модели можно использовать?
Вы можете выбрать одну из нескольких компактных чат-моделей разного размера. Модель поменьше загружается быстрее и работает на большем числе устройств, а более крупная даёт более качественные ответы, но требует большей загрузки и объёма памяти.
Как узнать, какие модели уже загружены?
В списке моделей отмечена каждая модель, которая уже загружена и закэширована в браузере, поэтому видно, какая запустится мгновенно, а для какой нужна разовая загрузка. Любую загруженную модель можно удалить, чтобы освободить место.
Почему требуется WebGPU?
Для работы языковой модели видеокарта вашего устройства должна быть доступна и достаточно быстра. WebGPU — это функция браузера, которая предоставляет такой доступ; без неё инструмент работал бы слишком медленно, поэтому вместо этого он просит использовать поддерживаемый браузер.
Можно ли общаться офлайн?
После загрузки модели — да: поскольку всё работает на вашем устройстве, вы можете продолжать общение без подключения к сети.
Какой размер загрузки?
Это зависит от модели: от нескольких сотен мегабайт для самой компактной до нескольких гигабайт для самой крупной. Каждая модель загружается один раз и кэшируется, а её размер показывается перед загрузкой.

Связанные инструменты

Другие инструменты: Текст

Все инструменты: Текст (31) · Все инструменты