Модель, достаточно маленькая для браузера, не удержит двести страниц в контексте, поэтому отдать ей весь документ не выйдет. Вместо этого документ режется на перекрывающиеся фрагменты, и для каждого вопроса находятся те, что делят с ним больше всего характерных слов, — читаются только они. Каждый ответ перечисляет страницы, из которых он взят, а сами фрагменты показываются ниже, чтобы утверждение можно было сверить с документом, а не принимать на веру. Модель работает на вашем оборудовании через WebGPU.
Возможности
Документ режется на перекрывающиеся фрагменты с сохранением номеров страниц
Поиск ценит редкие слова выше частых
Каждый ответ ссылается на использованные страницы, фрагменты показаны ниже
Девять моделей от 350 МБ до 2,2 ГБ, кэшируются после первой загрузки
Уточняющие вопросы удерживают недавний разговор перед глазами
Предупреждает, когда в документе слишком мало текста, чтобы его спрашивать
Копирование всего разговора текстом
Как использовать Чат с PDF
Перетащите PDF на страницу
Выберите модель — при первом использовании она скачивается один раз
Задайте вопрос или начните с одного из предложенных
Прочтите ответ и откройте указанные фрагменты для проверки
Пример
Ввод
lease.pdf — "What notice period does either party have to give?"
Результат
Two months in writing, by either party. (p. 3) · Answered from Page 3
Использованный фрагмент показан ниже, чтобы утверждение можно было проверить.
Частые ошибки и устранение неполадок
Браузер не может запустить модель. — Нужен WebGPU, который есть в настольных Chrome и Edge. Без него работает «Краткое изложение PDF», а «Извлечь текст» отдаст слова для использования в другом месте.
Текста почти не удалось прочитать. — Этот PDF — скан. Сначала прогоните распознавание текста; на странице без текстового слоя искать нечего.
Ответ неверен, но звучит уверенно. — Малые модели так делают. Откройте указанные фрагменты: если ответа в них нет, он выдуман, и модель побольше обычно помогает.
Первый вопрос очень медленный. — Модель скачивается — это происходит один раз, дальше она кэширована. Следующие вопросы стартуют сразу.
Часто задаваемые вопросы
Отправляется ли мой документ на сервер?
Нет. Текст извлекается в этой вкладке, поиск идёт здесь же, а модель работает на вашем собственном GPU. Веса модели один раз забираются с публичного хранилища и кэшируются браузером.
Почему читаются лишь несколько фрагментов?
Потому что у модели такого размера ограниченный контекст. Дать ей четыре самых подходящих фрагмента лучше, чем обрезать документ в произвольном месте.
Какая модель для чата мне подойдёт?
Начните с рекомендованной 1B — около 750 МБ, для прямых вопросов этого достаточно. Поднимайтесь выше, если ответы кажутся жидкими, и учтите, что моделям побольше нужен способный GPU.
Может ли она отвечать на вопросы обо всём документе сразу?
Плохо. Поиск находит фрагменты, поэтому «что говорит пункт 7» работает хорошо, а «изложи все обязательства из 200 страниц» — нет. Для второго используйте краткое изложение.
Гарантируют ли ссылки, что ответ верен?
Они позволяют его проверить, в этом и смысл. Малые модели порой неверно читают даже переданный им фрагмент, поэтому ссылка — отправная точка для проверки, а не доказательство.