Что такое zero-width space?

Zero-width space (U+200B) — это Unicode-символ без видимой ширины. Он может создавать невидимые разрывы слов, сбивать точный поиск и менять счётчики байтов, хотя ничего не появляется на экране. Этот инструмент удаляет его вместе со связанными zero-width-соединителями и неразрывными пробелами.

Почему сгенерированный ИИ текст иногда содержит скрытые символы?

Модели обучаются на веб- и документном тексте, который уже включает неразрывные пробелы, типографские кавычки, мягкие переносы и другое форматирование, а токенизаторы могут их воспроизводить. Копирование-вставка из редакторов с форматированием, PDF и чат-приложений добавляет больше. В результате текст выглядит чистым, но несёт символы, которые вы не видите.

Что такое bidi-управляющие символы и зачем их удалять?

Bidi-управляющие символы вроде right-to-left override переупорядочивают то, как отображается текст. Они законны для смешанного письма, но могут использоваться и для маскировки имён файлов или кода, поэтому этот инструмент помечает и удаляет их, чтобы то, что вы видите, совпадало с базовыми символами.

Меняет ли этот инструмент мои видимые слова или переписывает текст?

Нет. Это инспектор и очиститель: по умолчанию он только удаляет символы, которые вы не видите, и сообщает, что убрал. Он никогда не перефразирует, не добавляет и не переписывает ваши слова, а типографские опции работают только когда вы их включаете.

Загружается ли мой текст куда-либо при очистке невидимых символов?

Нет. Обнаружение и очистка работают полностью в вашем браузере, поэтому вставленный текст обрабатывается на вашем устройстве и не отправляется на сервер.

Очистка текста от ИИ

Вставьте текст, чтобы обнаружить и удалить невидимые символы и типографские артефакты, оставленные моделями ИИ и копированием-вставкой. Всё работает в вашем браузере.

Ваш текст инспектируется и очищается локально в вашем браузере и никогда не загружается, но избегайте вставки конфиденциального содержимого в любой онлайн-инструмент.

Видите искажённые символы вроде CafÃ©? Попробуйте Mojibake Fixer.

Об инструменте Очистка текста от ИИ

Эта Очистка текста от ИИ — простой инспектор и очиститель для текста, который несёт символы, которые вы не видите. Вставьте всё, что сгенерировала языковая модель, или содержимое, скопированное из документа, PDF или веб-страницы, и инструмент подсчитает и удалит скрытые форматирующие символы, которые проникают внутрь: zero-width space и соединители, узкие и обычные неразрывные пробелы (NNBSP), мягкие переносы, bidi-управляющие символы, невидимые математические операторы и селекторы вариаций эмодзи. Дополнительные переключатели выпрямляют фигурные кавычки, превращают длинное и короткое тире в обычный дефис, схлопывают серии пробелов и применяют Unicode-нормализацию NFC. Вы получаете сводку удалённого по типам плюс счётчики символов и байтов UTF-8 до и после, затем копируете или скачиваете очищенный результат. Вся проверка работает в вашем браузере, поэтому вставленный текст остаётся на вашем устройстве.

Возможности

Обнаруживает и подсчитывает каждый скрытый символ по типу, включая zero-width space, соединитель и несоединитель
Удаляет неразрывные и узкие неразрывные пробелы (NNBSP), мягкие переносы и метку порядка байтов (BOM)
Удаляет bidi-управляющие символы (LRM, RLM, LRO/RLO, изоляторы), которые могут переупорядочивать или подделывать текст
Убирает невидимые математические операторы (U+2061–U+2064) и селекторы вариаций эмодзи (U+FE00–U+FE0F)
Опционально: выпрямление фигурных кавычек и преобразование длинного/короткого тире в обычный дефис
Опционально: схлопывание серий пробелов и применение Unicode-нормализации NFC
Показывает сводку удалённого по типам со счётчиками символов и байтов UTF-8 до и после
Копирование очищенного текста или скачивание его как cleaned.txt в один клик

Как использовать Очистка текста от ИИ

Вставьте или введите ваш текст в поле ввода слева.
Прочитайте баннер и список удалённого по типам, чтобы увидеть, какие скрытые символы были найдены.
Включите любые типографские опции, которые вам нужны, например выпрямление кавычек или схлопывание пробелов.
Проверьте счётчики символов и байтов до и после, чтобы подтвердить, что изменилось.
Скопируйте очищенный текст или скачайте его как cleaned.txt.

Пример

Ввод

The model said “this is clean”—or is it?

Результат

The model said "this is clean"-or is it?

Zero-width space удаляется; при включённых опциях кавычек и тире фигурные кавычки становятся прямыми, а длинное тире превращается в дефис.

Частые ошибки и устранение неполадок

Очищенный текст выглядит идентично вводу, но счётчики всё равно изменились. — Удалённые символы были невидимы на экране. Проверьте список удалённого по типам и разницу в счётчике символов, чтобы точно увидеть, что вышло.
Неразрывный пробел между словами превратился в обычный пробел или исчез. — Неразрывные и узкие неразрывные пробелы (NNBSP) удаляются как скрытые символы. Если вам нужен настоящий пробел там, опция схлопывания пробелов сохраняет одиночные пробелы нетронутыми.
Буквы с диакритикой изменили длину, хотя выглядят так же. — Это Unicode-нормализация NFC объединяет базовую букву и комбинируемый знак в один кодовый пункт. Отключите опцию Нормализация (NFC), если вам нужна исходная форма.
Эмодзи потеряло цвет или стиль после очистки. — Селекторы вариаций (U+FE00–U+FE0F), которые задают текстовое или эмодзи-представление, удаляются. Заново вставьте эмодзи с клавиатуры, если вам нужен конкретный стиль.

Часто задаваемые вопросы

Что такое zero-width space?: Zero-width space (U+200B) — это Unicode-символ без видимой ширины. Он может создавать невидимые разрывы слов, сбивать точный поиск и менять счётчики байтов, хотя ничего не появляется на экране. Этот инструмент удаляет его вместе со связанными zero-width-соединителями и неразрывными пробелами.
Почему сгенерированный ИИ текст иногда содержит скрытые символы?: Модели обучаются на веб- и документном тексте, который уже включает неразрывные пробелы, типографские кавычки, мягкие переносы и другое форматирование, а токенизаторы могут их воспроизводить. Копирование-вставка из редакторов с форматированием, PDF и чат-приложений добавляет больше. В результате текст выглядит чистым, но несёт символы, которые вы не видите.
Какие символы удаляет Очистка текста от ИИ?: Она удаляет zero-width space, соединитель, несоединитель и word joiner, метку порядка байтов (BOM), неразрывные и узкие неразрывные пробелы (NNBSP), мягкие переносы, bidi-управляющие символы, невидимые математические операторы (U+2061–U+2064) и селекторы вариаций эмодзи (U+FE00–U+FE0F). Изменения кавычек, тире, пробелов и NFC — это дополнительные переключатели.
Что такое bidi-управляющие символы и зачем их удалять?: Bidi-управляющие символы вроде right-to-left override переупорядочивают то, как отображается текст. Они законны для смешанного письма, но могут использоваться и для маскировки имён файлов или кода, поэтому этот инструмент помечает и удаляет их, чтобы то, что вы видите, совпадало с базовыми символами.
Меняет ли этот инструмент мои видимые слова или переписывает текст?: Нет. Это инспектор и очиститель: по умолчанию он только удаляет символы, которые вы не видите, и сообщает, что убрал. Он никогда не перефразирует, не добавляет и не переписывает ваши слова, а типографские опции работают только когда вы их включаете.
Загружается ли мой текст куда-либо при очистке невидимых символов?: Нет. Обнаружение и очистка работают полностью в вашем браузере, поэтому вставленный текст обрабатывается на вашем устройстве и не отправляется на сервер.

Связанные инструменты

Счётчик слов — Подсчёт слов, символов, строк, байтов и токенов вживую.
Конвертер регистра — Преобразуйте текст между camelCase, snake_case, kebab-case, PascalCase и другими.
Генератор слагов — Превращение заголовков в чистые, безопасные для URL слаги.
Сравнить текст — Сравнивайте два текста построчно и видите добавления и удаления.
Экранирование HTML — Экранируйте и разэкранируйте специальные символы и сущности HTML.