Удаление повторяющихся строк онлайн

Вставьте список и мгновенно удалите повторяющиеся строки в вашем браузере, с живыми счётчиками и опциональной сортировкой.

Ваш список дедуплицируется локально в вашем браузере и никогда не загружается, поэтому даже большие или конфиденциальные списки остаются на вашем устройстве.

Сравниваете два списка вместо этого? Попробуйте Text Diff.

Об инструменте Удаление повторяющихся строк

Этот инструмент удаления повторяющихся строк берёт любой список, который вы вставляете — столбец email, записи логов, URL, ключевые слова или строки CSV — и возвращает только уникальные строки, обновляясь на лету по мере ввода. Включите сопоставление без учёта регистра, чтобы Apple и apple считались одинаковыми, обрезайте каждую строку, чтобы замыкающие пробелы не скрывали совпадение, и выберите, сохранять первое или последнее вхождение каждого дубликата. Вы также можете отбросить пустые строки и затем отсортировать результат по алфавиту, в обратном порядке, по естественному числовому порядку или по длине. Текущие счётчики показывают, сколько строк поступило, сколько уникальных и сколько дубликатов удалено, поэтому вы можете дедуплицировать и отсортировать список за один проход. Всё работает полностью в вашем браузере, поэтому вставленный текст обрабатывается локально и никогда не покидает ваше устройство.

Возможности

Как использовать Удаление повторяющихся строк

  1. Вставьте ваш список, по одному элементу на строку, в поле ввода.
  2. Настройте опции без учёта регистра, обрезки, сохранения первой или последней и удаления пустых строк по вкусу.
  3. Выберите порядок сортировки или оставьте исходный порядок.
  4. Прочитайте уникальный результат справа и проверьте статистику, сколько дубликатов удалено.
  5. Нажмите «Копировать», чтобы взять результат, или «Скачать», чтобы сохранить его как unique-lines.txt.

Пример

Ввод

apple
Banana
apple
cherry
banana
date
Apple
date

Результат

apple
banana
cherry
date

При включённом режиме без учёта регистра и сортировке А→Я восемь строк схлопываются до четырёх уникальных записей.

Частые ошибки и устранение неполадок

Часто задаваемые вопросы

Как удалить повторяющиеся строки из списка?
Вставьте ваш список в поле ввода, по одному элементу на строку, и инструмент мгновенно покажет только уникальные строки справа. Настройте опции без учёта регистра, обрезки и сохранения, если некоторые почти совпадающие строки должны считаться дубликатами.
Сохраняется первая или последняя копия дубликата?
По умолчанию сохраняется первое вхождение, а последующие копии отбрасываются. Включите Сохранять последнее вхождение, чтобы вместо этого сохранить финальную копию каждого дубликата, при этом всё равно удаляя более ранние.
Может ли он также отсортировать строки?
Да. После дедупликации вы можете отсортировать уникальные строки А→Я, Я→А, по естественному числовому порядку, по длине строки или просто перевернуть их. Оставьте сортировку на исходном порядке, чтобы сохранить последовательность ввода.
Будут ли разные регистры букв считаться дубликатами?
Только если вы этого хотите. По умолчанию сопоставление чувствительно к регистру, поэтому Apple и apple сохраняются отдельно. Включите Без учёта регистра, чтобы схлопнуть их в одну строку.
Как он считает удалённые дубликаты?
Статистика показывает входные строки, уникальные строки и удалённые дубликаты. Удалённые дубликаты — это просто число входных строк минус число сохранённых уникальных строк, измеренное после любого удаления пустых строк.
Загружается ли мой текст при дедупликации?
Нет. Вся операция работает в вашем браузере, поэтому вставленный список обрабатывается локально на вашем устройстве и никогда не отправляется на сервер.

Связанные инструменты

Все инструменты ArrayKit