Удалить повторяющиеся строки

Вставьте текст или загрузите файл: все дубликаты строк удаляются, а первое вхождение остаётся на своём месте. Всё работает в браузере – текст не покидает ваше устройство.

Как это работает

  1. Вставьте текст или загрузите файл .txt, .csv, .md или другой текстовый файл.
  2. Выберите настройки: без учёта регистра или оставлять последнее вхождение.
  3. Скопируйте результат или скачайте его как файл .txt.

Хорошо подходит для

  • Списки e-mail, ключевых слов и ссылок, собранные из нескольких источников
  • Логи и выгрузки, в которых одна и та же строка встречается много раз
  • Строки CSV, которые полностью совпадают
  • Строки, отличающиеся только пробелами в начале или в конце

Ограничения

  • Строки должны совпадать целиком – почти одинаковые строки с опечаткой или другим словом останутся.
  • Строки CSV сравниваются как текст, а не по столбцам: строка с тем же ID, но другими значениями останется.
  • Пустые строки не считаются дубликатами, поэтому отступы между абзацами сохраняются – для них есть «Удалить пустые строки».

Частые вопросы

Какое вхождение остаётся?

Первое, на своём исходном месте. Можно переключиться на последнее вхождение. Порядок оставшихся строк не меняется.

Учитывается ли регистр букв?

По умолчанию да. Включите сравнение без учёта регистра, и «Яблоко» и «яблоко» будут считаться одной строкой. Пробелы в начале и в конце строки при сравнении игнорируются, но в результате строка остаётся в исходном виде.

Текст куда-то загружается?

Нет. Текст обрабатывается JavaScript в вашем браузере и не отправляется на наш сервер.

Сколько текста можно обработать?

До 1 МБ текста без аккаунта, 2 МБ с бесплатным аккаунтом и 10 МБ с Pro. В Pro также есть HTTP API для автоматизации.