gogettop.net
С нами с 03.01.11
Сообщения: 11291
Рейтинг: 445
|
 Добавлено: 19/11/16 в 11:52 |
Задача такая
есть файл txt
в нем записи в таком формате
СЛОВО СЛОВО2 СЛОВО2
СЛОВО СЛОВО2 СЛОВО2
СЛОВО СЛОВО2 СЛОВО2
разделитель пробел или TAB
нужно, чтобы в каждой строке осталось только СЛОВО, а все после него удалилось
т.е. получить такой формат
СЛОВО
СЛОВО
СЛОВО
файл большой, 8ГБ с миллионами строк
чем можно сделать ?
|
|
|
|
| |
С нами с 14.10.03
Сообщения: 374
Рейтинг: 609
|
| Добавлено: 19/11/16 в 12:08 |
Сделай масс реплейс " СЛОВО2 СЛОВО2" на "" 
|
|
|
|
| |
С нами с 11.10.12
Сообщения: 428
Рейтинг: 1032
|
| Добавлено: 19/11/16 в 13:04 |
| Код: |
awk '{print $1}' < input.txt > output.txt
|
|
|
|
|
apache, bash, css, elasticsearch, ffmpeg, html, js, mysql, mongo, nginx, php; *nix only
|
8
|
|
| |
gogettop.net
С нами с 03.01.11
Сообщения: 11291
Рейтинг: 445
|
| Добавлено: 19/11/16 в 14:45 |
| vi[:RuS] писал: | | Сделай масс реплейс " СЛОВО2 СЛОВО2" на "" |
так они разные
во второй строке уже будет СЛОВО4 СЛОВО5 и тд
я не правлино в первом посте написал
формат такой
СЛОВО_первое1 СЛОВО2 СЛОВО3
СЛОВО_первое2 СЛОВО4 СЛОВО5
СЛОВО_первое3 СЛОВО6 СЛОВО7
и тд
Последний раз редактировалось: Crimean (19/11/16 в 14:51), всего редактировалось 1 раз
|
|
|
|
| |
gogettop.net
С нами с 03.01.11
Сообщения: 11291
Рейтинг: 445
|
| Добавлено: 19/11/16 в 14:48 |
johndoe2: сколько стоит такое написать ?
+ удалить повторы
+ концу каждой строки прибавить .com .info и тд по выбору
чтоб с денвера или с консоли работало
|
|
|
|
| |
С нами с 11.10.12
Сообщения: 428
Рейтинг: 1032
|
| Добавлено: 19/11/16 в 16:57 |
| Crimean писал: | + удалить повторы
+ концу каждой строки прибавить .com .info и тд по выбору |
| Код: |
awk '{print $1}' < input.txt | sort | uniq | awk '$0=$0".com"' > output.txt
|
Если на винде - поставь cygwin. Там полный набор утилит
|
|
|
|
apache, bash, css, elasticsearch, ffmpeg, html, js, mysql, mongo, nginx, php; *nix only
|
7
|
|
| |
С нами с 25.08.08
Сообщения: 18751
Рейтинг: 1251
|
| Добавлено: 19/11/16 в 17:00 |
если на винде, то просто импортируй как таблицу в майкрософт аксцессе
он тебе сразу и повоторения уберет.
|
|
|
|
| |
gogettop.net
С нами с 03.01.11
Сообщения: 11291
Рейтинг: 445
|
| Добавлено: 19/11/16 в 18:07 |
микрософт такие большие файлы не открывает
|
|
|
|
| |
gogettop.net
С нами с 03.01.11
Сообщения: 11291
Рейтинг: 445
|
| Добавлено: 19/11/16 в 18:10 |
johndoe2: это PHP ?
|
|
|
|
| |
С нами с 18.10.02
Сообщения: 4165
Рейтинг: 3365
|
| Добавлено: 19/11/16 в 18:16 |
это shell, открываешь терминал и запускаешь команду.
|
|
|
|
| |
С нами с 11.10.12
Сообщения: 428
Рейтинг: 1032
|
| Добавлено: 19/11/16 в 18:18 |
| Crimean писал: | | johndoe2: это PHP ? |
Это стандартные команды *nix
|
|
|
|
apache, bash, css, elasticsearch, ffmpeg, html, js, mysql, mongo, nginx, php; *nix only
|
-1
|
|
| |
мы, цари - народ работящий!
С нами с 11.06.05
Сообщения: 13121
Рейтинг: 4892
|
| Добавлено: 19/11/16 в 19:09 |
звгони в excell с разделением по табуляции и удали колонки 2 и з
|
|
|
|
| |
С нами с 25.12.14
Сообщения: 602
Рейтинг: 441
|
| Добавлено: 19/11/16 в 19:09 |
тот самый момент, когда ты жалеешь о том, что не юзаешь *nix shell 
|
|
|
|
| |
С нами с 21.10.09
Сообщения: 267
Рейтинг: 408
|
| Добавлено: 19/11/16 в 20:02 |
Если не подходит awk и прочие nix-утилиты (excel и access не подойдут на таком объеме), то легко сделать такое при помощи textpipe:
В other пишем пробел или иной разделитель.
8 gb - не проблема
|
|
|
|
| |
С нами с 04.03.07
Сообщения: 8931
Рейтинг: 5138
|
| Добавлено: 19/11/16 в 20:18 |
notepad++ выделение столбцом еще можно 
|
|
|
|
| |
С нами с 21.10.09
Сообщения: 267
Рейтинг: 408
|
| Добавлено: 19/11/16 в 20:56 |
np++ 8 gb не откроет
|
|
|
|
| |
gogettop.net
С нами с 03.01.11
Сообщения: 11291
Рейтинг: 445
|
| Добавлено: 19/11/16 в 22:09 |
| MattCutts писал: | | (excel и access не подойдут на таком объеме), то легко сделать такое при помощи textpipe: |
картинка не грузится,
textpipeом давно пользуюсь, но он не удвлет столбцы моя null версия почемуто )
other это где там ?
|
|
|
|
| |
gogettop.net
С нами с 03.01.11
Сообщения: 11291
Рейтинг: 445
|
| Добавлено: 19/11/16 в 22:10 |
за cygwin спасибо!
|
|
|
|
| |
С нами с 21.10.09
Сообщения: 267
Рейтинг: 408
|
| Добавлено: 19/11/16 в 22:44 |
| Crimean писал: |
other это где там ? |
Remove fields
|
|
|
|
| |
Считаю до трех
С нами с 23.03.05
Сообщения: 12353
Рейтинг: 2918
|
| Добавлено: 19/11/16 в 22:51 |
|
|
|
|
| |
gogettop.net
С нами с 03.01.11
Сообщения: 11291
Рейтинг: 445
|
| Добавлено: 20/11/16 в 10:40 |
| MattCutts писал: | | Remove fields |
вот такое только там
columns ничего не удаляет 
|
|
|
|
| |
С нами с 21.10.09
Сообщения: 267
Рейтинг: 408
|
| Добавлено: 20/11/16 в 12:09 |
| Crimean писал: | вот такое только там
columns ничего не удаляет |
Delimeted fields
Тебе нужно удалить поля с разделителем на каждой строке. Разделитель в данном случае - это пробел. Сколько именно полей и с какого начинать - задаешь в настройках справа. Понятно?
|
|
|
|
| |
Инженер
С нами с 09.05.11
Сообщения: 525
Рейтинг: 32
|
| Добавлено: 20/11/16 в 13:30 |
Здесь было нативное виндоус решение.
Больше не будет.
|
|
|
|
| |
gogettop.net
С нами с 03.01.11
Сообщения: 11291
Рейтинг: 445
|
| Добавлено: 20/11/16 в 14:47 |
MattCutts: Спасибо 
|
|
|
|
| |
С нами с 25.08.08
Сообщения: 18751
Рейтинг: 1251
|
| Добавлено: 20/11/16 в 15:51 |
| Crimean писал: | | микрософт такие большие файлы не открывает |
|
|
|
|
| |
