请教正则表达式去除重复内容

dongzhi1980

1 n% ~& J/ g. e5 K: V; P
要处理内容如下：
% g9 @3 n5 ?- ~! s' M1 o
Chinese 中文 汉语 中国人 中文 华侨 中文 中国人的
American 美国人 美国公民 美国人 美国人的 美国的
" u* P1 X7 }6 Z' [
全文不一一列举，请问，如何用正则处理第一行使结果中只保留第一个“中文”，其他不变，第二行类似，只保留第一个“美国人”而其他不变。烦请解释处理的过程。谢谢！

spoony1971

这个已经在正则能力之外了，正则的能力是很有限的。你这一类用awk处理应该很方便。具体需要可查手册。

jonah_w

https://regex101.com/r/dTixFz/1

klwo2

你可以直接贴进excel，用空格分隔，然后删掉右边的数据就好了

dongzhi1980

klwo2 发表于 2019-4-26 15:01
( O+ Q0 e; e1 r. v! H6 Y你可以直接贴进excel，用空格分隔，然后删掉右边的数据就好了

因为文件较大，右侧重复的数据又不是相邻的单元格，各行长度不一，所以，不知道在Excel中如何处理，能详细些吗？

alredstone

jonah_w 发表于 2019-4-26 15:07
4 Y- v2 E' k. ^$ o- i# E' ~2 N) j. ]https://regex101.com/r/dTixFz/1

这是个好东西。

dongzhi1980

4 o$ W: T) }) \; X/ j$ z: p6 Z

jonah_w 发表于 2019-4-26 15:07
https://regex101.com/r/dTixFz/1

% P, s+ A6 {: ^7 D  w6 ]7 b谢谢你。你链接的程序应该能处理，请问为什么我粘贴进去的（或者在里面直接写进去）的重复内容不能自动去重？

$ Z: p7 ]5 j# ~; b3 E7 n
. }2 b9 K5 s7 b) {8 z2 A

jonah_w

dongzhi1980 发表于 2019-4-26 15:26
谢谢你。你链接的程序应该能处理，请问为什么我粘贴进去的（或者在里面直接写进去）的重复内容不能自动去 ...

一行最后留一个空格就好了
9 K, I, x2 o1 M0 ^' o8 v
$ C7 ?% b: m& x& ?7 Q8 g或者这样也可以
0 m2 f# X( Z( Q/ ]* nhttps://regex101.com/r/dTixFz/4

y8888

用Em查找输入 ^(.*[a-z] [[:unicode:]].*?) .*
0 m5 b  `" O4 W+ Y* y1 [* h替换中输入\1

见图，这种是保留英文及一个中文是不是你想要的这种结果？
+ k: @, a: y3 L  A1 X5 J9 l: L

如果只要第一出现的中文则
7 Z; V, D% `# p查找输入^(.*[a-z] )([[:unicode:]].*?) .*
6 G9 C1 L& g+ Y3 @. S# c0 C% \2 q5 i替换中输入\2

% N1 ~+ O* y2 |+ T) y
7 ]  m* @6 l7 {  c- }: f- H

dongzhi1980

jonah_w 发表于 2019-4-26 15:07
https://regex101.com/r/dTixFz/1

你好，你的答案还能再完善一下吗，第二次替换时有点问题，谢谢
第一次时没有问题


第二次时，替换掉了不该替换的内容
# m# m- O% I% ^- p& G, Z8 a$ N4 B4 `( `7 B

dongzhi1980

y8888 发表于 2019-4-26 22:22
* \7 D3 W2 ?; k* L  c( f" ]用Em查找输入 ^(.*[a-z] [[:unicode:]].*?) .*
4 a1 L; _- \" K2 k& k0 t1 p替换中输入\1

谢谢你，我想要的是“对于重复出现的项，只保留第一次出现的一项，其他内容不变“。可能是我没表达清楚，不好意思。

jonah_w

dongzhi1980 发表于 2019-4-27 10:36
你好，你的答案还能再完善一下吗，第二次替换时有点问题，谢谢
# H% v: I" `9 c2 }4 \) |1 w; C第一次时没有问题

https://regex101.com/r/dTixFz/6

dongzhi1980

jonah_w 发表于 2019-4-27 10:40
https://regex101.com/r/dTixFz/6

" u# E2 f/ Y7 m- D' ]4 D谢谢，闪电般的答复。经验证，你的正则可以移植到Emeditor里，效果更好。

# Q) G( i' z+ h4 c

csw016

awk is one of the best tools, if not the best, to work with tabular data.
on the other hand, powerful it is, regular expression is overly used in the wrong places.
) @/ y8 C8 F' z: i  |+ }0 b1 L
To solve your problem with awk,
awk '{for(i=3; i<=NF; i++) if($i==$2) $i = "" } { print }' 2nd-col.txt > 2nd-cleaned.txt
2 ?' Q/ t% P: D3 W' r* S7 Z$ E
suppose 2nd-col.txt is your original file and 2nd-cleaned.txt is your cleaned file.
  d- C6 r8 Q& l/ GI've uploaded a screenshot, but I'm not sure whether it shows correctly.
# c% r' k* p5 q+ T, V! Z

dongzhi1980

csw016 发表于 2019-4-27 22:50
awk is one of the best tools, if not the best, to work with tabular data.
on the other hand, powerf ...

谢谢你，感觉为了一个功能应用去学一门语言有点过了。

mikeee

一qq群友给的答案：

% N' N1 B- A& l; w% Q\s(\S+)(?=\s)(?<=(.*\s\1){2})

6 {( y2 Z" `4 X2 W# F# y* bhttps://regex101.com/r/ldXeDC/2

. F8 b3 `, ~1 M3 P  d. t' s要求支持肯定型逆序环视，Javascript正则引擎支持肯定型逆序环视，python， php，perl的t正则引擎貌似都不支持肯定型逆序环视， notepad++、emeditor大致也不会支持肯定型逆序环视， eeditpad有可能支持肯定型逆序环视，没试过

dongzhi1980

mikeee 发表于 2019-4-29 10:16
9 _& m9 D& D+ F2 s, N一qq群友给的答案：
: w7 v1 I9 t8 e9 E
8 U: `8 N* I5 r: }\s(\S+)(?=\s)(?

你看自己发的链接了吗，替换前后有何不同？

mikeee

' a( c/ H9 F; I; L9 D

dongzhi1980 发表于 2019-4-29 15:39
* r  W+ h0 [& E, C4 m$ N你看自己发的链接了吗，替换前后有何不同？

用 Chrome 打开 https://regex101.com/r/ldXeDC/2 看看
" v4 n' ?6 s5 z5 N
替换后
8 V/ a7 d7 _- j

1. Chinese 中文 汉语 中国人 华侨 中国人的
     c/ ]) p* [$ h' R$ f3 @
2. American 美国人 美国公民 美国人的 美国的

复制代码

Edge不支持肯定型逆序环视。regex101会显示 pattern error。

ogrishman

mikeee 发表于 2019-4-29 10:16
+ u! i& h5 T2 y6 n% _" a一qq群友给的答案：
' Q' l& E5 n$ N- G% K! X6 B6 {
\s(\S+)(?=\s)(?

: t1 o' i2 k7 [2 O7 S这个例子让我对regex look around有了更进一步的理解，前一阵子学习的时候就这一部分理解有问题，太感谢您和这位群友了！

ogrishman

mikeee 发表于 2019-4-29 10:16
一qq群友给的答案：

4 |5 O& L2 J9 {\s(\S+)(?=\s)(?

! t8 x7 J% x. I这个简直是regex look around的经典范例啊，越看越觉得写的太好了，收藏了！

dongzhi1980

mikeee 发表于 2019-4-29 16:59
用 Chrome 打开 https://regex101.com/r/ldXeDC/2 看看

替换后

如你所说，一次成型，牛，Chorme下通过，Firefox失效