请问有什么办法可以去除词典文件中多余的html闭合标签？

preachers · 发表于 2020-7-4 18:07:05

比如这种：

<div>123</div></div>

复制代码

当然这个只是最简单的例子，实际应用当中会有更复杂的嵌套关系，我尝试用正则，感觉无解。
我知道html tidy可以去除多余标签，可是它同时会格式化代码并且添加常规html所需的一些标签，而那些标签对于mdx来说是多余的。所以想问问有没有办法只去除多余标签不做其他的改动。

VimVim · 发表于 2020-7-4 18:52:16

### Tidy 格式化 mdx 源文件技巧

若采用默认 tidy 配置，mdx 源文件 tidy 后会出现如下问题：

- Q1：添加了`<html><head></head></html>`等不必要的内容，造成 mdx 语法及词条内容错误
- Q2：无法识别 mdx 标签</>，并将其转化为可读性差的 HTML entities `</>`
- Q3：将 keyword 与上下行合并，造成 mdx 语法及词条内容错误

解决方案：

Q1：配置 tidy configy.txt 文件：

show-body-only: yes

Q2 和 Q3：

1. 需暂时变换</>和关键字，以便 Tidy 正确识别

"将</>替换为<mdx/>\r<keyword>
:%s/<\/>\n/<mdx\/>\r<keyword>/
"在关键字的最后添加</keyword>
:%s/\v(\<keyword\>)(.*)/\1\2\<\/keyword\>/

2. 配置 Tidy 的 configy.txt 文件：

new-empty-tags: mdx
new-blocklevel-tags: keyword

3. 执行 Tidy，最后将输出的文件恢复为 mdx 语法格式

" 将<mdx />恢复为</>
:%s/<mdx \/>/<\/>/
" 将<keyword>和</keyword>删除
:%s/<\%[/]keyword>//g

VimVim · 发表于 2020-7-4 18:54:30

//HTML Tidy 5.6.0 Options for mdx

//请特别关注以下选项
//show-body-only, output-xhtml
//quiet, indent, tidy-mark, wrap
//break-before-br
//logical-emphasis
//hide-comments
//new-blocklevel-tags
//new-empty-tags

//Document Display Options
gnu-emacs: no
markup: yes
mute:
mute-id: no
quiet: yes
show-body-only: yes
show-errors: 6
show-info: yes
show-warnings: yes

//Document In and Out Options
add-meta-charset: no
add-xml-decl: no
add-xml-space: no
doctype: auto
input-xml: no
output-html: no
output-xhtml: yes
output-xml: no

//File Input-Output Options
error-file:
keep-time: no
output-file:
write-back: no

//Diagnostics Options Reference
accessibility-check: 0
force-output: no
show-meta-change: no
warn-proprietary-attributes: yes

//Encoding Options Reference
char-encoding: utf8
input-encoding: utf8
newline: CRLF
output-bom: auto
output-encoding: utf8

//Cleanup Options Reference
bare: no
clean: yes
drop-empty-elements: yes
drop-empty-paras: yes
drop-proprietary-attributes: no
gdoc: no
logical-emphasis: yes
merge-divs: auto
merge-spans: auto
word-2000: no

//Entities Options Reference
ascii-chars: no
ncr: yes
numeric-entities: no
preserve-entities: no
quote-ampersand: no
quote-marks: no
quote-nbsp: yes

//Repair Options Reference
alt-text:
anchor-as-name: yes
assume-xml-procins: no
coerce-endtags: yes
css-prefix: c
custom-tags: no
enclose-block-text: no
enclose-text: no
escape-scripts: no
fix-backslash: yes
fix-bad-comments: auto
fix-style-tags: yes
fix-uri: yes
literal-attributes: no
lower-literals: yes
repeated-attributes: keep-last
skip-nested: yes
strict-tags-attributes: no
uppercase-attributes: no
uppercase-tags: no

//Transformation Options Reference
decorate-inferred-ul: no
escape-cdata: no
hide-comments: no
join-classes: no
join-styles: yes
merge-emphasis: yes
replace-color: no

//Teaching Tidy Options Reference
new-blocklevel-tags: keyword
new-empty-tags: mdx
new-inline-tags:
new-pre-tags:

//Pretty Print Options Reference
break-before-br: yes
indent: auto
indent-attributes: no
indent-cdata: no
indent-spaces: 4
indent-with-tabs: no
keep-tabs: no
tab-size: 4
omit-optional-tags: no
priority-attributes:
sort-attributes: none
punctuation-wrap: no
tidy-mark: no
vertical-space: no
wrap: 0
wrap-asp: yes
wrap-attributes: no
wrap-jste: yes
wrap-php: yes
wrap-script-literals: no
wrap-sections: yes

EarthWorm · 发表于 2020-7-5 02:00:19

本帖最后由 EarthWorm 于 2020-8-5 05:30 编辑

EmEditor 自带一个特殊的功能: 高亮闭合标签内容. 配合简单的宏, 可以在代码量最少的情况下完成你所需的任务

说实话, 这是一种比较笨的办法, 效率低下还有可能程序失去响应, 如果编辑的文件比较大, 程序会处于假死状态, 不要动电脑, 正常情况下会跑完的. 高级点的办法可以用 Python 的 bs4 库来完成, 那个我就没法帮你了, 我只是知道它可以处理, 怎么做你得自己查资料, 我也得现学...

preachers · 发表于 2020-7-5 11:08:06

本帖最后由 preachers 于 2020-7-5 12:52 编辑

VimVim 发表于 2020-7-4 18:54
, n" s% x# ~2 V5 g* T//HTML Tidy 5.6.0 Options for mdx
: k/ K; [# _: q! s, W/ l4 j/ T& q4 I( B
C' s( J. b. k' n" o//请特别关注以下选项

我用这个config文件处理词典的文本，它确实去掉了多余的闭合标签，不过它也会去掉一些似乎有用的标签，比如：

<div class='even'><div></div><div colspan='2' class='FrEx'>I'll be back in two or three minutes.</div></div>

复制代码

变成：

<div colspan='2' class='FrEx'>I'll be back in two or three minutes.</div>

复制代码

我不知道在原来的词典文件中这个叫even的class是不是在css里面会有什么特殊用途，不过感觉它这样删标签还是可能会影响最后的结果。
另外很重要的一点是，经过tidy处理的html会被格式化，本来没有多少行的代码会被拆分成好多好多行(我测试的文档里面源文件是189行，过了tidy后变成了655行)，这样的文件如果在emeditor里面再做处理是很崩溃的。

preachers · 发表于 2020-7-5 11:25:07

EarthWorm 发表于 2020-7-5 02:00
! s/ N3 |) H" Y6 l x) Y! A' SEmEditor 自带一个特殊的功能: 高亮闭合标签内容. 配合简单的宏, 可以在代码量最少的情况下完成你所需的任 ...

谢谢你的建议，我对emeditor的macro不太熟，不过根据你提供的代码我查了查reference，大概明白了你这段的意思，你是根据一个opening tag来找closing tag然后删掉后者，如果我理解没错的话，这个功能并不是我所需要的，因为我要删除的是单独多出来的closing tag，而不是能跟一个opening tag配成一对的。

至于python我也不太会，我玩的是powershell + c#的路子，不过你能提供bs4库解决这个问题的基本逻辑吗？如果可以的话我也可以用同样的逻辑寻找c#的对应处理办法。

VimVim · 发表于 2020-7-5 19:58:32

preachers 发表于 2020-7-5 11:08, N: v, S) E3 S5 g. S! M
我用这个config文件处理词典的文本，它确实去掉了多余的闭合标签，不过它也会去掉一些似乎有用的标签，比 ...

join-styles: no

tidy的配置很灵活的，你的所有问题都有答案。

preachers · 发表于 2020-7-6 13:13:54

本帖最后由 preachers 于 2020-7-6 13:18 编辑

VimVim 发表于 2020-7-5 19:58
1 }) T# Q+ @; c6 D7 U& ^join-styles: no; e& p1 d% j, t& [, x5 t
: s: F& t- s( R/ ^
tidy的配置很灵活的，你的所有问题都有答案。

恩，我把tidy的配置说明基本看了一遍，把配置文件已经改成这样了

//Document Display Options6 |* A2 j, [+ t# E# G
gnu-emacs: no
: B6 s3 @; r) e* p# { ?
markup: yes8 C* t0 J. N* @' v) C; |& T, d
mute:
3 R4 p2 }: t8 A" ]! e4 G5 T8 ?
mute-id: no( |% A2 p$ I- n8 h- S/ X0 U
quiet: yes. i6 c0 e+ I; a) G; w
show-body-only: yes3 z/ j1 t9 O" ~8 S: B7 u
show-errors: 6
& Y3 g" }1 }8 z# ^
show-info: yes( D5 t" w o0 a0 `
show-warnings: yes
5 G& Z( K6 H' Y% F+ U( A
6 s! @, ]! v' J! b: e
//Document In and Out Options
$ G, c1 H7 `0 [
add-meta-charset: no
! [, |5 b1 I$ }* u8 H
add-xml-decl: no
+ S0 `* K; o% k
add-xml-space: no8 x+ ?" _& a8 B9 C& Y
doctype: auto% V7 _) o( d, t: c7 G8 N6 X P O9 R
input-xml: no& P9 f( o% x0 C# O; f
output-html: no
+ u& q! ]( P7 _$ `: ]- q
output-xhtml: yes
# f9 f+ d" d& q0 K7 C/ |, `; v
output-xml: no+ Z, C; n; m; d9 ]# z, d
: X% I7 k( R4 |$ ?, R
//File Input-Output Options8 U0 s2 J7 n3 Y5 C+ [; c
error-file:) O U7 Z1 M0 d. g
keep-time: no
& {8 e* Z2 p V; ]
output-file: i9 m5 F' Y; e! t9 p3 ^0 \ M
write-back: no/ Q; @9 b; G# g! {3 C3 U3 o
+ Z! \: { l5 h0 U _
//Diagnostics Options Reference
9 u( h/ D J _ X; i
accessibility-check: 0
e5 f* L; c I4 r8 {' o
force-output: no8 m' v! u$ q$ S8 F4 c) \* @
show-meta-change: no
1 f8 X, |5 L# M' }/ |1 l
warn-proprietary-attributes: yes$ R$ B C r! Y7 j# t
/ I# U! K% i* J9 j2 m8 _
//Encoding Options Reference# F3 F4 }! U) A% j' V% Z& }5 }0 {, R B
char-encoding: utf8
1 a7 I% H4 R3 B2 u
input-encoding: utf8
& x- W4 j# ?- W6 J4 a
newline: CRLF
1 @5 |& k# v: {) R: e6 J! b
output-bom: auto
/ K! d. A2 g/ k. |! @4 w1 Q9 z1 C8 W6 ^
output-encoding: utf8
$ v! [" P0 j1 T: Z/ d D2 d" f( K
* V" Y/ f7 a% q5 B" {, l6 U6 h2 s
//Cleanup Options Reference; d& D, ?( A' }! m0 X$ ^2 G
bare: no+ b6 c1 [7 S9 I4 y) v' J. a! L
clean: no
, _5 y; i' Z }) O# A# \- u |1 s
drop-empty-elements: no; Z# l& L; n0 O; d7 e+ a7 o" x
drop-empty-paras: no0 q; }2 G5 @' e0 ?, x; ~/ p
drop-proprietary-attributes: no8 |: ~0 O) N; B& _5 o
gdoc: no
^7 R8 {( b0 m( R* A" `8 k
logical-emphasis: no; q2 w! m( y- [1 d0 P+ \7 ? x
merge-divs: no
% @2 ?3 _( \- ?* I8 D- d
merge-spans: no% d- N# X3 ^- ~' b; N9 M6 L# t# ]
word-2000: no
) g- T8 x4 F$ S
( S# e6 `, g' }2 |
//Entities Options Reference. D- F+ d3 c# N1 G8 H5 G
ascii-chars: no- p& \8 x" C9 G" U9 N6 Q
ncr: yes! j& Y% b2 a# M: D# s
numeric-entities: no
* f+ }" ^8 P& H3 z9 b4 Q$ r
preserve-entities: no& Q& A, L9 e( L
quote-ampersand: no
1 ?# a: ]4 @, h- O4 `
quote-marks: no$ m( d. Y3 C* M" r
quote-nbsp: yes# H; j8 T8 R+ Q3 s
! w/ k6 j5 F- F8 q- o
//Repair Options Reference( y9 [0 n W/ j' E) c5 X+ G
alt-text:
( q$ Z3 w' r' Q# c( L
anchor-as-name: no/ Y. T5 B1 Y* F( M/ p1 |& r
assume-xml-procins: no
' t- \& \& |+ f n1 h% K
coerce-endtags: no" E+ L6 r% n- I. |$ n6 z
css-prefix: c+ B" x' d, Q, D" j) }
custom-tags: no
+ S- w7 v9 I2 x" i7 N
enclose-block-text: no% N1 c. C+ L5 Y& D: j5 e
enclose-text: no
! g; @) J; L. s* L& H
escape-scripts: no
& R' Q4 n9 f$ e( @, Y2 R% c Q
fix-backslash: no
. P8 j% o6 m5 z/ U* ^4 T) J* x$ |
fix-bad-comments: auto
& k, ]5 I% \& N6 O ~
fix-style-tags: no
8 \6 }; t- n# g
fix-uri: no
4 a, b6 S3 a2 e6 P+ F
literal-attributes: no) {5 ]& f" F2 V) d; y- } g% H
lower-literals: no
3 Q$ n" O( }2 U3 ] x9 j8 |
repeated-attributes: keep-last+ w# u. z- G7 Y9 n' L
skip-nested: no
( {, M+ x2 F- \4 s% Q
strict-tags-attributes: no
7 v; ? n: `) m* n8 P2 D u" c
uppercase-attributes: no
) ~; g9 {1 i3 Y! u
uppercase-tags: no
. s+ u* f4 G& X, u/ q, m
0 V1 P8 J- Q8 W+ Q+ C) ]7 |
//Transformation Options Reference
8 K# m4 z n. a
decorate-inferred-ul: no
" @8 X* m: D( N1 N) W( q
escape-cdata: no
+ n4 u- Y; `. D) Q5 l
hide-comments: no1 V1 S1 u: j+ r( e4 U
join-classes: no9 ~2 X4 I& P3 U8 O' [, G; _
join-styles: no
3 O9 H; D" X7 L; G# s5 Q9 _; i+ ^
merge-emphasis: no5 Q" O: I3 _. |$ U6 A- _! Z
replace-color: no
8 Z5 ?! Q; v1 s; Z0 I
, N5 ~' r& l1 [ n. h
//Teaching Tidy Options Reference
+ k0 c; F' V7 E, H( M3 o
new-blocklevel-tags: keyword
1 a& @% o+ A! E
new-empty-tags: mdx
$ Z, J8 z1 R4 _3 Q) M
new-inline-tags:8 q& ~: x9 y2 D8 X7 o0 M
new-pre-tags:
" Y+ ~. L# ]8 S
! t+ L6 U0 G0 z5 `& @1 a
//Pretty Print Options Reference: d. ], q) Q b. L( x! e) D
break-before-br: no7 I/ H& U3 l) R
indent: no
3 I/ i& ]$ ^3 S \" ]9 Z
indent-attributes: no
8 \7 t! Q7 V% Y k6 C, U' F
indent-cdata: no
1 }2 w# e1 J, R4 s E
indent-spaces: 4
* ~' p6 }8 y* ^ C! n' n' @
indent-with-tabs: no
3 z/ }* \5 x/ [% I0 s3 u
keep-tabs: no
5 _ ~$ i6 T5 t6 j; Y
tab-size: 49 \! x9 |! c, S; d
omit-optional-tags: no
- Z/ r) W- G( i
priority-attributes:
+ i- P; |, Z* M' T3 R
sort-attributes: none
- z9 ?" [/ O$ {
punctuation-wrap: no
8 X3 R6 V: v! r3 z1 V' h6 ], b& _
tidy-mark: no
: `" v6 A3 H1 e: f! k3 s
vertical-space: no
$ n, p; e; T9 m" Q
wrap: 0
* }% `0 v9 C3 c
wrap-asp: no
! A1 a9 A4 ^' V' ~6 E g4 b
wrap-attributes: no$ Q4 s% y# W4 _/ H6 P; F8 i
wrap-jste: no. O- h- {! \% z( I! }- W
wrap-php: no8 Y! C; v& X" Z4 d, l$ p, i$ F0 V
wrap-script-literals: no
& w+ c6 U) `7 W- b f/ i" l# D! }
wrap-sections: no

复制代码

基本上能变成no的全变成no了。之前去掉的一些标签确实得以保留，但是最崩溃的还是它把行数分成那么多，这个我找遍配置参数也没找到能改变这个的。
虽然这个换行的问题其实可以在处理之后用正则再替换回来，但是很麻烦，如果我想保留词典源文件本来的换行规则的话几乎是不可能的，我只能选择把每个词条都变成一整行，所以如果tidy本身能设置成保留原来的格式是最好的。

		自动登录	找回密码
密码			免费注册

[求助] 请问有什么办法可以去除词典文件中多余的html闭合标签？