txt文本格式化工具mdxFormat（python3.9.5编写）

muyuzhth0

本工具适用python3.9.5编写。可以把指定路径（包含子目录）下的txt文档格式化为mdxbuilder使用的格式（每个词条三行：key，value，</>）。
特点：
6 d% F, k+ r$ i) j1.支持不同编码格式的txt文档，默认输入输出均为“gbk”编码。
5 Q5 L0 c8 ~  ^* e2.我写这个工具是为了整理个人的常用资料，为关键词添加超链接，实现跳转。
6 ?$ V# D; v; r$ v* B) }/ nps：我以前一直使用其他人写好的程序格式化txt文档，但是如果关键字之间存在嵌套，超链接格式化有问题，所以我自己编写了这个程序，但还有一点不完美之处，就是不能很好的解决自身跳转的超链接。望大神指点！
( @3 I* `# }, f# @5 X9 n/ n

muyuzhth0

n0thing 发表于 2021-7-26 02:18
能不能發一個 .txt 的範例？

txt文档的文件名为关键字、文件内容就是词典内容。
( k3 C6 E3 ^- k8 a# J3 W+ ]
3 z0 }: i5 o- ], ]+ e我主要为了实现资料间的超链接跳转。

n0thing

能不能發一個 .txt 的範例？

kyletruman

默认输入输出均为“gbk”编码

能不能默认输出UTF-8编码呢？“gbk”编码不方便文本编辑啊

Mandolin

支持mdx制作脚本

shuwushimang

感谢分享

muyuzhth0

kyletruman 发表于 2021-7-25 11:58
能不能默认输出UTF-8编码呢？“gbk”编码不方便文本编辑啊

" ]) n# N9 b9 M; M7 j7 I
我制作的txt文档源文件是gbk格式的，如果您的是utf-8，只需要把writeTxt（）函数里，f=open(outPath,"a",encoding="ANSI")这条语句的ANSI修改为utf-8即可。

muyuzhth0

  l0 K' x) W# x; J+ x) i$ ~# c
输出默认是gbk

漫步云海涧

我的版本是 3.9.7  , 遇到了问题 。请帮助

1. ❯ python mdxFormat_upload_V3.5.py
   
2. 没有发现文件名相同的文件，处理中...
   7 v4 T$ c/ x+ V% k# E4 g
3. 找到了4个txt文档，
   
4. 开始格式化、合并文档：
   ; ]5 n7 n3 m. v
5. 读取文档失败:/Users/vivian/Downloads/mdxFormat_upload_V3.5/test/药品检查管理办法.txt
   ) R- b  E5 c! @* }
6. 已完成第  1   个读取文档失败:/Users/vivian/Downloads/mdxFormat_upload_V3.5/test/我的广告法管理条例.txt
   5 ]* |8 \; N: n# T& U# _0 K
7. 已完成第  2   个读取文档失败:/Users/vivian/Downloads/mdxFormat_upload_V3.5/test/北京市反食品浪费规定.txt
   1 p, `0 J$ |5 n0 ]& D9 x
8. 已完成第  3   个读取文档失败:/Users/vivian/Downloads/mdxFormat_upload_V3.5/test/中国共产党组织工作条例.txt
   
9. 已完成第  4   个
   
10. 开始循环添加超链接关键词辅助标记：
    
11. 已完成第  4   个
    5 ^# @0 h5 P6 g; i8 g& o
12. 开始循环清理嵌套的冗余的超链接关键词辅助标记：
    
13. 已完成第  4   个
    
14. 开始添加超链接，
    
15. 开始清理辅助标记，
    
16. 开始写入文本，
    
17. Traceback (most recent call last):
    
18.   File "/Users/vivian/Downloads/mdxFormat_upload_V3.5/mdxFormat_upload_V3.5.py", line 219, in <module>
    
19.     main()
      d3 o% I+ h$ m
20.   File "/Users/vivian/Downloads/mdxFormat_upload_V3.5/mdxFormat_upload_V3.5.py", line 213, in main
    ; r8 v$ S9 @1 @1 l
21.     mdxFormat(path,outputPath)
    $ k  \: l- g$ M2 s, D
22.   File "/Users/vivian/Downloads/mdxFormat_upload_V3.5/mdxFormat_upload_V3.5.py", line 198, in mdxFormat
    
23.     if writeTxt(txt,outputPath):
    # ~" A  _, I& K/ l) H# E
24.   File "/Users/vivian/Downloads/mdxFormat_upload_V3.5/mdxFormat_upload_V3.5.py", line 48, in writeTxt
    ; U, O. `" O, W* D: z
25.     os.mkdir(path)
    7 g( x* Y9 a. Y* H) _
26. FileNotFoundError: [Errno 2] No such file or directory: ''

复制代码

muyuzhth0

漫步云海涧 发表于 2021-10-6 20:16
# h5 ~1 X& [% g3 S  H) d我的版本是 3.9.7  , 遇到了问题 。请帮助

mdxFormat读取文件的路径是绝对路径。你得在mdxFormat_upload_V3.5.py-中设置下文本文件的路径。有个变量“path”

muyuzhth0

漫步云海涧 发表于 2021-10-6 20:16
我的版本是 3.9.7  , 遇到了问题 。请帮助

, j$ c$ |2 l* ]# x1 \2 l你把在“mdxFormat_upload_V3.5.py”中修改的代码贴出来看下。

漫步云海涧

muyuzhth0 发表于 2021-10-6 22:47
* W* [3 f& D: J+ ~0 y( Z( }/ V你把在“mdxFormat_upload_V3.5.py”中修改的代码贴出来看下。

好的！！  麻烦了

0 G; r/ S" @1 \! c  T. F7 x6 f

1. import os
   3 N6 B4 @  t. |' `6 e( f5 l6 A
2. import glob
   + I) D' D: W5 T, d0 p+ Y
3. import re
   
4. import time
   
5. 
   ( I7 z, p- w3 J$ P' [6 E
6. #遍历所有子文件
   
7. def getFileListAll(filePath):
   * T0 x' i" s% r
8.     filelist=[]
   2 l7 U6 d9 U1 x$ Z( p7 D7 F# C0 S
9.     for root, dirnames, filenames in os.walk(filePath):
   
10.         for filename in filenames:
    6 w6 Z7 f( `/ t- J  `
11.             filelist.append(os.path.join(root,filename))
    
12.             #print(os.path.join(root,filename))
    
13.     return filelist
    5 r6 v$ e8 l5 {2 g
14. 
    % z% Z9 B/ D, `) z) B1 D8 x8 v+ N* K
15. #判断是否为txt文档
    
16. def isTxts(nameList):
    
17.     pattern=r"^[^~$].+\.(txt)$"   
    
18.     patternObj=re.compile(pattern,re.I)
    
19.     notTxtList=[]
    5 F1 n, P& _; U( T+ O% \
20.     for fileName in nameList:
    
21.         if not patternObj.fullmatch(fileName):   #判断是否为txt文件   
    
22.             notTxtList.append(nameList)
    
23.     if notTxtList:
    
24.         print("存在非txt文件：{0:},请处理后再运行程序！".format(notTxtList))
    
25.         return False
    
26.     else:
    4 Q: D/ v3 E9 c* h! O' g
27.         return True   
    
28. 
    ! P6 i2 p/ N" h* d* {, q$ \
29. #在指定的txt文档中查找关键字
    
30. def readTxt(fileName):#strkey:查找的关键字；fileName：文件路径
    ' |4 H# i3 Y+ x% |' P8 W
31.     pattern=r"^[^~$].+\.(txt)$"   
    / h2 v+ `( I4 Y- ?% Q: `4 x3 t
32.     patternObj=re.compile(pattern,re.I)
    ) ]- {* l, Z: [; K+ |
33.     if patternObj.fullmatch(fileName):   #判断是否为txt文件            
    
34.         try:
    & X8 g! D9 C, o) \6 o1 d
35.             f=open(fileName,"r",encoding="utf-8")
    
36.             txt=f.read()
    + t0 R, U* f% U0 ]4 M
37.             f.close()            
    
38.         except:
    
39.             print("读取文档失败:{0:}".format(fileName))
    6 z& |: N, b' C1 U3 `+ w" D- b6 b8 ?
40.             return ""            
    
41.         else:   #无异常时，执行
    
42.             return txt
    
43.         #finally:    #无论是否异常，都执行
    
44. 
    - {' n" H( N/ X$ c; i; N  X
45. def writeTxt(txt,outPath):
    
46.     path="\".join(outPath.split("\")[0:-1])
    
47.     if not os.path.exists(path):
    
48.         os.mkdir(path)   
    7 g6 P' h+ f6 W( ]  @
49.     try:
    5 Q) j% T- Y/ Y+ t. w9 P
50.         f=open(outPath,"a",encoding="utf-8")
    9 w6 K$ B' t0 K5 `1 j3 Y7 r
51.         f.write(txt)
    
52.         f.close()
    
53.         return True            
    " s) K& U4 T7 M* G
54.     except:
    9 B6 g' A2 h0 S) _0 O- H
55.         print("写入文档失败:{0:}".format(outPath))
    
56.         return False
    
57.         #else:   #无异常时，执行
    
58.         #    return txt
    
59.     #finally:    #无论是否异常，都执行
    $ h2 T( b+ m$ o3 @
60. 
    * O, Y/ V) B+ ~# J* F
61. def getfileName(fileList):
    9 _9 W% {+ T* P2 v  u8 X
62.     '''
    
63.     :param fileList:文件路径列表
    
64.     :return nameList:文件名称列表有扩展名
    
65.     '''
    
66.     nameList=[]
    
67.     for fileName in fileList:
    ( O  d* ?+ E# }3 Y3 M% ~9 s1 u1 c
68.         name=fileName.split("\")[-1]#提取文件名
    
69.         nameList.append(name)
    ; M( Q1 W$ Q& N- o* A
70.     return nameList
    
71. 
    ; o3 s: V3 F) R
72. #显示重复的文件名，如果有重复文件显示重复的文件名称，并返回False，否则返回True
    ( I5 G9 o3 t5 Z* U( z9 h0 Q4 I
73. def showDupFile(nameList):
    
74.     '''
    9 O9 F9 c% X; G$ w1 D
75.     判断是否有文件名相同的文件
    
76.     :param fileList:文件名列表，包含绝对路径
    
77.     :return: 如果有重复文件显示重复的文件名称，并返回False，否则返回True
    
78.     '''
    , ?- E$ O! F3 w+ Z
79.     if nameList:    #如果文件名列表不为空
    
80.         nameSet=set(nameList)
    
81.         DupNameList=[]
    # e; S- W  g. O5 O0 n4 ~( X7 G
82.         for item in nameSet:
    
83.             if nameList.count(item)>1:
    
84.                 DupNameList.append(item)
    % w+ B7 ]1 O. B: M! R& {, {, `
85.         if DupNameList:#保存重复文件名的列表
    % T, y: B% H3 y1 [2 b2 j, h) V8 B3 P
86.             for L in DupNameList:
    6 n6 V% b7 W/ b7 d( C* ?
87.                 print("{0:}为重复的文件，请处理！".format(L))
    
88.             return False
    % D+ d2 T5 h0 h) m
89.         else:
    
90.             print("没有发现文件名相同的文件，处理中...")
    % O  e+ J' f! Y  @
91.             return True
    
92. 
    4 e/ ?% f" S2 P
93. def nameListSort(nameList,rev=True):
    7 g9 Z9 }5 w$ r' r+ o* E8 }
94.     '''
    % g! W3 z+ k0 E& i8 X: t+ [9 t
95.     按照字符串长度排序
    
96.     :param fileList:文件名列表
    
97.     :param reverse:默认降序
    
98.     :return newNameList:返回排序后的文件名新列表
    
99.     '''
    ; w2 Q, G6 j; p1 |- T+ ?3 Z
100.     newNameList = sorted(nameList,key = lambda i:len(i),reverse=rev) #按照字符串长度排序，降序
     
101.     return newNameList   
     5 L$ m0 _9 E; u  J, v) {9 e
102. 
     
103. #添加超链接
     , H- M( D8 U# c' p
104. def formatTxtHref(nameList,txt):
     . h( ^  b  g) e$ [
105.     '''
     1 v5 R4 ^* E* q& s3 H! _+ R
106.     func：在文本中为特定字符串添加超链接
     
107.     :param hrefStr:待添加超链接的字符串
     / N/ D" e! O7 i& s
108.     :param txt:文本字符串
     6 g2 c6 e) I( X
109.     :return txt:格式化的文本字符串
     , b8 O* u4 Q+ @6 s" ]5 ^1 W
110.     '''
     
111.     print("\n开始循环添加超链接关键词辅助标记：")
     
112.     count=0
     
113.     nameListDescend=nameListSort(nameList)
     ( Y0 \: C( n" ^) T. H0 \; ~* y- c( m
114.     for nameD in nameListDescend:
     
115.         nameDSimple=nameD.replace(".txt","")
     % r$ c1 ~3 z; z3 v6 B
116.         nameDSMarked="【@"+nameDSimple+"@】"
     
117.         txt=txt.replace(nameDSimple,nameDSMarked)
     
118.         count=count+1
     7 G( i: b5 [9 h
119.         print("\r已完成第{0: ^6}个".format(count),end="")     
     
120. 
     7 a- V; }# z6 }1 h+ H
121.     print("\n开始循环清理嵌套的冗余的超链接关键词辅助标记：")
     5 u- ?% P! u5 l- |$ Q
122.     count=0
     
123.     nameListAscend=nameListSort(nameList,rev=False)
     1 d/ Q% c9 f4 I! [* `4 D
124.     for nameA in nameListAscend:
     6 F  c* X. Q3 s  m1 A" p& g) O
125.         nameA=nameA.replace(".txt","")
     
126.         pattern=r"【@([^@】]*?)【@{0:}@】".format(nameA)        
     
127.         patternObjTxt=re.compile(pattern)
     
128.         toHrefStr="【@"+"\\1"+"muyubug"+nameA
     
129.         txt=patternObjTxt.sub(toHrefStr,txt,count=0) #替换为的字符串
       }1 R' N9 F' Z: M& `. I
130.    
     ) }# F2 S. F( s- H
131.         pattern=r"【@{0:}@】([^【@]*?)@】".format(nameA)        
     ; j, \2 o; [2 l. `
132.         patternObjTxt=re.compile(pattern)
     
133.         toHrefStr=nameA+"\\1"+"muyubug"+"@】"
     3 @0 B/ ?  X( @" ^$ O+ g' L
134.         txt=patternObjTxt.sub(toHrefStr,txt,count=0) #替换为的字符串
     - H! |5 c) S. S1 z1 K2 e6 X
135.         txt=txt.replace("muyubug","")
     7 `- `6 M, ?* a% K
136.         count=count+1
     0 y: `( f- I0 I6 [0 Q4 R
137.         print("\r已完成第{0: ^6}个".format(count),end="")
     
138.    
     
139.     print("\n开始添加超链接，")
     
140.     pattern=r"【@([^【@]+?)@】"
     5 _/ V0 B  k" r
141.     patternObjTxt=re.compile(pattern)
     $ N/ a! v1 v+ s( s1 T5 Q  v+ ^
142.     toHrefStr=r"<a href='entry://\1'>\1</a>"
     , C1 Q; p, I0 k% x
143.     txt=patternObjTxt.sub(toHrefStr,txt,count=0) #替换为的字符串
     7 R* c) m0 ]; L+ N( R" p& i
144.         
     1 N9 O( Y& W: q
145.     print("开始清理辅助标记，")
     # n- z: C9 i5 I, d" @
146.     txt=txt.replace("<@>","")
     
147.     return txt
     ) b& U* T0 m3 e- ?; ]
148. 
     $ `5 c: b: n% S$ |' A2 S# F+ a, Z0 E
149. def formatText(fileName):
     & r, `4 r( |: C- ~1 ?
150.     '''
     
151.     func：清洗字符串，格式化
     - o+ L  A/ Y& |6 U! s( Z
152.     :param fileName:待处理文件
     
153.     return txt:处理后的字符串
     
154.     '''
     
155.     #提取文件名
     - ~/ X/ [, g' a. i& }: }
156.     name=fileName.split("\")[-1].replace(".txt","")
     
157.     #在文件名的每个字符键添加标记符
     7 j5 ]! n5 `$ Z
158.     pattern = re.compile('.{1,1}')
     4 A9 D# k/ e: ]+ r0 L  n2 Z
159.     matchCharList=pattern.findall(name)
     
160.     nameMaked="<@>".join(matchCharList)
     
161.     #生成标题部分
     - v3 ?5 W1 O- |9 R' K3 G
162.     txtTitle=nameMaked+"\n"
     
163.     #读入文件
     
164.     txtContent=readTxt(fileName)            
     - [% B( Y7 A, Y7 b+ G% B6 A* a
165.     #替换正文中的特殊字符
     
166.     strList=["\n","<br>"]   
     
167.     for ch in strList:
     0 W$ ]. }) t( S: i
168.         txtContent=txtContent.replace(ch,"<BR>")
     8 M* C( ]+ \: Y
169.     #合成整个词条的内容
     3 w4 H1 J3 M# ]' ]8 R; g1 k
170.     txt=txtTitle+txtContent+"<BR>\n</>"
     
171.     return txt
     
172. 
     % _  ?. x7 I2 M
173. def mdxFormat(path,outputPath):
     
174.     '''
     8 ^$ y$ F8 t# z' }
175.     func:格式化文本
     , N: q) j: T8 z# @4 H
176.     :param path:待格式化文本的路径
     # l) @* n& f" S; |" V1 r- @
177.     :param outputPath:输出的路径和文件名
     
178.     '''
     
179.     fileList=getFileListAll(path)#获取指定目录下的全部文件，包括子目录中的文件
     " i; p/ W3 I7 {. D+ |
180.     nameList=getfileName(fileList)
     / r1 X* Z7 \% b/ F4 V2 q
181.     if isTxts(nameList):
     % O+ M  W6 T. R' N
182.         if showDupFile(nameList):#如果没有重复文件
     
183.             print("找到了{0:}个txt文档，".format(len(nameList)))
     
184. 
     
185.             print("开始格式化、合并文档：")
     / e( H' d2 }" v* x3 S
186.             count=0#txt文档数量统计
     , H( u. F% f6 _! H2 {- ^% {) v  B
187.             txtList=[]#存储文件内容
     - W* W: T# B" L
188.             for fileName in fileList:               
     & F! u/ q/ i$ j+ U
189.                 txt=formatText(fileName) #转换换行和<br>为<BR>                  
     
190.                 txtList.append(txt)
     
191.                 count+=1
     
192.                 print("\r已完成第{0: ^6}个".format(count),end="")                  
     
193.             txt="\n".join(txtList)
     
194.             
       h; E! z' s; d
195.             #添加超链接
     
196.             txt=formatTxtHref(nameList,txt)
     3 v- l( p2 i4 B
197.             print("开始写入文本，")
     
198.             if writeTxt(txt,outputPath):
     
199.                 print("文件合并输出成功！")
     
200.             else:
     0 |6 Y- R! s5 t. m1 V( B
201.                 print("Error:Merge!")
     ' d& C5 t4 b* }* N" u/ v, J8 n7 D0 }
202.                 return  
     
203.                
     # Q4 f* ]! s# p$ D8 _: s
204. def main():
     * R& u/ j* B" H) q# p) U9 ]; \
205.     timeStart = time.time()
     + t( o% O2 i# g( [& W
206. 
     
207. 
     % w, P6 P  f% t' C6 `* _
208. 
     
209.     path=r"/Users/vivian/Downloads/mdxFormat_upload_V3.5/test"
     
210.    
     ) ~3 ^3 h, W% [$ K5 K- u
211.     outputPath=r"/Users/vivian/Downloads/mdxFormat_upload_V3.5/output/demo.txt"
     ( t3 {5 I8 n7 `
212.    
     
213.     mdxFormat(path,outputPath)
     4 Z% d5 F3 R+ d
214. 
     : t( \4 k( e" [+ P$ B
215.     timeEnd = time.time()
     2 X2 r: R! L0 P. ?& ?3 P! ^
216.     print("程序运行了%d秒"%(timeEnd-timeStart))
     
217. 
     - A) \1 ~. ?& o/ L9 ?) W
218. if __name__ == '__main__':
     & n8 P1 E% u5 e/ x: x( x
219.     main()
     

复制代码

muyuzhth0

漫步云海涧 发表于 2021-10-7 07:59
4 A/ d. U. W$ s% u+ u: t9 l* e好的！！  麻烦了

你修改了哪条?

muyuzhth0

漫步云海涧 发表于 2021-10-7 07:59
) d# a7 R! B) ?好的！！  麻烦了

path=r"/Users/vivian/Downloads/mdxFormat_upload_V3.5/test"
* y0 `2 H/ M4 F- X& CoutputPath=r"/Users/vivian/Downloads/mdxFormat_upload_V3.5/output/demo.txt"
这两条有问题吧，应该是下面这个格式
5 L8 b# r# O5 q5 mr"D:\U盘同步\百科\00txt词条汇总"

漫步云海涧

muyuzhth0 发表于 2021-10-7 21:48
! o: d/ Q; M, D+ t: q7 Z6 `9 i0 @path=r"/Users/vivian/Downloads/mdxFormat_upload_V3.5/test"
: p& O: ]( }( }6 B& z/ soutputPath=r"/Users/vivian/Downloads/md ...

我用的是mac电脑， path 是放的存放txt词条的目录 ， outputpath 是输出的txt文件

lixiaoshun

弄个windows操作界面该多好

muyuzhth0

lixiaoshun 发表于 2022-2-18 10:09
: V0 F$ g& M+ {  H4 E. S" }弄个windows操作界面该多好

5 v* N1 M  h4 F5 f, nsorry！算法还不完善，需要的人也不多，空闲时间比较少....暂时没有写GUI的打算