txt文本格式化工具mdxFormat（python3.9.5编写）

muyuzhth0

本工具适用python3.9.5编写。可以把指定路径（包含子目录）下的txt文档格式化为mdxbuilder使用的格式（每个词条三行：key，value，</>）。
特点：
  l$ c- `$ A, F$ q1.支持不同编码格式的txt文档，默认输入输出均为“gbk”编码。
, L+ E! r( b6 U% _( Z9 g1 k2.我写这个工具是为了整理个人的常用资料，为关键词添加超链接，实现跳转。
& q/ `$ E  R8 N  }2 Ups：我以前一直使用其他人写好的程序格式化txt文档，但是如果关键字之间存在嵌套，超链接格式化有问题，所以我自己编写了这个程序，但还有一点不完美之处，就是不能很好的解决自身跳转的超链接。望大神指点！
+ y' d2 a  v, l" Q( e

muyuzhth0

n0thing 发表于 2021-7-26 02:18
能不能發一個 .txt 的範例？

9 h3 f1 |' ]: J8 z1 @/ D2 G) |txt文档的文件名为关键字、文件内容就是词典内容。

; |$ g- S- C, k- o" [) A我主要为了实现资料间的超链接跳转。

n0thing

能不能發一個 .txt 的範例？

kyletruman

默认输入输出均为“gbk”编码

能不能默认输出UTF-8编码呢？“gbk”编码不方便文本编辑啊

Mandolin

支持mdx制作脚本

shuwushimang

感谢分享

muyuzhth0

+ d0 S$ T4 C+ }; |

kyletruman 发表于 2021-7-25 11:58
, _, r3 ~" r* a0 W能不能默认输出UTF-8编码呢？“gbk”编码不方便文本编辑啊

. w9 k' Q( b( X2 P
) l* A. Q- k6 ~( R我制作的txt文档源文件是gbk格式的，如果您的是utf-8，只需要把writeTxt（）函数里，f=open(outPath,"a",encoding="ANSI")这条语句的ANSI修改为utf-8即可。

muyuzhth0

输出默认是gbk

漫步云海涧

我的版本是 3.9.7  , 遇到了问题 。请帮助

/ e; F& Q% \: F4 j4 D

1. ❯ python mdxFormat_upload_V3.5.py
   
2. 没有发现文件名相同的文件，处理中...
   
3. 找到了4个txt文档，
   
4. 开始格式化、合并文档：
   # o# l3 K) n( \
5. 读取文档失败:/Users/vivian/Downloads/mdxFormat_upload_V3.5/test/药品检查管理办法.txt
   
6. 已完成第  1   个读取文档失败:/Users/vivian/Downloads/mdxFormat_upload_V3.5/test/我的广告法管理条例.txt
   
7. 已完成第  2   个读取文档失败:/Users/vivian/Downloads/mdxFormat_upload_V3.5/test/北京市反食品浪费规定.txt
   9 n7 B5 i& ~1 E* o& h# C7 c- i+ J
8. 已完成第  3   个读取文档失败:/Users/vivian/Downloads/mdxFormat_upload_V3.5/test/中国共产党组织工作条例.txt
   - s8 ?; Y: h3 ]( A: K. L
9. 已完成第  4   个
   
10. 开始循环添加超链接关键词辅助标记：
    
11. 已完成第  4   个
    , ~, v+ F! }/ i( `
12. 开始循环清理嵌套的冗余的超链接关键词辅助标记：
    * a9 Z- Z) r# U
13. 已完成第  4   个
    , [7 ~- g9 T* q1 k* x
14. 开始添加超链接，
    
15. 开始清理辅助标记，
    , p8 ^- M: Y0 x
16. 开始写入文本，
    
17. Traceback (most recent call last):
    
18.   File "/Users/vivian/Downloads/mdxFormat_upload_V3.5/mdxFormat_upload_V3.5.py", line 219, in <module>
    , W- @1 O' X! R3 T, E: R
19.     main()
    
20.   File "/Users/vivian/Downloads/mdxFormat_upload_V3.5/mdxFormat_upload_V3.5.py", line 213, in main
    
21.     mdxFormat(path,outputPath)
    2 p; E* I9 u3 x- M- f5 a1 T5 L
22.   File "/Users/vivian/Downloads/mdxFormat_upload_V3.5/mdxFormat_upload_V3.5.py", line 198, in mdxFormat
    , e0 m+ e8 U. w- u1 Q
23.     if writeTxt(txt,outputPath):
    ' i% a1 X0 K+ D1 A$ c* T
24.   File "/Users/vivian/Downloads/mdxFormat_upload_V3.5/mdxFormat_upload_V3.5.py", line 48, in writeTxt
    
25.     os.mkdir(path)
    3 \9 _; C0 {; {3 w" h  ]
26. FileNotFoundError: [Errno 2] No such file or directory: ''

复制代码

muyuzhth0

漫步云海涧 发表于 2021-10-6 20:16
我的版本是 3.9.7  , 遇到了问题 。请帮助

6 w  z; N* A6 a: a0 b6 T. qmdxFormat读取文件的路径是绝对路径。你得在mdxFormat_upload_V3.5.py-中设置下文本文件的路径。有个变量“path”

muyuzhth0

漫步云海涧 发表于 2021-10-6 20:16
* ^! e  s6 M& q我的版本是 3.9.7  , 遇到了问题 。请帮助

你把在“mdxFormat_upload_V3.5.py”中修改的代码贴出来看下。

漫步云海涧

muyuzhth0 发表于 2021-10-6 22:47
* N/ x4 M1 J+ {+ a' Z" P' u你把在“mdxFormat_upload_V3.5.py”中修改的代码贴出来看下。

好的！！  麻烦了
0 z$ m) x6 r7 m, f$ ?# \

1. import os
   
2. import glob
   
3. import re
   0 _# m1 D. z2 v0 S
4. import time
   
5. 
   ; X# ?* y2 w7 g4 x6 H4 ]
6. #遍历所有子文件
   6 n  U4 v7 c( e, U5 ]
7. def getFileListAll(filePath):
   
8.     filelist=[]
   
9.     for root, dirnames, filenames in os.walk(filePath):
   / e9 l4 @4 ^, v  m0 V* ?3 J
10.         for filename in filenames:
    ) c0 _  H7 m6 }  J
11.             filelist.append(os.path.join(root,filename))
    
12.             #print(os.path.join(root,filename))
    * m) K$ e; z5 ?( w# }
13.     return filelist
    & _  y0 r9 V0 |0 Y7 e: i
14. 
    ' E0 v5 p* V/ c9 ^
15. #判断是否为txt文档
    
16. def isTxts(nameList):
    8 s- y9 a1 W; ?- ^& ~& O, J
17.     pattern=r"^[^~$].+\.(txt)$"   
    
18.     patternObj=re.compile(pattern,re.I)
    
19.     notTxtList=[]
    
20.     for fileName in nameList:
    # g) `. y! }* H% ~1 L
21.         if not patternObj.fullmatch(fileName):   #判断是否为txt文件   
    5 }) j" U. P! B4 |( w; a, ^" _1 \" t
22.             notTxtList.append(nameList)
    8 S( d; C  p  T# ]
23.     if notTxtList:
    
24.         print("存在非txt文件：{0:},请处理后再运行程序！".format(notTxtList))
    . ?! I8 t0 F. {, a' e6 ~
25.         return False
    
26.     else:
    
27.         return True   
    : ^( H" c7 r# L: x$ y* H# [; b) q
28. 
    
29. #在指定的txt文档中查找关键字
    . u8 U, s  S; |
30. def readTxt(fileName):#strkey:查找的关键字；fileName：文件路径
    . a4 a/ r, n6 L8 Y' @2 ^
31.     pattern=r"^[^~$].+\.(txt)$"   
    0 v8 c7 H4 ^$ D& t; K# s7 S( I
32.     patternObj=re.compile(pattern,re.I)
    
33.     if patternObj.fullmatch(fileName):   #判断是否为txt文件            
    
34.         try:
    2 n/ D0 K- F& u6 n/ U3 V- V
35.             f=open(fileName,"r",encoding="utf-8")
    
36.             txt=f.read()
    4 U) u$ C: U: _' G( a! G% @0 @
37.             f.close()            
    
38.         except:
    / S! `! x$ k* e, p7 G
39.             print("读取文档失败:{0:}".format(fileName))
    
40.             return ""            
    
41.         else:   #无异常时，执行
    
42.             return txt
    $ T; l) Q% ^8 E- e4 D6 F
43.         #finally:    #无论是否异常，都执行
    
44. 
    ) \$ Q$ g6 ^* i) D
45. def writeTxt(txt,outPath):
    2 H! y* Z: `# r- Q; S4 @) W
46.     path="\".join(outPath.split("\")[0:-1])
    
47.     if not os.path.exists(path):
    ; h4 F9 Z9 a6 m0 j- W# f
48.         os.mkdir(path)   
    
49.     try:
    1 S4 {7 ^2 R& d/ x6 |
50.         f=open(outPath,"a",encoding="utf-8")
    
51.         f.write(txt)
    
52.         f.close()
    . Q& P7 O% m! o) t
53.         return True            
    
54.     except:
    
55.         print("写入文档失败:{0:}".format(outPath))
    
56.         return False
    ) z/ q9 b3 Q2 g5 ~( W$ B  P  N
57.         #else:   #无异常时，执行
    + A4 b  ?3 s1 L6 d$ W  i
58.         #    return txt
    ' h" a' d3 J2 q! t' V
59.     #finally:    #无论是否异常，都执行
    9 E, U4 t; W$ r) G
60. 
    
61. def getfileName(fileList):
    
62.     '''
    
63.     :param fileList:文件路径列表
    
64.     :return nameList:文件名称列表有扩展名
    
65.     '''
    6 s9 g8 F* B* `9 N( o
66.     nameList=[]
    / M5 i/ f9 r3 f: t" L
67.     for fileName in fileList:
    0 B9 J3 Q0 y+ N3 ]
68.         name=fileName.split("\")[-1]#提取文件名
    5 P2 p# }0 l. C, s
69.         nameList.append(name)
    / r1 t* p4 M" Q) @% E
70.     return nameList
    
71. 
    
72. #显示重复的文件名，如果有重复文件显示重复的文件名称，并返回False，否则返回True
    
73. def showDupFile(nameList):
    
74.     '''
    
75.     判断是否有文件名相同的文件
    
76.     :param fileList:文件名列表，包含绝对路径
    ( V  `) K. F: A2 s" U
77.     :return: 如果有重复文件显示重复的文件名称，并返回False，否则返回True
    
78.     '''
    
79.     if nameList:    #如果文件名列表不为空
    
80.         nameSet=set(nameList)
    
81.         DupNameList=[]
    ( ]. S3 p, i% I+ i5 Q7 ]- @2 E5 e
82.         for item in nameSet:
    
83.             if nameList.count(item)>1:
    8 b8 h8 x  u/ `5 j3 |( V
84.                 DupNameList.append(item)
    
85.         if DupNameList:#保存重复文件名的列表
    , `6 W) J% Q% L" U
86.             for L in DupNameList:
    
87.                 print("{0:}为重复的文件，请处理！".format(L))
      d  y7 l+ @) k, r& }# {
88.             return False
    # t) v1 @. G. H7 [  }' A" u+ W
89.         else:
    
90.             print("没有发现文件名相同的文件，处理中...")
    ' e  f0 r8 O& ?1 v$ i* _
91.             return True
    6 {" J2 k7 c8 @% v
92. 
    + g# y6 v$ {3 v; e1 ~( A" \
93. def nameListSort(nameList,rev=True):
    % [3 g9 d# S0 B! H; {
94.     '''
    
95.     按照字符串长度排序
    
96.     :param fileList:文件名列表
    , G  q8 ^. f$ R! r
97.     :param reverse:默认降序
    
98.     :return newNameList:返回排序后的文件名新列表
    
99.     '''
    0 b; _0 B% V9 K
100.     newNameList = sorted(nameList,key = lambda i:len(i),reverse=rev) #按照字符串长度排序，降序
     
101.     return newNameList   
     & S; r$ |( a0 N" n+ ^
102. 
       g1 V) C, v2 i" t4 H* a5 }
103. #添加超链接
     
104. def formatTxtHref(nameList,txt):
     & X$ o0 i/ o/ b* I  x
105.     '''
     * J* H' x  H3 Z1 m1 v4 n
106.     func：在文本中为特定字符串添加超链接
     ! i4 h8 C9 ]2 M0 M9 I- A9 ?* |
107.     :param hrefStr:待添加超链接的字符串
     
108.     :param txt:文本字符串
     % t8 O2 Q4 C! K& T- x
109.     :return txt:格式化的文本字符串
     3 N1 N, u1 c0 v% D
110.     '''
     ' s/ _& G' j! G8 ~
111.     print("\n开始循环添加超链接关键词辅助标记：")
     
112.     count=0
     
113.     nameListDescend=nameListSort(nameList)
     
114.     for nameD in nameListDescend:
     : K, f6 y7 S: e# a: E
115.         nameDSimple=nameD.replace(".txt","")
     
116.         nameDSMarked="【@"+nameDSimple+"@】"
     
117.         txt=txt.replace(nameDSimple,nameDSMarked)
     
118.         count=count+1
     " l5 E* }) V% o! h" z  z+ D% h
119.         print("\r已完成第{0: ^6}个".format(count),end="")     
     
120. 
     
121.     print("\n开始循环清理嵌套的冗余的超链接关键词辅助标记：")
     
122.     count=0
     
123.     nameListAscend=nameListSort(nameList,rev=False)
     1 K+ X$ J9 p+ E7 K
124.     for nameA in nameListAscend:
     0 l0 ?6 F$ e0 ]8 f( s4 t# \" F
125.         nameA=nameA.replace(".txt","")
     
126.         pattern=r"【@([^@】]*?)【@{0:}@】".format(nameA)        
     
127.         patternObjTxt=re.compile(pattern)
     ; q7 c3 T/ b6 y5 O: E, b
128.         toHrefStr="【@"+"\\1"+"muyubug"+nameA
     
129.         txt=patternObjTxt.sub(toHrefStr,txt,count=0) #替换为的字符串
     9 a9 X1 t+ p! A! u& X6 u
130.    
     ( _) i9 f, c$ |: P8 K  ?0 {, \! n
131.         pattern=r"【@{0:}@】([^【@]*?)@】".format(nameA)        
     + O/ {; `% K' }$ b+ R
132.         patternObjTxt=re.compile(pattern)
     
133.         toHrefStr=nameA+"\\1"+"muyubug"+"@】"
     ( m/ W) E9 a& s/ x
134.         txt=patternObjTxt.sub(toHrefStr,txt,count=0) #替换为的字符串
       Y9 I0 c% |* w  m6 u! J. L, M
135.         txt=txt.replace("muyubug","")
     " Z5 `- F% O2 I3 l' p6 m: f
136.         count=count+1
     
137.         print("\r已完成第{0: ^6}个".format(count),end="")
     ! O* p: \5 `* x, h' a$ }* r
138.    
     ; I7 A- y' @" w+ w6 m4 e; d( T" s# S
139.     print("\n开始添加超链接，")
     
140.     pattern=r"【@([^【@]+?)@】"
     * ]! d1 M$ ^! ~  r: z
141.     patternObjTxt=re.compile(pattern)
     
142.     toHrefStr=r"<a href='entry://\1'>\1</a>"
     
143.     txt=patternObjTxt.sub(toHrefStr,txt,count=0) #替换为的字符串
     - w9 s' t/ U8 n/ }. P* D
144.         
     
145.     print("开始清理辅助标记，")
     
146.     txt=txt.replace("<@>","")
     
147.     return txt
     + c5 o. c: R9 k7 k- T
148. 
     . i2 o8 a% _# i% H( Y4 O, a
149. def formatText(fileName):
     
150.     '''
     
151.     func：清洗字符串，格式化
     
152.     :param fileName:待处理文件
     
153.     return txt:处理后的字符串
     
154.     '''
     ! H7 _5 v: y0 G# ?
155.     #提取文件名
     $ b, L* g% c4 Z) G2 \
156.     name=fileName.split("\")[-1].replace(".txt","")
     . ?( D! y9 ]1 a! o! `5 v
157.     #在文件名的每个字符键添加标记符
     
158.     pattern = re.compile('.{1,1}')
     
159.     matchCharList=pattern.findall(name)
     
160.     nameMaked="<@>".join(matchCharList)
     $ D( y$ `; F( k
161.     #生成标题部分
     
162.     txtTitle=nameMaked+"\n"
     - f9 t% T# n% h
163.     #读入文件
     
164.     txtContent=readTxt(fileName)            
     
165.     #替换正文中的特殊字符
     + S8 T$ ^$ o, E4 i" g" X7 a2 c, R
166.     strList=["\n","<br>"]   
     % i( c- |+ X5 n* Z
167.     for ch in strList:
     8 J: J3 t  G3 i+ g
168.         txtContent=txtContent.replace(ch,"<BR>")
     $ R  m0 }( H6 e8 u# ]& G
169.     #合成整个词条的内容
     
170.     txt=txtTitle+txtContent+"<BR>\n</>"
       ~! [! E* W% O2 T
171.     return txt
     
172. 
     % z+ e; n, }5 M3 _& u8 \. a. g
173. def mdxFormat(path,outputPath):
     : X  T: x. ^3 H
174.     '''
     
175.     func:格式化文本
     7 z: q  b/ d& ?
176.     :param path:待格式化文本的路径
     
177.     :param outputPath:输出的路径和文件名
     
178.     '''
     , Z. ]9 Z: q3 t) z1 ^; a, P
179.     fileList=getFileListAll(path)#获取指定目录下的全部文件，包括子目录中的文件
     
180.     nameList=getfileName(fileList)
     5 c1 s2 v7 @( p5 @2 v
181.     if isTxts(nameList):
     
182.         if showDupFile(nameList):#如果没有重复文件
     
183.             print("找到了{0:}个txt文档，".format(len(nameList)))
     4 k; T/ m% \/ K
184. 
     3 H' f0 E4 w& t- d$ q
185.             print("开始格式化、合并文档：")
     
186.             count=0#txt文档数量统计
     ; z: _; x" z$ z1 F9 a: Z% a9 b
187.             txtList=[]#存储文件内容
     + k6 G+ w4 m8 D) r, A$ q
188.             for fileName in fileList:               
     
189.                 txt=formatText(fileName) #转换换行和<br>为<BR>                  
     
190.                 txtList.append(txt)
     
191.                 count+=1
     
192.                 print("\r已完成第{0: ^6}个".format(count),end="")                  
     + C6 W$ g! q% H5 S& h# ?
193.             txt="\n".join(txtList)
     
194.             
     
195.             #添加超链接
     
196.             txt=formatTxtHref(nameList,txt)
     7 N- h5 o2 ^; t! O: l
197.             print("开始写入文本，")
     3 b4 R% p& H/ \7 j
198.             if writeTxt(txt,outputPath):
     4 f$ e8 r: K& F
199.                 print("文件合并输出成功！")
     
200.             else:
     
201.                 print("Error:Merge!")
     ! K) Y2 S( t% T, e$ C
202.                 return  
     0 q$ G. s0 }6 L
203.                
     2 }" N* S' P% L( Y# k: O- |4 g
204. def main():
     2 m" ?" f1 \" r
205.     timeStart = time.time()
     
206. 
       h8 q# Q. g3 S' k
207. 
     
208. 
     
209.     path=r"/Users/vivian/Downloads/mdxFormat_upload_V3.5/test"
     
210.    
     ; ^7 o: b0 n6 p% a+ }8 k7 d
211.     outputPath=r"/Users/vivian/Downloads/mdxFormat_upload_V3.5/output/demo.txt"
     ) X$ [& Y% C0 Y$ F" e2 A
212.    
     
213.     mdxFormat(path,outputPath)
     " G+ D! O  k% f8 w* X) v
214. 
     2 x# X. v1 q; D
215.     timeEnd = time.time()
     
216.     print("程序运行了%d秒"%(timeEnd-timeStart))
     
217. 
     
218. if __name__ == '__main__':
     - g  g( I' ^: l! N3 C3 q
219.     main()
     6 l/ h6 f7 x. ~+ T0 ~. j5 ?

复制代码

muyuzhth0

漫步云海涧 发表于 2021-10-7 07:59
好的！！  麻烦了

你修改了哪条?

muyuzhth0

漫步云海涧 发表于 2021-10-7 07:59
好的！！  麻烦了

: z/ I$ I; Y% {& M/ dpath=r"/Users/vivian/Downloads/mdxFormat_upload_V3.5/test"
outputPath=r"/Users/vivian/Downloads/mdxFormat_upload_V3.5/output/demo.txt"
0 h" p. @, ?5 f3 h( W这两条有问题吧，应该是下面这个格式
r"D:\U盘同步\百科\00txt词条汇总"

漫步云海涧

muyuzhth0 发表于 2021-10-7 21:48
+ @  U  _8 h  `8 Qpath=r"/Users/vivian/Downloads/mdxFormat_upload_V3.5/test"
$ H  I1 d) ^) c' w8 W* e- z. ?2 MoutputPath=r"/Users/vivian/Downloads/md ...

我用的是mac电脑， path 是放的存放txt词条的目录 ， outputpath 是输出的txt文件

lixiaoshun

弄个windows操作界面该多好

muyuzhth0

lixiaoshun 发表于 2022-2-18 10:09
9 M6 v# J5 x2 y弄个windows操作界面该多好

8 P0 r; b, d. `9 e3 Osorry！算法还不完善，需要的人也不多，空闲时间比较少....暂时没有写GUI的打算