txt文本格式化工具mdxFormat（python3.9.5编写）

muyuzhth0

本工具适用python3.9.5编写。可以把指定路径（包含子目录）下的txt文档格式化为mdxbuilder使用的格式（每个词条三行：key，value，</>）。
特点：
7 B+ X4 |3 T* G; j1.支持不同编码格式的txt文档，默认输入输出均为“gbk”编码。
( F# b  }/ o0 P) L8 N4 X2.我写这个工具是为了整理个人的常用资料，为关键词添加超链接，实现跳转。
ps：我以前一直使用其他人写好的程序格式化txt文档，但是如果关键字之间存在嵌套，超链接格式化有问题，所以我自己编写了这个程序，但还有一点不完美之处，就是不能很好的解决自身跳转的超链接。望大神指点！

7 B5 c: @/ J  K" T

muyuzhth0

n0thing 发表于 2021-7-26 02:18
$ J  q; u8 \4 z' l+ R+ T能不能發一個 .txt 的範例？

8 k) M" x! l+ B" b4 F+ {3 ?7 Xtxt文档的文件名为关键字、文件内容就是词典内容。

我主要为了实现资料间的超链接跳转。

n0thing

能不能發一個 .txt 的範例？

kyletruman

默认输入输出均为“gbk”编码

能不能默认输出UTF-8编码呢？“gbk”编码不方便文本编辑啊

Mandolin

支持mdx制作脚本

shuwushimang

感谢分享

muyuzhth0

kyletruman 发表于 2021-7-25 11:58
0 Z$ p6 S  T$ C( T. ^* j: h能不能默认输出UTF-8编码呢？“gbk”编码不方便文本编辑啊

  S  O7 Q5 @$ d9 K我制作的txt文档源文件是gbk格式的，如果您的是utf-8，只需要把writeTxt（）函数里，f=open(outPath,"a",encoding="ANSI")这条语句的ANSI修改为utf-8即可。

muyuzhth0

& N; ^' H9 m6 \* [) `5 l2 {# Y
输出默认是gbk

漫步云海涧

我的版本是 3.9.7  , 遇到了问题 。请帮助
7 Z; a  O+ B, N( x7 a0 Q* b
( ^; o6 A0 W6 s- i3 W4 ]: I

1. ❯ python mdxFormat_upload_V3.5.py
   ) r. o7 _$ \* _* G3 y" \( L
2. 没有发现文件名相同的文件，处理中...
   0 L" J, O0 c0 Q1 h2 ]6 P/ {
3. 找到了4个txt文档，
   
4. 开始格式化、合并文档：
   
5. 读取文档失败:/Users/vivian/Downloads/mdxFormat_upload_V3.5/test/药品检查管理办法.txt
   2 n! Y% `  c+ z; l. K4 h  d
6. 已完成第  1   个读取文档失败:/Users/vivian/Downloads/mdxFormat_upload_V3.5/test/我的广告法管理条例.txt
   0 a5 ~- j% S2 K" t- b* h6 H
7. 已完成第  2   个读取文档失败:/Users/vivian/Downloads/mdxFormat_upload_V3.5/test/北京市反食品浪费规定.txt
   
8. 已完成第  3   个读取文档失败:/Users/vivian/Downloads/mdxFormat_upload_V3.5/test/中国共产党组织工作条例.txt
   
9. 已完成第  4   个
   
10. 开始循环添加超链接关键词辅助标记：
    
11. 已完成第  4   个
    
12. 开始循环清理嵌套的冗余的超链接关键词辅助标记：
    7 _' `3 Q. i1 t/ c9 f
13. 已完成第  4   个
    - e" U# V7 w- y2 X2 h8 O* b
14. 开始添加超链接，
    
15. 开始清理辅助标记，
    
16. 开始写入文本，
    4 N. W+ k$ z+ f9 D/ J
17. Traceback (most recent call last):
    
18.   File "/Users/vivian/Downloads/mdxFormat_upload_V3.5/mdxFormat_upload_V3.5.py", line 219, in <module>
    * g) s% L! s' S& t: |
19.     main()
    
20.   File "/Users/vivian/Downloads/mdxFormat_upload_V3.5/mdxFormat_upload_V3.5.py", line 213, in main
    # r5 l+ o* \1 C) P1 z
21.     mdxFormat(path,outputPath)
    ( I: |- g. L' o+ ]+ w- T
22.   File "/Users/vivian/Downloads/mdxFormat_upload_V3.5/mdxFormat_upload_V3.5.py", line 198, in mdxFormat
      A( f8 N& x5 S1 m- R
23.     if writeTxt(txt,outputPath):
    ; o# L# z: v/ R+ H
24.   File "/Users/vivian/Downloads/mdxFormat_upload_V3.5/mdxFormat_upload_V3.5.py", line 48, in writeTxt
    
25.     os.mkdir(path)
    
26. FileNotFoundError: [Errno 2] No such file or directory: ''

复制代码

muyuzhth0

漫步云海涧 发表于 2021-10-6 20:16
, K$ q' U& j6 M: P% s8 b我的版本是 3.9.7  , 遇到了问题 。请帮助

mdxFormat读取文件的路径是绝对路径。你得在mdxFormat_upload_V3.5.py-中设置下文本文件的路径。有个变量“path”

muyuzhth0

漫步云海涧 发表于 2021-10-6 20:16
* b# k/ I8 V5 X% `* K我的版本是 3.9.7  , 遇到了问题 。请帮助

$ v  C! r& W- y" j3 T你把在“mdxFormat_upload_V3.5.py”中修改的代码贴出来看下。

漫步云海涧

muyuzhth0 发表于 2021-10-6 22:47
你把在“mdxFormat_upload_V3.5.py”中修改的代码贴出来看下。

好的！！  麻烦了

- h5 s* E! {+ k* @* |

1. import os
   
2. import glob
   
3. import re
   , d# i* e/ \8 t$ Q; l5 z9 n
4. import time
   $ n' r% O6 C5 q' V- a7 H
5. 
   
6. #遍历所有子文件
   0 n* `& |# t8 E
7. def getFileListAll(filePath):
   3 _) Y2 b  O, k3 [3 [0 p
8.     filelist=[]
   
9.     for root, dirnames, filenames in os.walk(filePath):
   
10.         for filename in filenames:
    
11.             filelist.append(os.path.join(root,filename))
    0 Y, [7 }6 I7 ^- j) {; X6 |
12.             #print(os.path.join(root,filename))
    
13.     return filelist
    
14. 
    - [& ^. I; ]/ J; v
15. #判断是否为txt文档
    
16. def isTxts(nameList):
    
17.     pattern=r"^[^~$].+\.(txt)$"   
    . P0 C5 d5 D7 Z7 A) e
18.     patternObj=re.compile(pattern,re.I)
    
19.     notTxtList=[]
    
20.     for fileName in nameList:
    " I: c+ E0 F0 a- g+ d  b: {
21.         if not patternObj.fullmatch(fileName):   #判断是否为txt文件   
    
22.             notTxtList.append(nameList)
    
23.     if notTxtList:
    
24.         print("存在非txt文件：{0:},请处理后再运行程序！".format(notTxtList))
    
25.         return False
    , _! s' x& A# g. x( N* X' t6 F- |
26.     else:
    
27.         return True   
    
28. 
    7 a2 z6 y" _$ m& w
29. #在指定的txt文档中查找关键字
    / Y8 P8 v% q  e9 I9 v
30. def readTxt(fileName):#strkey:查找的关键字；fileName：文件路径
    # R: v  g7 I4 ?
31.     pattern=r"^[^~$].+\.(txt)$"   
    $ x* \3 o; o9 k% o
32.     patternObj=re.compile(pattern,re.I)
    
33.     if patternObj.fullmatch(fileName):   #判断是否为txt文件            
    ' ^- j7 ?5 {7 L. C' n% q) o
34.         try:
    ( |/ G/ Q% C! y, J& u8 M
35.             f=open(fileName,"r",encoding="utf-8")
    
36.             txt=f.read()
    - z; W# Q" o" Q2 q+ t
37.             f.close()            
    
38.         except:
    
39.             print("读取文档失败:{0:}".format(fileName))
    
40.             return ""            
    
41.         else:   #无异常时，执行
    
42.             return txt
    ) e5 _9 S/ U+ Z
43.         #finally:    #无论是否异常，都执行
    
44. 
    * H2 Q3 R# g- \5 n! G
45. def writeTxt(txt,outPath):
    
46.     path="\".join(outPath.split("\")[0:-1])
    
47.     if not os.path.exists(path):
    
48.         os.mkdir(path)   
    4 u7 N# _! ?- ~" O9 O
49.     try:
    * @$ @. n) b8 E" M( q' t
50.         f=open(outPath,"a",encoding="utf-8")
    ' A- \+ j% b) k9 X1 s0 a6 Y' A& X
51.         f.write(txt)
    
52.         f.close()
    
53.         return True            
    5 j2 [& b: s8 G5 V
54.     except:
    
55.         print("写入文档失败:{0:}".format(outPath))
    
56.         return False
    
57.         #else:   #无异常时，执行
    8 B) o( S; Y3 C7 f& M3 s3 J6 E
58.         #    return txt
    + B4 V5 L: G& H) E; p7 I' _
59.     #finally:    #无论是否异常，都执行
    9 O+ H) t+ B4 {% P4 x
60. 
    ! x9 z! R+ }8 j% ]! c1 A& i2 p+ g
61. def getfileName(fileList):
    , ^  }4 d, U- ^5 a
62.     '''
    
63.     :param fileList:文件路径列表
    / e8 v1 ~2 ]) r4 l8 d6 Y# t; s
64.     :return nameList:文件名称列表有扩展名
    2 g0 D9 J5 s0 L' y9 K' |
65.     '''
    ; D1 q9 \: H+ m! b* z
66.     nameList=[]
    
67.     for fileName in fileList:
    ) p' @3 l% V6 M+ [: w& N
68.         name=fileName.split("\")[-1]#提取文件名
      |. ]/ b1 {- @. a  y$ Z; G. M$ a
69.         nameList.append(name)
    ( T! D" K) q9 E+ V: G  U, \
70.     return nameList
    
71. 
    2 W- D' i: S6 L" c0 m
72. #显示重复的文件名，如果有重复文件显示重复的文件名称，并返回False，否则返回True
    , }6 N! X9 Q" B; v: d/ c6 U" z
73. def showDupFile(nameList):
    8 z& r: T5 @/ @+ D  x
74.     '''
    
75.     判断是否有文件名相同的文件
    ! E% J: }* o0 c# r0 k0 q8 _3 g
76.     :param fileList:文件名列表，包含绝对路径
    - X/ U/ D  y4 j# h& ?/ a! O0 U
77.     :return: 如果有重复文件显示重复的文件名称，并返回False，否则返回True
    3 u! K8 ~1 A, y  e! Y: c# X0 x- K9 [
78.     '''
    9 f7 }5 T+ M* a/ \8 U
79.     if nameList:    #如果文件名列表不为空
    
80.         nameSet=set(nameList)
    
81.         DupNameList=[]
    
82.         for item in nameSet:
    
83.             if nameList.count(item)>1:
    1 E+ u6 J: |  _" m" i% `) m
84.                 DupNameList.append(item)
    
85.         if DupNameList:#保存重复文件名的列表
    8 V2 r8 R9 V9 H, I( T" c
86.             for L in DupNameList:
    ) r7 l0 I: r4 x' A! x
87.                 print("{0:}为重复的文件，请处理！".format(L))
    # _5 U2 D+ f5 h3 ^, L
88.             return False
    
89.         else:
    , G, K3 c: D( L9 s5 V
90.             print("没有发现文件名相同的文件，处理中...")
    $ u3 I# V& u' R: l$ {
91.             return True
    3 o) y) \! |" f$ r
92. 
    & C  C  {1 i; b  M$ n! [+ d
93. def nameListSort(nameList,rev=True):
    
94.     '''
    1 ~& D4 M! y& ^2 G5 O0 p8 h, G( s  t
95.     按照字符串长度排序
    9 c+ ~  ^$ x0 W+ o+ Z, X' j
96.     :param fileList:文件名列表
    
97.     :param reverse:默认降序
    
98.     :return newNameList:返回排序后的文件名新列表
    2 G8 I2 T3 [8 W
99.     '''
    
100.     newNameList = sorted(nameList,key = lambda i:len(i),reverse=rev) #按照字符串长度排序，降序
     + w1 T% m/ b" S: u6 ~) _
101.     return newNameList   
     
102. 
     
103. #添加超链接
     " S0 d: g5 p: P
104. def formatTxtHref(nameList,txt):
       k0 ^! K1 L* m% }; ^
105.     '''
     % c  }1 _' h: |' D! C
106.     func：在文本中为特定字符串添加超链接
     . [; E) i0 @6 p+ x7 P
107.     :param hrefStr:待添加超链接的字符串
     & a" S# Y, t$ \% J
108.     :param txt:文本字符串
     : X$ i5 L7 Z+ J; m2 m" E' i, o2 [- V
109.     :return txt:格式化的文本字符串
     
110.     '''
     
111.     print("\n开始循环添加超链接关键词辅助标记：")
     : Q& Z+ b5 G) l* P( l* O. u
112.     count=0
     
113.     nameListDescend=nameListSort(nameList)
     4 j2 T+ O* j4 S- |1 X$ ]/ r" S
114.     for nameD in nameListDescend:
     
115.         nameDSimple=nameD.replace(".txt","")
     
116.         nameDSMarked="【@"+nameDSimple+"@】"
     
117.         txt=txt.replace(nameDSimple,nameDSMarked)
     
118.         count=count+1
     
119.         print("\r已完成第{0: ^6}个".format(count),end="")     
     
120. 
       p* E1 m. [: q4 N
121.     print("\n开始循环清理嵌套的冗余的超链接关键词辅助标记：")
     
122.     count=0
     0 N2 G1 A+ k6 E/ {5 V# W* x* ^
123.     nameListAscend=nameListSort(nameList,rev=False)
     $ \- _7 |- t8 \: l, {( K
124.     for nameA in nameListAscend:
     ' Q. l) h/ D8 S" i- [9 M% S
125.         nameA=nameA.replace(".txt","")
     
126.         pattern=r"【@([^@】]*?)【@{0:}@】".format(nameA)        
     
127.         patternObjTxt=re.compile(pattern)
     * S6 A5 P: d# A3 k$ k
128.         toHrefStr="【@"+"\\1"+"muyubug"+nameA
     ! _$ W, t! t) ]( y' X8 U4 t* O0 M
129.         txt=patternObjTxt.sub(toHrefStr,txt,count=0) #替换为的字符串
     ! T0 f. x2 l5 i
130.    
     
131.         pattern=r"【@{0:}@】([^【@]*?)@】".format(nameA)        
     
132.         patternObjTxt=re.compile(pattern)
     
133.         toHrefStr=nameA+"\\1"+"muyubug"+"@】"
     
134.         txt=patternObjTxt.sub(toHrefStr,txt,count=0) #替换为的字符串
     4 D; ^4 s5 ?5 ^) o+ {1 D
135.         txt=txt.replace("muyubug","")
     : E1 A* F- M# L
136.         count=count+1
     
137.         print("\r已完成第{0: ^6}个".format(count),end="")
     1 `/ t4 a% R" h. v0 ]
138.    
     
139.     print("\n开始添加超链接，")
     
140.     pattern=r"【@([^【@]+?)@】"
     
141.     patternObjTxt=re.compile(pattern)
     ) ^* o; T, G6 X# b% C$ O1 X0 L
142.     toHrefStr=r"<a href='entry://\1'>\1</a>"
     $ O7 |' M% Z& q% s3 E0 _
143.     txt=patternObjTxt.sub(toHrefStr,txt,count=0) #替换为的字符串
     , B* E& V% u9 ~0 ^
144.         
     2 Y) x1 c+ ~& i8 S
145.     print("开始清理辅助标记，")
     4 h$ z- J" m: `. D, _, S
146.     txt=txt.replace("<@>","")
     9 Y9 |5 v% m: F+ W# f
147.     return txt
     
148. 
     
149. def formatText(fileName):
     0 Y/ u% W( b' R: W" U- e
150.     '''
     
151.     func：清洗字符串，格式化
     4 r2 X% U/ Y/ L1 \) E* T) N
152.     :param fileName:待处理文件
     2 w( b! v) `! A6 v( |: s" H
153.     return txt:处理后的字符串
     
154.     '''
     
155.     #提取文件名
     . F% `6 t9 t0 s. W
156.     name=fileName.split("\")[-1].replace(".txt","")
     
157.     #在文件名的每个字符键添加标记符
     
158.     pattern = re.compile('.{1,1}')
     0 M+ I9 z( j2 b& D1 h- M+ l
159.     matchCharList=pattern.findall(name)
     
160.     nameMaked="<@>".join(matchCharList)
     7 S  N9 ^5 I1 x
161.     #生成标题部分
     
162.     txtTitle=nameMaked+"\n"
     " D' f4 H4 Y( p& ^# v# q4 C
163.     #读入文件
     6 S$ N) P0 x% n& ^# E: A0 {
164.     txtContent=readTxt(fileName)            
     
165.     #替换正文中的特殊字符
     8 m  Y# }2 H4 ]  C
166.     strList=["\n","<br>"]   
     
167.     for ch in strList:
     
168.         txtContent=txtContent.replace(ch,"<BR>")
     ) Y7 m! U9 A7 U8 X  V: ~& E! S4 p
169.     #合成整个词条的内容
     ) Q0 _( H) ^" ?7 F8 H: G$ x
170.     txt=txtTitle+txtContent+"<BR>\n</>"
     
171.     return txt
     
172. 
     5 R$ d" n/ D; ]: H
173. def mdxFormat(path,outputPath):
     . s2 e) @& X, r+ M. h
174.     '''
     
175.     func:格式化文本
     
176.     :param path:待格式化文本的路径
     
177.     :param outputPath:输出的路径和文件名
     
178.     '''
     
179.     fileList=getFileListAll(path)#获取指定目录下的全部文件，包括子目录中的文件
     
180.     nameList=getfileName(fileList)
     2 Y4 W2 b) F: u  s+ W' @
181.     if isTxts(nameList):
     
182.         if showDupFile(nameList):#如果没有重复文件
     
183.             print("找到了{0:}个txt文档，".format(len(nameList)))
     
184. 
     ' v9 X0 t6 J+ F, ^' }
185.             print("开始格式化、合并文档：")
     
186.             count=0#txt文档数量统计
     ) U! z& I0 n3 S
187.             txtList=[]#存储文件内容
     
188.             for fileName in fileList:               
     ( H* k" @! U8 R& K
189.                 txt=formatText(fileName) #转换换行和<br>为<BR>                  
     
190.                 txtList.append(txt)
     2 T, `. ], _+ f$ \# g8 ?7 `$ d
191.                 count+=1
     0 x8 N5 t) Q5 [3 |, P0 j& f
192.                 print("\r已完成第{0: ^6}个".format(count),end="")                  
     
193.             txt="\n".join(txtList)
     $ k. A- d7 e2 O8 [. r
194.             
     
195.             #添加超链接
     
196.             txt=formatTxtHref(nameList,txt)
     
197.             print("开始写入文本，")
     . G5 \. B& ^4 M! L
198.             if writeTxt(txt,outputPath):
     
199.                 print("文件合并输出成功！")
     + x4 h& e8 l4 C! Y' Z& r' D
200.             else:
     5 v5 C+ j9 D; K4 B
201.                 print("Error:Merge!")
     
202.                 return  
     
203.                
     
204. def main():
     
205.     timeStart = time.time()
     5 e4 U, F$ D6 ^- t
206. 
     
207. 
     * X4 `5 ^- L$ [; X1 s
208. 
     
209.     path=r"/Users/vivian/Downloads/mdxFormat_upload_V3.5/test"
     : x. }1 b( h$ N- L% m5 M
210.    
     . L; ^, z+ ^! G7 R
211.     outputPath=r"/Users/vivian/Downloads/mdxFormat_upload_V3.5/output/demo.txt"
     : ^2 k/ w8 t3 W" [5 l/ V0 E2 K
212.    
     
213.     mdxFormat(path,outputPath)
     
214. 
     
215.     timeEnd = time.time()
     
216.     print("程序运行了%d秒"%(timeEnd-timeStart))
     
217. 
     " u: g& V1 ~# J! K5 O/ B
218. if __name__ == '__main__':
     
219.     main()
     

复制代码

muyuzhth0

漫步云海涧 发表于 2021-10-7 07:59
9 J& b' A+ A) n! t: h9 b" [% l好的！！  麻烦了

% v$ @+ n) P" t你修改了哪条?

muyuzhth0

漫步云海涧 发表于 2021-10-7 07:59
0 T. j" v: {, @$ V好的！！  麻烦了

3 V8 c4 m- S. c3 |path=r"/Users/vivian/Downloads/mdxFormat_upload_V3.5/test"
outputPath=r"/Users/vivian/Downloads/mdxFormat_upload_V3.5/output/demo.txt"
这两条有问题吧，应该是下面这个格式
! y. H6 b0 R5 |6 Z* J5 x9 l8 \9 @r"D:\U盘同步\百科\00txt词条汇总"

漫步云海涧

muyuzhth0 发表于 2021-10-7 21:48
path=r"/Users/vivian/Downloads/mdxFormat_upload_V3.5/test"
9 e+ ?) Y4 x! p: P: \' i6 A1 u3 HoutputPath=r"/Users/vivian/Downloads/md ...

$ i: N) @$ y! O! m6 w, K$ `6 Z5 C我用的是mac电脑， path 是放的存放txt词条的目录 ， outputpath 是输出的txt文件

lixiaoshun

弄个windows操作界面该多好

muyuzhth0

lixiaoshun 发表于 2022-2-18 10:09
2 r5 |! x! N' p8 e0 _1 S" |弄个windows操作界面该多好

6 C! P$ Q3 z# E" v7 R1 Ssorry！算法还不完善，需要的人也不多，空闲时间比较少....暂时没有写GUI的打算