写了个小脚本自动做 / 短语拆分

henices

! G, k! L" m$ ~0 y9 z简单处理一下，没有处理单词重复出现问题。能够应付 / 多次出现的情况。
5 ^1 O1 W9 n- _8 {) `' I/ D# N6 W

1. #! /usr/bin/python
   & X$ [) O1 W7 J
2. 
   
3. import sys
   
4. import logging
   : J6 [% E: h" L2 o1 s/ I7 ^3 L( E
5. 
   + D2 a# m) b3 u  v% N1 Q" p4 w  M
6. def find_node(s):
   , l0 O. k/ m& i9 @. i
7.     graph = {}
   * v% J- b0 u! D) x4 O, d2 E0 g
8.     for i in s.split(' '):
   - \7 v1 C' D2 S
9.         for j in i.split('/'):
   
10.             if j not in graph:
    
11.                 graph[j] = []
    
12.             else:
    
13.                 return None
    / e9 W# V% y9 o" A6 O9 z. y
14.     return graph
    
15.    
    
16. def find_edge(s, graph):
    + p1 a. k  s5 @3 p4 _
17. 
    
18.     l = s.split(' ')
    + G5 K7 D0 @7 A& j! g
19.     for i in xrange(len(l)-1):
    
20.         if '/' not in l[i + 1]:
    + _* c+ T3 B1 Q  [( p3 Y7 A
21.             for j in l[i].split('/'):
    2 n1 k6 g. J; x0 O) F4 `2 V
22.                 graph[j].append(l[i + 1])
    
23.         else:
    , f  \. E% k8 z: U5 e3 K* B
24.             for m in l[i + 1].split('/'):
    , `3 q- d9 X- L
25.                 for n in l[i].split('/'):
    1 P6 |; K+ O' ^  A8 O1 r% a
26.                     graph[n].append(m)
    
27.     return graph
    
28. 
    
29. 
    5 M& n2 o) ]# Y( t, h1 ?4 j( C
30. 
    
31. def find_path(start, graph, path=[], paths=[]):
    
32. 
    
33.     path = path + [start]
    * h0 i, [7 W! ^! l
34.     if not graph.has_key(start):
    9 ~! A$ P2 P% Y$ m8 z$ A+ S8 ]
35.         return None
    - N- N0 m* k0 }! j4 S3 `
36. 
    
37.     if graph[start] == []:
    
38.         return path
    9 J" H$ Q# g% A7 {& u9 A
39. 
    
40.     for i in graph[start]:
    
41.         newpath = find_path(i, graph, path, paths)
    , X) G9 |6 P1 X( [; C/ i: V
42.         if newpath:
    
43.             paths.append(newpath)
    ( i. P+ V3 }" a) r, Z, ], G1 }
44. 
    - O/ a1 J( }! k
45.     return None
    
46. 
    
47. out_fd = open('lnk.mdict', 'w')
    
48. 
    
49. with open(sys.argv[1], 'r') as f:
    
50.     for line in f:
    
51.         line_ = line.strip()
    * S. J; N1 v( _4 s
52.         g = find_node(line_)
    " F: t/ s# e" n( d/ }
53.         if not g:
    
54.             print '[ERR]: ', line_
    
55.             continue
    
56. 
    2 {' f' ?2 K9 M* q+ H1 t8 Y
57.         if len(line_.split(' ')) == 1:
    
58.             print '[ERR]: ', line_
    
59.             continue
    + Z0 o+ g! y" K( i$ \* F$ C
60. 
    , O' z( ^! \2 u% x! r0 n6 R  |
61.         logging.debug('[OK]: %s' % line_)
    1 p0 h' F, ~5 e1 w+ b* @5 X* i$ _
62. 
    ; `1 f. {6 ?1 E3 |, l; ~; x' E
63.         g = find_edge(line_, g)
    / T8 X- f3 \; Y$ l
64. 
    
65.         for i in line_.split(' ')[0].split('/'):
    
66.             paths = []
    / m) M( k3 V# [% c
67.             find_path(i, g, [], paths)
    7 Y+ U+ p* |  j* J3 H2 u
68.             logging.debug(paths)
    6 o8 h+ W7 g. \) K2 {) }+ @
69. 
    
70.             for path in paths:
    3 \3 }3 Z  ~  t1 |
71.                 out_fd.write(' '.join(path) + "\n")
    
72.                 out_fd.write('@@@LINK=%s\n' % line_)
    6 m1 t& e" b! n3 S( P
73.                 out_fd.write('</>\n')
    9 z' t) b$ h+ }# {
74. 
    1 p- p- h1 W( n; |' Y: V
75. out_fd.close()

复制代码

% x* u: O/ I! f$ y# o# L& t: ~3 d; e% B

游客，本帖隐藏的内容需要积分高于 200 才可浏览，您当前积分为 0

喬治兄

henices 兄:
       短语拆分的程式能否提供txt file
复制代码 實在太多亂碼
謝謝喔

fuyouyu

这个不靠谱吧，拆分问题基本上只能手工操作，充其量能根据个别搭配定向操作，否则一定误伤太多。

henices

fuyouyu 发表于 2018-1-5 11:32
这个不靠谱吧，拆分问题基本上只能手工操作，充其量能根据个别搭配定向操作，否则一定误伤太多。 ...

很多特定情况是可以自动处理的，但是有些情况确实是只能手工操作。

fuyouyu

henices 发表于 2018-1-5 14:01
" w, J( V5 R9 J8 o( _很多特定情况是可以自动处理的，但是有些情况确实是只能手工操作。

. \* r1 [; x& i- A- d
如果只是为了满足查得率，倒也无可厚非，但对于我这种有强迫症的人就接受不了。一般只好用正则一个一个来。曾经试图拆分H大的21，结果因为太复杂而放弃。

henices

fuyouyu 发表于 2018-1-5 14:58
如果只是为了满足查得率，倒也无可厚非，但对于我这种有强迫症的人就接受不了。一般只好用正则一个一个来 ...

我实现了一个很复杂的算法最终把这个任务基本完成了，但是有存在拆错的情况，
' {8 f- @% ?; G1 S/ R# j3 p" i但是主要是为了查得率 ，现在我基本已经不太追求查得率了。

就像 eatingfish 所说，到相关词条查找内容是一种基本能力。

henices

喬治兄 发表于 2018-1-5 01:23
- Y7 t/ j7 t7 a1 y' B8 f7 Bhenices 兄:
       短语拆分的程式能否提供txt file
复制代码 實在太多亂碼

已經提供，代碼寫的太亂，無怪。

喬治兄

henices 发表于 2018-1-5 17:33
已經提供，代碼寫的太亂，無怪。

henices 兄:
          Thanks a lot, "已經提供，代碼寫的太亂，無怪。" It's ok, very good