写了个小脚本自动做 / 短语拆分

henices

% K& S! F6 L. N- [简单处理一下，没有处理单词重复出现问题。能够应付 / 多次出现的情况。
8 `5 k; }- _+ k. z8 C5 z* [6 P
; s& `* |( ?; b" k- l5 u

1. #! /usr/bin/python
   
2. 
   . w+ b* S5 F5 Q' m
3. import sys
   
4. import logging
   
5. 
   6 v1 x) V6 f/ o" H+ o
6. def find_node(s):
   ) l, F& l1 q& E5 z3 [! d4 n$ _, Q. K
7.     graph = {}
   ! N' g! J7 ?3 o! g5 c* z+ e
8.     for i in s.split(' '):
   
9.         for j in i.split('/'):
   6 O3 {4 i( A" o4 ^) S' O* V
10.             if j not in graph:
    0 m7 I# v. Q) h- Z; m
11.                 graph[j] = []
    : E# H7 O( Y2 _6 `% u- v, N/ B
12.             else:
    / z# {2 H1 x$ Y" U# h$ q
13.                 return None
    / n3 _4 n0 ]7 N6 X; h
14.     return graph
    
15.    
    & I1 e) V4 |# k2 }
16. def find_edge(s, graph):
    
17. 
    
18.     l = s.split(' ')
    4 `9 R7 _- W5 C& T8 D
19.     for i in xrange(len(l)-1):
    
20.         if '/' not in l[i + 1]:
    ! c; i/ N. t/ K) A, T4 L. E
21.             for j in l[i].split('/'):
    7 m" D; c0 ^4 y% w! ~$ P  W8 ]3 D; K! S
22.                 graph[j].append(l[i + 1])
    
23.         else:
    
24.             for m in l[i + 1].split('/'):
    , j7 B# q9 W; H+ d, }  o- Q
25.                 for n in l[i].split('/'):
    
26.                     graph[n].append(m)
    : H3 C/ G/ h: M  w$ }' ]+ [
27.     return graph
    7 I& V2 j9 G. ]
28. 
    7 n* M+ P$ q0 ^6 j* N; j7 l; o0 Y
29. 
    
30. 
    9 V  c1 Z% F6 O' ?/ {; n' _& ?7 X
31. def find_path(start, graph, path=[], paths=[]):
    
32. 
    
33.     path = path + [start]
    
34.     if not graph.has_key(start):
    " e* N% X2 |2 X' g' B3 r+ N) E
35.         return None
    % }1 u' w- l4 T* X+ A( x
36. 
    1 o. `4 _; o" e2 c
37.     if graph[start] == []:
    $ I3 B: S( b0 e7 f
38.         return path
    2 D* R3 I/ ]' @" ~. E  ~2 P  l
39. 
    : S/ f7 ]/ S/ o" y6 y) l0 d
40.     for i in graph[start]:
    * W/ o; p7 f7 j3 B* K$ V
41.         newpath = find_path(i, graph, path, paths)
    - q+ P/ R' \& s
42.         if newpath:
    3 X2 H  Z$ F- k( ^4 ?
43.             paths.append(newpath)
    ( ~/ r5 J- S2 ]+ I
44. 
    * _  P  X0 e. h1 ^. c/ Z
45.     return None
    7 r* ?$ ^7 a" B# k% z
46. 
    ! ~. [9 \) }! C% V1 Z
47. out_fd = open('lnk.mdict', 'w')
    7 Z. u% C' _, f6 i  N
48. 
    % T# I* o) f5 g$ [( l
49. with open(sys.argv[1], 'r') as f:
    2 n/ ?6 Z: N3 [: j" I
50.     for line in f:
    0 U& T. e$ a3 S) y6 W
51.         line_ = line.strip()
    2 g+ r! t" Y  b8 g6 x3 Y& z5 x* |
52.         g = find_node(line_)
    9 O) N9 S+ L/ ]$ d
53.         if not g:
    
54.             print '[ERR]: ', line_
    % b) R. N1 ^: L* h$ {1 e1 k
55.             continue
    % m2 t( K3 G) w$ S- q
56. 
    7 A, r0 S2 {  \2 r+ d8 w# r
57.         if len(line_.split(' ')) == 1:
    * e7 k" T2 R0 S! X
58.             print '[ERR]: ', line_
    
59.             continue
    : c5 G4 t% k- ~& T$ d
60. 
    
61.         logging.debug('[OK]: %s' % line_)
    
62. 
    
63.         g = find_edge(line_, g)
    + K  c2 ^- o, i$ v6 ]
64. 
    
65.         for i in line_.split(' ')[0].split('/'):
    7 Q2 J4 g0 ?0 m. f, J- C
66.             paths = []
    - E( C& r6 Z/ P4 K8 U2 S
67.             find_path(i, g, [], paths)
    
68.             logging.debug(paths)
    ! v( C; `, P& }/ g! Y
69. 
    * D# ~7 x, M3 K. R
70.             for path in paths:
    
71.                 out_fd.write(' '.join(path) + "\n")
    7 a; x# e  Z  R" @+ U9 |6 {6 O7 m
72.                 out_fd.write('@@@LINK=%s\n' % line_)
    3 `. p4 B7 Y( ?
73.                 out_fd.write('</>\n')
    
74. 
    $ ?3 f' z" `% G' k( M  y
75. out_fd.close()

复制代码

; s) a9 I0 B) ~; y1 t, s7 a

游客，本帖隐藏的内容需要积分高于 200 才可浏览，您当前积分为 0

喬治兄

henices 兄:
& O% M3 ^2 R/ x* r; a. b       短语拆分的程式能否提供txt file
复制代码 實在太多亂碼
謝謝喔

fuyouyu

这个不靠谱吧，拆分问题基本上只能手工操作，充其量能根据个别搭配定向操作，否则一定误伤太多。

henices

fuyouyu 发表于 2018-1-5 11:32
1 e3 G& o9 x' m. _% L9 H& t* T这个不靠谱吧，拆分问题基本上只能手工操作，充其量能根据个别搭配定向操作，否则一定误伤太多。 ...

很多特定情况是可以自动处理的，但是有些情况确实是只能手工操作。

fuyouyu

henices 发表于 2018-1-5 14:01
很多特定情况是可以自动处理的，但是有些情况确实是只能手工操作。

# R6 x  d7 Y+ r; z
如果只是为了满足查得率，倒也无可厚非，但对于我这种有强迫症的人就接受不了。一般只好用正则一个一个来。曾经试图拆分H大的21，结果因为太复杂而放弃。

henices

fuyouyu 发表于 2018-1-5 14:58
如果只是为了满足查得率，倒也无可厚非，但对于我这种有强迫症的人就接受不了。一般只好用正则一个一个来 ...

我实现了一个很复杂的算法最终把这个任务基本完成了，但是有存在拆错的情况，
但是主要是为了查得率 ，现在我基本已经不太追求查得率了。
+ F* E$ y9 ~, B7 f. T2 k/ ?5 }
. a9 X6 _4 V/ }& B# E& @" C$ P就像 eatingfish 所说，到相关词条查找内容是一种基本能力。

henices

喬治兄 发表于 2018-1-5 01:23
henices 兄:
       短语拆分的程式能否提供txt file
9 V" D4 ]1 @: M  w复制代码 實在太多亂碼

) I4 J0 {. N: V" c已經提供，代碼寫的太亂，無怪。

喬治兄

henices 发表于 2018-1-5 17:33
; [9 R( O% A. R4 R已經提供，代碼寫的太亂，無怪。

/ J2 F1 @9 M. Phenices 兄:
  A+ ^3 D7 ^: I  Y. A1 I) D          Thanks a lot, "已經提供，代碼寫的太亂，無怪。" It's ok, very good