写了个小脚本自动做 / 短语拆分

henices

" v. M; P( h/ k  p1 O+ ?& E( q9 h* G" _
- j+ @' N+ o! j# B简单处理一下，没有处理单词重复出现问题。能够应付 / 多次出现的情况。

1. #! /usr/bin/python
   ( @( J( x+ F" m! R% X" h
2. 
   
3. import sys
   & G& F9 |0 t5 }9 a# D3 ?) b; w9 G
4. import logging
   4 {2 A: R% T4 @2 a: X
5. 
   2 d( g2 c( p$ u* v4 K3 t1 }4 ^
6. def find_node(s):
   
7.     graph = {}
   - ]2 e4 \) v3 G. X, t; O/ A$ R* P% R
8.     for i in s.split(' '):
   
9.         for j in i.split('/'):
   7 G0 x1 A+ x# j* ?3 H& ]0 w: t9 ~
10.             if j not in graph:
    
11.                 graph[j] = []
    
12.             else:
    
13.                 return None
    + |0 t8 N3 B( j
14.     return graph
    
15.    
    
16. def find_edge(s, graph):
    
17. 
    % O+ S4 \9 x8 M# \. N6 g* V4 O
18.     l = s.split(' ')
    
19.     for i in xrange(len(l)-1):
    
20.         if '/' not in l[i + 1]:
    ; S. S- ~* M, Q$ R, F6 o- Q
21.             for j in l[i].split('/'):
    
22.                 graph[j].append(l[i + 1])
    7 O- H/ Q( V! o' E8 \' k+ M
23.         else:
    
24.             for m in l[i + 1].split('/'):
    3 ]) e' Y+ z, z" l8 N! T3 [1 w) t
25.                 for n in l[i].split('/'):
    
26.                     graph[n].append(m)
    
27.     return graph
    
28. 
    ! ^: [8 w5 D: t9 ]9 [( b
29. 
    4 w: f, e& ^6 L
30. 
    & R  b4 V+ I/ g
31. def find_path(start, graph, path=[], paths=[]):
    
32. 
    
33.     path = path + [start]
    
34.     if not graph.has_key(start):
    
35.         return None
    # E2 y" d; X/ X2 m4 b
36. 
      T7 q% J  l: M3 o4 M
37.     if graph[start] == []:
    $ r8 T; g2 ?6 C2 J/ X) x
38.         return path
    5 `) S4 M/ Q  q. p" x; W
39. 
    
40.     for i in graph[start]:
    , L9 C0 k6 R6 W/ Z
41.         newpath = find_path(i, graph, path, paths)
    ! `) c3 N3 ^6 Z4 j4 q
42.         if newpath:
    
43.             paths.append(newpath)
    
44. 
    5 S: F# }" P  R6 ~* e5 f
45.     return None
    
46. 
    
47. out_fd = open('lnk.mdict', 'w')
      |7 ?8 B  @0 k
48. 
    $ S" b' g- v: R8 v$ m
49. with open(sys.argv[1], 'r') as f:
    9 I% p2 _4 O) i6 A* F
50.     for line in f:
    6 z5 G& A- X& p
51.         line_ = line.strip()
    + o6 P$ f  h* V+ j4 c
52.         g = find_node(line_)
    ' u6 d% ^; f8 T. e! S+ ^
53.         if not g:
    * c9 @# b# L! j
54.             print '[ERR]: ', line_
    
55.             continue
    
56. 
    
57.         if len(line_.split(' ')) == 1:
    
58.             print '[ERR]: ', line_
    ! k: e3 b  Z# T' K% N1 z
59.             continue
    
60. 
    : y; w# X+ f" B* j+ b- A9 T  U# A
61.         logging.debug('[OK]: %s' % line_)
    3 Q# \/ i1 u; x! z; k/ X
62. 
    
63.         g = find_edge(line_, g)
    ' b' Y6 R: T6 l  m8 s$ J* J. f) X
64. 
    " s9 S; b% ]8 H$ S$ e
65.         for i in line_.split(' ')[0].split('/'):
    ( y1 X  v& |0 H* a# V- }0 q
66.             paths = []
    
67.             find_path(i, g, [], paths)
    
68.             logging.debug(paths)
    6 t2 A! D* R9 Y: u
69. 
    . F- a& P/ v1 A* m6 b2 H1 X1 K
70.             for path in paths:
    
71.                 out_fd.write(' '.join(path) + "\n")
    , U( n( j. c* V: ~# N% o
72.                 out_fd.write('@@@LINK=%s\n' % line_)
    / i4 S& s6 r: r( b9 J
73.                 out_fd.write('</>\n')
    
74. 
    : {0 P2 y' M( P. b3 D- C
75. out_fd.close()

复制代码

7 m2 N; X% F+ {- g0 l

游客，本帖隐藏的内容需要积分高于 200 才可浏览，您当前积分为 0

喬治兄

henices 兄:
  b9 v! \6 D" R5 C. Z: r- T* w       短语拆分的程式能否提供txt file
复制代码 實在太多亂碼
9 l" T/ T3 ]6 T: X謝謝喔

fuyouyu

这个不靠谱吧，拆分问题基本上只能手工操作，充其量能根据个别搭配定向操作，否则一定误伤太多。

henices

fuyouyu 发表于 2018-1-5 11:32
: E4 \+ C: _9 k- d! \这个不靠谱吧，拆分问题基本上只能手工操作，充其量能根据个别搭配定向操作，否则一定误伤太多。 ...

很多特定情况是可以自动处理的，但是有些情况确实是只能手工操作。

fuyouyu

( Q5 a4 j2 K' p' |$ e

henices 发表于 2018-1-5 14:01
很多特定情况是可以自动处理的，但是有些情况确实是只能手工操作。

' P) U( v$ t5 w4 Z3 x2 t如果只是为了满足查得率，倒也无可厚非，但对于我这种有强迫症的人就接受不了。一般只好用正则一个一个来。曾经试图拆分H大的21，结果因为太复杂而放弃。

henices

fuyouyu 发表于 2018-1-5 14:58
0 ?6 s4 H5 P. g4 V7 Q' {/ N' ^如果只是为了满足查得率，倒也无可厚非，但对于我这种有强迫症的人就接受不了。一般只好用正则一个一个来 ...

3 X& x" ]2 `$ i8 Q  [4 ^3 s- Y; r我实现了一个很复杂的算法最终把这个任务基本完成了，但是有存在拆错的情况，
$ p! @7 Y+ S9 l- {但是主要是为了查得率 ，现在我基本已经不太追求查得率了。
. Y) Q+ V( L( s: R/ N. }+ `2 M
! m$ W, X* w; J# D, J  _! K就像 eatingfish 所说，到相关词条查找内容是一种基本能力。

henices

喬治兄 发表于 2018-1-5 01:23
henices 兄:
! e( L8 j5 ]" G* k: b5 B       短语拆分的程式能否提供txt file
复制代码 實在太多亂碼

5 }, o3 X6 K9 E: ?9 g已經提供，代碼寫的太亂，無怪。

喬治兄

henices 发表于 2018-1-5 17:33
已經提供，代碼寫的太亂，無怪。

8 k1 G' n) {- c* ?1 ^% mhenices 兄:
& Z! ?; u# @3 C+ x- J' \2 j, B          Thanks a lot, "已經提供，代碼寫的太亂，無怪。" It's ok, very good