通过Python分析日语单词中音调类型的比例

enjoy了哦

通过调查日语单词中音调类型的比例，可以得出一些结论，方便记忆单词本身和其后续助词的音调。

: A* O; u$ P0 k+ ^8 ~0 O原始数据：新明解国语辞典第5版（EPWING格式）
首先通过 EBDump 打开该EPWING格式词典的文件夹的 HONMON 文件，导出其中的“前方一致表記形見出し”部分，选择全部的1412个block。


* w! V! P0 k1 v导出后，将该文件转码成 UTF-8 格式，并使用正则表达式替换部分内容，使其容易被后续分析处理。

. ?( A  R: W' B9 `
- X3 p% _; T4 |为统计尾高型音调，需要知道每个单词的拍数。由于拗音占有两个字符，但只算一拍，为了方便统计，将其中的小的[ゃ][ゅ][ょ] 及对应的片假名（还有小的[ア][イ][ウ][エ][オ]等，外来词专用音节）去掉，即[きゃ][きゅ][きょ]中后面那个字符。这样一来，拍数就等于字符数了。
" j5 o4 r; |8 b( t6 Z
! S9 p+ g' @6 g最终的经过清洗的“干净”的数据如下所示，根据个人的习惯进行处理：

" E' j$ Z( f" E
然后可以通过 Python 进行统计，一个单词可能有多个音调，但只统计第一个音调（稍微改动源码可以统计所有的音调）。这个代码可以用来明白大致的统计思路，后续还有写零碎的更改，并没有体现在这里面。
- z( _; U- P* ~$ e1 m

1. #!/usr/bin/env        python
   
2. #_*_        coding:utf-8        _*_
   
3. 
   
4. import sys,os
   $ z  Q5 n# N' B2 D3 Q0 I+ e
5. import numpy as np
   
6. 
   
7. # 带有音调标记的词汇数目
   
8. all_entry = 0
   : ], G  x  H. n
9. 
   . n, H: g( `3 H  `2 A* K
10. # 平板型,[0]
    
11. entry_0 = [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0]
    - w/ L) Y* m4 d, D, B: r4 n& ]- ?
12. 
    8 S3 d7 U& l3 u: \
13. # 头高型,[1]
      }- D; @4 ^; K' R
14. entry_1 = [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0]
    5 \9 {* h% D0 D; J" X
15. 
    
16. # 尾高型,[x] = 拍数
    
17. entry_last_high = [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0]
    
18. 
    
19. # 中高型,[x] < 拍数
    + J: i" M- O6 Z: m  I9 ^) n3 ^7 ^
20. entry_middle = [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0]
      h5 }* G# Q6 S0 r
21. 
    
22. file_name = sys.argv[1]
    
23. f = open(file_name,'rb')
    
24. for line in f:
    
25.         line = line.replace(b"\r\n",b"")
    
26.         line = line.decode()
    6 }% e. R1 y8 W; w2 u7 I, e8 k1 @
27.         db = line.split(',')
    
28.         word_len = len(db[0])
    9 @" d. J6 a4 g9 a! E9 e( z' `/ `
29.         if word_len < 16:
    ( h& M7 r# d! ^( I7 y
30.                 all_entry = all_entry + 1
    3 W# I2 J0 C; Y# B) z8 R8 Q3 P
31.                 for i in range(1,len(db)):
    
32.                         accent = db[i]
    , S' l" F" S) j# _! w
33.                         if accent.startswith('['):
    2 T9 k* r3 _" n2 k5 j1 W
34.                                 integer = int(accent[1])
    
35.                                 if integer == 0:
    
36.                                         entry_0[word_len] = entry_0[word_len] + 1
    
37.                                 elif integer == 1:
    ) [- w" M6 F$ A4 C& S
38.                                         entry_1[word_len] = entry_1[word_len] + 1
    8 `8 c. {, @1 l, b0 z
39.                                 elif integer == word_len:
    5 l/ m) `  y$ t  J  I
40.                                         entry_last_high[word_len] = entry_last_high[word_len] + 1
    ; L2 R4 i5 ^( a. [( C# x/ Z2 I
41.                                 else:
    
42.                                         entry_middle[word_len] = entry_middle[word_len] + 1
    
43.                                 break
      L5 W, C: \  u
44. 
    
45. print('[0]:')
    , w! v2 n( k" ^3 b
46. for i in range(1,len(entry_0)):
    7 S! P& }7 @" E
47.         print('%d' % (entry_0[i]))
    5 B' q8 `8 _2 {% D4 U. n
48. print('entries: %d' % np.sum(entry_0))
    
49. print('\n')
    
50. 
    
51. print('[1]:')
    
52. for i in range(1,len(entry_1)):
    
53.         print('%d' % (entry_1[i]))
      l# k, w: B4 p$ u- V
54. print('entries: %d' % np.sum(entry_1))
    
55. print('\n')
    $ w( W; R/ e5 T
56. 
    
57. print('middle high:')
    & }) j# Q7 M4 w- ?6 Y
58. for i in range(1,len(entry_middle)):
    
59.         print('%d' % (entry_middle[i]))
    2 {- \  S5 D- g5 F8 e& ~3 p$ [
60. print('entries: %d' % np.sum(entry_middle))
    
61. print('\n')
    , z; ~0 W. Y/ ~- k
62. 
    
63. print('last high:')
    9 n9 J0 W+ m5 A
64. for i in range(1,len(entry_last_high)):
    ) e7 c' O2 X2 \$ t
65.         print('%d' % (entry_last_high[i]))
    
66. print('entries: %d' % np.sum(entry_last_high))
    3 p) w5 e5 y  q$ v1 q+ u
67. print('\n')
    
68. 
    4 C9 w! L$ C! a) m; i3 }
69. print('all entries:')
    7 k' V: D$ z4 D( {; L
70. print(all_entry)
    
71. 
      v( N7 X! f: U& x% `3 E
72. f.close()

复制代码

0 e4 Q, ?" K* ]& H# R
3 G" m- b9 y3 E8 b, \: [6 C: ]8 [+ B最后将 Python 输出结果进行数据可视化：
: I7 c, A7 n+ j. Z2 t9 y% w



4 V% u8 \' N" C以及饼图：

9 {$ P2 x* E; b2 ~) A3 q
" X4 W) ^" c, ]! f9 ]可以得出几个结论：
1. 尾高型的单词很少（约2%，大部分在2拍和3拍的单词上，2拍和3拍五五开，总共约1300个单词（在7万多个单词中）。
" `7 a" s1 _5 ]  U$ B* i2. 头高型的单词次少（约17%），主要集中在3拍的单词上（约51%），2拍和4拍都约占20%左右。
. ?2 b5 w4 T6 l8 t% ?3. 日语中4拍的单词最多（约42%），并且相当一部分（约72%）是平板型。这和新标日中入门单元里，“声调和语调”部分中“声调”小节里的解说是一样的。
9 O9 L6 m# W8 E" E4. 记忆平板型和尾高型的单词时，单词本身发音规律相同，都是前低后高，但后接的助词音调不同，不好记忆。但通过上述统计，可以这么做：（两拍以上）尾高型的单词单独记忆后续助词的音调，其后续助词的音调总是低的，而在一般情况下，一个单词（两拍以上）后接的助词的音调（高或低）和该单词的最后一拍是相同的。一拍的单词完全不符合这个“一般情况”，只需要记住这一拍本身是低还是高，再根据“一个单词中第一拍和第二拍音调必定不同”来确定助词音调。单词本身的音调则通过多听、多用以形成固定的记忆。
5 @3 C7 U' c! b
8 L5 V: K0 s: m) _; D
0 d$ l7 Q7 m/ ^( ]" F; t



6 W0 ^/ i: P6 s; @
2 i7 ]* W/ q* n& Z9 K4 W0 [& Q- P

enjoy了哦

kriskr 发表于 2019-3-24 00:48
; p5 g5 l+ E4 v3 B想问下楼主ebdump导出后如何转码为utf8 为什么我转码后，是乱码，求赐教，是需要一些python改动吗 ...

: m5 t2 m/ J8 d3 E& ~文本编辑我一般用 notepad++，开源又好用。其中的 Encoding 菜单中有个Convert to UTF-8，可以转码。
+ n5 n7 [) q9 D  l5 z( C2 z) h
在正则表达式替换的过程中，做了如下处理：
1. 删除了多个单词组成的条目。这种条目分别对每一个组成单词都标注了音调。
2. 声调类型统计只统计0-9,10及以上不统计。
3. 拍数在16拍及以上的不统计。
+ `' p. ^7 J& K" b以及一些细微的调整。

5 u$ f. a: K# U4 `, o5 X2 z! q因为各人处理的方法不同，你最终得出的统计结果可能和我不太一样。

kapan000

" M5 f% H6 Q/ y% b/ Z' k
) R$ P0 C, J1 j请教几个问题
% j2 u  M# ]( s  Y+ _1、新明解单词数较少，可否统计下超级大辞林？
2、统计饼图，可否给出所占比例和数量。这样更好看点。
3、可否给出统计的xls？我想再算下，10拍以内，各拍那个声调多一点及其比例

' |: L% n& n. N* x. U8 M没想到0声单词这么多
我一直认为2,3,4...这类最多

enjoy了哦

kapan000 发表于 2019-3-23 22:43
1 A" V" d( J3 l6 ^' i+ _; C9 e; M  n9 a请教几个问题
1、新明解单词数较少，可否统计下超级大辞林？
2、统计饼图，可否给出所占比例和数量。这样更 ...

我觉得统计超级大辞林没有必要。原因有以下几点：
/ q6 U. T" g9 n1 b5 m7 y5 y: S+ r1. 新明解已经收录了常用单词，这个统计是用来指导记忆声调的，对常用7万单词的统计我觉得真的已经足够了。
2. 要对超级大辞林进行数据清洗是非常麻烦的。其中的百科词条等，也不太常用。
3. 超级大辞林中的大量片假名词语（外来词等），其声调相比常用和语、汉语词汇，没有那么固定。如果将其纳入统计，我觉得并不具有代表性。
4. 对于超级大辞林中古语的声调，我觉得统计了也没有什么代表性，我学现代日语就已经够呛了。

学日语真心推荐新明解，你可能觉得它收词量小，但是它还告诉你词汇的用法，一些有用的信息等。

这个EPWING版的新明解好像是通过别的格式转来的，里面有很多东西没转对，问题有点大，最好不要用。

kapan000

* V5 w4 V+ `4 \# e) X( }1 d

enjoy了哦 发表于 2019-3-23 23:12
  s1 a3 a9 B6 k我觉得统计超级大辞林没有必要。原因有以下几点：
2 y7 F  s/ ^; M' p" V7 M1. 新明解已经收录了常用单词，这个统计是用来指导记忆 ...

( e' z) V/ A% O" \非常感谢。请问下，这个统计是全部单词？是否包含了片假名单词？
" p, g( h* W+ z2 g: p! u6 j
如果可以的话，能否再统计以下3个纬度
) w* Q# L1 f* j3 d& ^这样就更细化，明白了
纯片假名
有汉字的
纯平假名的，即完全无汉字的
# h. y  [  d: t& K# U0 N5 C! A
谢谢

kriskr

想问下楼主ebdump导出后如何转码为utf8 为什么我转码后，是乱码，求赐教，是需要一些python改动吗

f2st

想问下楼主ebdump导出后如何转码为utf8 为什么我转码后，是乱码，求赐教，是需要一些python改动吗

f2st

求导出的txt

takeko

太厉害了