通过Python分析日语单词中音调类型的比例

enjoy了哦

通过调查日语单词中音调类型的比例，可以得出一些结论，方便记忆单词本身和其后续助词的音调。

原始数据：新明解国语辞典第5版（EPWING格式）
首先通过 EBDump 打开该EPWING格式词典的文件夹的 HONMON 文件，导出其中的“前方一致表記形見出し”部分，选择全部的1412个block。

6 s* C' @. v) J) k
: ^. I' w2 E8 E# n& O" y! H( ]  y导出后，将该文件转码成 UTF-8 格式，并使用正则表达式替换部分内容，使其容易被后续分析处理。

- e6 ?% ]8 D# N
3 G  F5 U# q" |- r/ \1 m; ]9 U8 z- I为统计尾高型音调，需要知道每个单词的拍数。由于拗音占有两个字符，但只算一拍，为了方便统计，将其中的小的[ゃ][ゅ][ょ] 及对应的片假名（还有小的[ア][イ][ウ][エ][オ]等，外来词专用音节）去掉，即[きゃ][きゅ][きょ]中后面那个字符。这样一来，拍数就等于字符数了。

最终的经过清洗的“干净”的数据如下所示，根据个人的习惯进行处理：
6 Z& Q5 R, |( X7 x7 {3 k0 l- s
$ h: {$ x6 M& ~: f6 l
. M7 u" R. g- x- A" v6 h然后可以通过 Python 进行统计，一个单词可能有多个音调，但只统计第一个音调（稍微改动源码可以统计所有的音调）。这个代码可以用来明白大致的统计思路，后续还有写零碎的更改，并没有体现在这里面。
5 B' f3 G  S2 y9 P3 k/ E5 Y

1. #!/usr/bin/env        python
   % b( }) b& |3 i0 \
2. #_*_        coding:utf-8        _*_
   
3. 
   
4. import sys,os
   ! @2 b4 P0 G- ]. K) \
5. import numpy as np
   
6. 
   
7. # 带有音调标记的词汇数目
   - Z( K* H7 i+ R: r4 F
8. all_entry = 0
   & \, t' f/ _* \) i2 b2 Y# D* G4 n
9. 
   & L! V) [) B* A) P* h& F
10. # 平板型,[0]
    ' x+ i& g; A3 X4 K
11. entry_0 = [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0]
    
12. 
    
13. # 头高型,[1]
    0 {. K2 b* b9 y3 W% {1 ^
14. entry_1 = [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0]
    
15. 
    
16. # 尾高型,[x] = 拍数
    
17. entry_last_high = [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0]
    
18. 
    
19. # 中高型,[x] < 拍数
    # T: Z6 @) e; V: c3 p( a" ]
20. entry_middle = [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0]
    
21. 
    
22. file_name = sys.argv[1]
    
23. f = open(file_name,'rb')
    . l2 D1 f" p& d. C
24. for line in f:
    " B# u2 p9 ^4 W5 a
25.         line = line.replace(b"\r\n",b"")
    
26.         line = line.decode()
    * z# H" J, E  ^" h4 Z2 w
27.         db = line.split(',')
    
28.         word_len = len(db[0])
    
29.         if word_len < 16:
    ! `) b" X# L# [0 X9 C/ V; x
30.                 all_entry = all_entry + 1
    
31.                 for i in range(1,len(db)):
    
32.                         accent = db[i]
    + l3 Q( _) ^, O8 G/ N8 v
33.                         if accent.startswith('['):
    
34.                                 integer = int(accent[1])
    3 C5 |3 n/ e5 {
35.                                 if integer == 0:
    
36.                                         entry_0[word_len] = entry_0[word_len] + 1
    % ~8 t% M$ e2 [( |
37.                                 elif integer == 1:
    
38.                                         entry_1[word_len] = entry_1[word_len] + 1
    
39.                                 elif integer == word_len:
    - b( t1 A/ A2 d/ I9 ~, l- R! m" z$ H
40.                                         entry_last_high[word_len] = entry_last_high[word_len] + 1
    6 `) ?( n! z) h/ \( {
41.                                 else:
    
42.                                         entry_middle[word_len] = entry_middle[word_len] + 1
    % N+ S) n, u" v! M2 {$ z
43.                                 break
    
44. 
    
45. print('[0]:')
    # f" Y2 n, w9 S  F6 r. S2 Z9 {7 m
46. for i in range(1,len(entry_0)):
    
47.         print('%d' % (entry_0[i]))
    
48. print('entries: %d' % np.sum(entry_0))
    ; ?; m' i" V# i4 _) E' C9 Q
49. print('\n')
      i! {7 {: V4 ]7 \4 }' n: |
50. 
    & N$ U% n, C, V' Z3 a
51. print('[1]:')
    1 w! P. a5 a) S4 u6 n
52. for i in range(1,len(entry_1)):
    
53.         print('%d' % (entry_1[i]))
    . \  X8 g2 }( M# M1 Z8 m6 j
54. print('entries: %d' % np.sum(entry_1))
    & C* g; b: x3 j: U, J$ S- G
55. print('\n')
    
56. 
    
57. print('middle high:')
    
58. for i in range(1,len(entry_middle)):
    
59.         print('%d' % (entry_middle[i]))
    
60. print('entries: %d' % np.sum(entry_middle))
    $ G( _1 `3 Q+ s
61. print('\n')
    / v: u8 s& k% p' L+ Y6 Z  M7 X4 Y% m& g
62. 
    - ^* t# R- j2 A1 T/ R
63. print('last high:')
    8 |* M; \/ q4 p. [1 W* R( h
64. for i in range(1,len(entry_last_high)):
    
65.         print('%d' % (entry_last_high[i]))
    
66. print('entries: %d' % np.sum(entry_last_high))
    7 w4 w# G3 i( x
67. print('\n')
    
68. 
    9 ~8 A) s& O7 p) P& P2 Q+ X: Q
69. print('all entries:')
    5 c- G# w5 G& ?4 {! C2 y/ s; g
70. print(all_entry)
    
71. 
    
72. f.close()

复制代码

+ \; R; ?5 {1 y+ ~& j
- V1 b- Y# z/ V  |) Q) q最后将 Python 输出结果进行数据可视化：
2 O$ ~. l1 C9 S" @
, O4 z) |  _+ P5 M) h


: O2 L1 b% `: J0 O0 L2 x! k9 u以及饼图：


可以得出几个结论：
1. 尾高型的单词很少（约2%，大部分在2拍和3拍的单词上，2拍和3拍五五开，总共约1300个单词（在7万多个单词中）。
2. 头高型的单词次少（约17%），主要集中在3拍的单词上（约51%），2拍和4拍都约占20%左右。
* \  Q+ k% o, Q( X4 ~3. 日语中4拍的单词最多（约42%），并且相当一部分（约72%）是平板型。这和新标日中入门单元里，“声调和语调”部分中“声调”小节里的解说是一样的。
& q5 M' w: E  R3 h: w  ~4 K$ D2 Z( @4. 记忆平板型和尾高型的单词时，单词本身发音规律相同，都是前低后高，但后接的助词音调不同，不好记忆。但通过上述统计，可以这么做：（两拍以上）尾高型的单词单独记忆后续助词的音调，其后续助词的音调总是低的，而在一般情况下，一个单词（两拍以上）后接的助词的音调（高或低）和该单词的最后一拍是相同的。一拍的单词完全不符合这个“一般情况”，只需要记住这一拍本身是低还是高，再根据“一个单词中第一拍和第二拍音调必定不同”来确定助词音调。单词本身的音调则通过多听、多用以形成固定的记忆。



4 M5 ~, U7 h, l, x4 _; ]
' X+ F! `( J! j  z. q


$ q6 A8 X2 a6 T# x7 ]* S  V

enjoy了哦

kriskr 发表于 2019-3-24 00:48
0 j- U  ?# R+ i! r" q想问下楼主ebdump导出后如何转码为utf8 为什么我转码后，是乱码，求赐教，是需要一些python改动吗 ...

文本编辑我一般用 notepad++，开源又好用。其中的 Encoding 菜单中有个Convert to UTF-8，可以转码。
- q( w# U" z% H6 p6 w" h
在正则表达式替换的过程中，做了如下处理：
1. 删除了多个单词组成的条目。这种条目分别对每一个组成单词都标注了音调。
2. 声调类型统计只统计0-9,10及以上不统计。
, U4 D7 a" D% i. R4 W. D4 z3. 拍数在16拍及以上的不统计。
! S5 Y# {, [  R7 g- V以及一些细微的调整。

9 ?  \9 h% l  Z; w$ a' N& G& L因为各人处理的方法不同，你最终得出的统计结果可能和我不太一样。

kapan000

" r, X* k5 T2 i- b7 e
1 \/ t/ f3 ~7 T  z请教几个问题
1、新明解单词数较少，可否统计下超级大辞林？
& [6 @# F, R, K5 J( k/ h7 A2、统计饼图，可否给出所占比例和数量。这样更好看点。
+ k4 ?/ Z1 U' B. Z) l" g' c3、可否给出统计的xls？我想再算下，10拍以内，各拍那个声调多一点及其比例

没想到0声单词这么多
& T* o0 a1 o. h我一直认为2,3,4...这类最多

enjoy了哦

kapan000 发表于 2019-3-23 22:43
. z% \. V* D% C- o请教几个问题
, W2 M" U: z& u$ [2 v1 r1、新明解单词数较少，可否统计下超级大辞林？
2、统计饼图，可否给出所占比例和数量。这样更 ...

我觉得统计超级大辞林没有必要。原因有以下几点：
1. 新明解已经收录了常用单词，这个统计是用来指导记忆声调的，对常用7万单词的统计我觉得真的已经足够了。
2. 要对超级大辞林进行数据清洗是非常麻烦的。其中的百科词条等，也不太常用。
# K3 E/ T$ r4 b1 h, }  F3. 超级大辞林中的大量片假名词语（外来词等），其声调相比常用和语、汉语词汇，没有那么固定。如果将其纳入统计，我觉得并不具有代表性。
4. 对于超级大辞林中古语的声调，我觉得统计了也没有什么代表性，我学现代日语就已经够呛了。

0 l7 Q7 Z7 A2 K4 r7 S4 V$ B, X学日语真心推荐新明解，你可能觉得它收词量小，但是它还告诉你词汇的用法，一些有用的信息等。
* v) {$ K+ U! t* a! b' v; N
这个EPWING版的新明解好像是通过别的格式转来的，里面有很多东西没转对，问题有点大，最好不要用。

kapan000

9 v( Y% o0 W" B5 O1 {# J& j1 Y

enjoy了哦 发表于 2019-3-23 23:12
1 z. O$ h! Y* G( P3 z3 ^我觉得统计超级大辞林没有必要。原因有以下几点：
0 c, b# ?5 k# r7 u6 W+ H; w8 H1. 新明解已经收录了常用单词，这个统计是用来指导记忆 ...

' N8 Z: P/ [8 B  P( G非常感谢。请问下，这个统计是全部单词？是否包含了片假名单词？

如果可以的话，能否再统计以下3个纬度
这样就更细化，明白了
纯片假名
$ v& {5 e  i& l% o有汉字的
纯平假名的，即完全无汉字的

5 A5 P2 I- w5 V8 ^谢谢
" }" S' |! H- o8 ^5 u
; j! I+ }  M, y' p0 z7 c2 V: U8 a5 p
! K9 }. V8 S2 }$ a$ o

kriskr

想问下楼主ebdump导出后如何转码为utf8 为什么我转码后，是乱码，求赐教，是需要一些python改动吗

f2st

想问下楼主ebdump导出后如何转码为utf8 为什么我转码后，是乱码，求赐教，是需要一些python改动吗

f2st

求导出的txt

takeko

太厉害了