通过Python分析日语单词中音调类型的比例

enjoy了哦

5 d0 T3 f$ P3 J
3 v+ X6 [3 h6 V+ `( u7 r$ T2 g通过调查日语单词中音调类型的比例，可以得出一些结论，方便记忆单词本身和其后续助词的音调。

' V" J4 Z1 u7 B* @原始数据：新明解国语辞典第5版（EPWING格式）
2 |8 y" B% `7 x0 o8 P首先通过 EBDump 打开该EPWING格式词典的文件夹的 HONMON 文件，导出其中的“前方一致表記形見出し”部分，选择全部的1412个block。

# X5 B" m9 ~1 M0 P
/ n, ^0 |* H- p4 R& b4 W9 n( s导出后，将该文件转码成 UTF-8 格式，并使用正则表达式替换部分内容，使其容易被后续分析处理。

* J3 ~7 Q7 j) o+ V
为统计尾高型音调，需要知道每个单词的拍数。由于拗音占有两个字符，但只算一拍，为了方便统计，将其中的小的[ゃ][ゅ][ょ] 及对应的片假名（还有小的[ア][イ][ウ][エ][オ]等，外来词专用音节）去掉，即[きゃ][きゅ][きょ]中后面那个字符。这样一来，拍数就等于字符数了。
- u/ f6 N* m* S( W
3 c; ?6 Z# {: P) Z( h最终的经过清洗的“干净”的数据如下所示，根据个人的习惯进行处理：


然后可以通过 Python 进行统计，一个单词可能有多个音调，但只统计第一个音调（稍微改动源码可以统计所有的音调）。这个代码可以用来明白大致的统计思路，后续还有写零碎的更改，并没有体现在这里面。
& s  X; C5 w' M0 G) r3 b

1. #!/usr/bin/env        python
   ' b) `' C4 W& u6 D7 {4 W/ Z+ \+ x
2. #_*_        coding:utf-8        _*_
   ) S6 M& f: j8 p( c7 C; R
3. 
   7 f6 }# H- y/ t" q/ k) P
4. import sys,os
   3 r# q( K8 O0 k: M
5. import numpy as np
   8 {, h9 Z) ~: t8 q, ]
6. 
   
7. # 带有音调标记的词汇数目
   ! K5 E' |: @: c# [0 L& C2 T9 o
8. all_entry = 0
   9 Y- Q1 f1 B; ]8 `
9. 
   
10. # 平板型,[0]
    
11. entry_0 = [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0]
    1 {6 ]6 T: z( C/ }, H) v& ]
12. 
    
13. # 头高型,[1]
    # J- \7 ~3 g* t$ @# l
14. entry_1 = [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0]
    ) i6 H3 B- F; d9 Y
15. 
    & K+ v: c+ h6 k) N( V; R
16. # 尾高型,[x] = 拍数
    % `( u9 q* Y& {( n: N+ s9 o% ?1 p
17. entry_last_high = [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0]
    3 ~+ I8 y& J3 L7 H
18. 
    - X2 z1 N/ P: w# f
19. # 中高型,[x] < 拍数
    . d( A% `- X1 h3 V) M
20. entry_middle = [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0]
    
21. 
    
22. file_name = sys.argv[1]
    ' c8 q$ e. g  F# A( p, R. o! r# _
23. f = open(file_name,'rb')
    
24. for line in f:
    $ \  J8 w! U( B0 f3 H; C
25.         line = line.replace(b"\r\n",b"")
    0 u& l) \% e7 ~/ L; Y: w) x
26.         line = line.decode()
    
27.         db = line.split(',')
    
28.         word_len = len(db[0])
    
29.         if word_len < 16:
    
30.                 all_entry = all_entry + 1
    
31.                 for i in range(1,len(db)):
    * O  C# O3 W. u$ Y/ e4 W
32.                         accent = db[i]
    0 c) `8 H  a' m9 x
33.                         if accent.startswith('['):
    
34.                                 integer = int(accent[1])
    % s5 g6 p5 L; Y% }8 e4 @
35.                                 if integer == 0:
    / o8 ~1 h: w! v
36.                                         entry_0[word_len] = entry_0[word_len] + 1
    3 A7 m) ?" g" @- H. i6 T' {; w
37.                                 elif integer == 1:
    6 O% p3 |% V- O) Q' }# i
38.                                         entry_1[word_len] = entry_1[word_len] + 1
    5 O- u, e9 f9 u: o& G" Y
39.                                 elif integer == word_len:
    # p3 m& u/ b+ v: ], h+ q$ c! k
40.                                         entry_last_high[word_len] = entry_last_high[word_len] + 1
    % R) ]1 d; O7 u+ W( ]
41.                                 else:
    * T- C9 d; M0 j5 k2 I8 E- U3 W
42.                                         entry_middle[word_len] = entry_middle[word_len] + 1
    8 ~  x0 Q- w  L3 Y/ J- D& B
43.                                 break
    
44. 
    
45. print('[0]:')
    . w2 y! l: p) {/ N. Y7 k4 m- y3 L
46. for i in range(1,len(entry_0)):
    6 Z$ `7 ~! f( z% `8 z+ u1 A
47.         print('%d' % (entry_0[i]))
    
48. print('entries: %d' % np.sum(entry_0))
    
49. print('\n')
      h( x+ t* m0 _' P# B
50. 
    0 N/ G5 M+ x1 f6 E* X: C8 f
51. print('[1]:')
    
52. for i in range(1,len(entry_1)):
    
53.         print('%d' % (entry_1[i]))
      n% |( g; M7 z# `$ x* I4 k5 x
54. print('entries: %d' % np.sum(entry_1))
    7 v% }* F, F8 S( M0 R1 k! w" c  e% B
55. print('\n')
    
56. 
    5 z+ x6 f- a' ]& B: N, g
57. print('middle high:')
    ( g2 z. c) d$ t% }$ G8 N# u6 [
58. for i in range(1,len(entry_middle)):
    / K: d% Y  t4 i& ]; \( O
59.         print('%d' % (entry_middle[i]))
    7 R: o" p  e  K8 Z
60. print('entries: %d' % np.sum(entry_middle))
    / l$ C. V# c: b" T& |/ M! K$ p
61. print('\n')
    5 l; ^8 K. A% c5 K! w
62. 
    
63. print('last high:')
    
64. for i in range(1,len(entry_last_high)):
    
65.         print('%d' % (entry_last_high[i]))
    1 v& c7 |5 O* R3 j2 R
66. print('entries: %d' % np.sum(entry_last_high))
    
67. print('\n')
    
68. 
    
69. print('all entries:')
    
70. print(all_entry)
    - l9 I$ ]: j" P, X# I2 ]  O0 v
71. 
    ) Q' V! y( W2 J5 ^  S
72. f.close()

复制代码

3 X/ a; g2 N  W! w0 x" e8 I+ g' a最后将 Python 输出结果进行数据可视化：
- N1 x8 s; K$ C& g( C; ~

: l7 g) I, B7 w* g
. E; u- G& u) Y8 {0 s5 V
以及饼图：
5 T9 c/ f- Z( w7 v9 w

可以得出几个结论：
* U1 z9 J) k; y( h/ Y0 c8 w1 ?1. 尾高型的单词很少（约2%，大部分在2拍和3拍的单词上，2拍和3拍五五开，总共约1300个单词（在7万多个单词中）。
2. 头高型的单词次少（约17%），主要集中在3拍的单词上（约51%），2拍和4拍都约占20%左右。
3. 日语中4拍的单词最多（约42%），并且相当一部分（约72%）是平板型。这和新标日中入门单元里，“声调和语调”部分中“声调”小节里的解说是一样的。
4. 记忆平板型和尾高型的单词时，单词本身发音规律相同，都是前低后高，但后接的助词音调不同，不好记忆。但通过上述统计，可以这么做：（两拍以上）尾高型的单词单独记忆后续助词的音调，其后续助词的音调总是低的，而在一般情况下，一个单词（两拍以上）后接的助词的音调（高或低）和该单词的最后一拍是相同的。一拍的单词完全不符合这个“一般情况”，只需要记住这一拍本身是低还是高，再根据“一个单词中第一拍和第二拍音调必定不同”来确定助词音调。单词本身的音调则通过多听、多用以形成固定的记忆。

: q( [2 Z0 Z3 ?" h. x0 `


' {; u% q- }* [/ }# Z
0 G9 n8 s- f4 F/ c6 k/ |6 `$ S9 F

* C6 L, `2 B" M9 H! g: f7 ~

enjoy了哦

kriskr 发表于 2019-3-24 00:48
想问下楼主ebdump导出后如何转码为utf8 为什么我转码后，是乱码，求赐教，是需要一些python改动吗 ...

文本编辑我一般用 notepad++，开源又好用。其中的 Encoding 菜单中有个Convert to UTF-8，可以转码。

$ T( t+ Q9 l2 c在正则表达式替换的过程中，做了如下处理：
1. 删除了多个单词组成的条目。这种条目分别对每一个组成单词都标注了音调。
" O5 o( D+ }0 _0 l- K) X# V2. 声调类型统计只统计0-9,10及以上不统计。
) Q; ?! U1 O  S1 w+ V( u4 h, Z3. 拍数在16拍及以上的不统计。
1 k! |# f" P6 c以及一些细微的调整。
1 }4 ?! M1 a  A! t
+ f& p2 j" w0 y; u+ D因为各人处理的方法不同，你最终得出的统计结果可能和我不太一样。

kapan000

( k) d7 O8 |; r% M$ |) \
" c  \( k* R8 V& I- f请教几个问题
  p, w& M/ w+ q* x5 B5 V1、新明解单词数较少，可否统计下超级大辞林？
2、统计饼图，可否给出所占比例和数量。这样更好看点。
3、可否给出统计的xls？我想再算下，10拍以内，各拍那个声调多一点及其比例

没想到0声单词这么多
我一直认为2,3,4...这类最多

enjoy了哦

kapan000 发表于 2019-3-23 22:43
请教几个问题
1 j% p# ^) j- r9 b- F$ p8 f1、新明解单词数较少，可否统计下超级大辞林？
2、统计饼图，可否给出所占比例和数量。这样更 ...

我觉得统计超级大辞林没有必要。原因有以下几点：
1. 新明解已经收录了常用单词，这个统计是用来指导记忆声调的，对常用7万单词的统计我觉得真的已经足够了。
) C4 k4 J$ K, }' ]- F% s' w) k2. 要对超级大辞林进行数据清洗是非常麻烦的。其中的百科词条等，也不太常用。
3. 超级大辞林中的大量片假名词语（外来词等），其声调相比常用和语、汉语词汇，没有那么固定。如果将其纳入统计，我觉得并不具有代表性。
8 c# y* g3 I% n7 P! N+ L4. 对于超级大辞林中古语的声调，我觉得统计了也没有什么代表性，我学现代日语就已经够呛了。
' V, h2 E6 {8 ]: q
学日语真心推荐新明解，你可能觉得它收词量小，但是它还告诉你词汇的用法，一些有用的信息等。

4 }* P* e$ |/ i4 m' w) V. g# M' k这个EPWING版的新明解好像是通过别的格式转来的，里面有很多东西没转对，问题有点大，最好不要用。

kapan000

enjoy了哦 发表于 2019-3-23 23:12
我觉得统计超级大辞林没有必要。原因有以下几点：
1. 新明解已经收录了常用单词，这个统计是用来指导记忆 ...

& d0 C" O: b, I$ d非常感谢。请问下，这个统计是全部单词？是否包含了片假名单词？

! P/ \$ r8 \1 G/ I6 \+ U3 f+ }如果可以的话，能否再统计以下3个纬度
这样就更细化，明白了
纯片假名
% o! G8 K9 O5 c有汉字的
% @5 Z" A3 W( C- r! p纯平假名的，即完全无汉字的
0 W1 q* R5 r  z; c! U5 D) T
谢谢

9 n/ c- i3 ^$ E4 [4 ^4 P" }% o) G

kriskr

想问下楼主ebdump导出后如何转码为utf8 为什么我转码后，是乱码，求赐教，是需要一些python改动吗

f2st

想问下楼主ebdump导出后如何转码为utf8 为什么我转码后，是乱码，求赐教，是需要一些python改动吗

f2st

求导出的txt

takeko

太厉害了