辭典詞彙量估算匹配

喬治兄

% e( H  X1 a. c; C3 n' w
辭典詞彙量估算匹配
在此提供試算表 您可自行預估拿捏 wordlist 詞條數量
- S1 m2 h: B* b4 T0 |$ I' T7 n: O延伸此點交代不清之處
1 w+ R( J8 A! Khttps://www.pdawiki.com/forum/forum.php?mod=viewthread&tid=33566&extra=
- B- d# h# v/ Y; b# Z1. 要先預估其要製作的辭典的辭彙量,
, R- G- ^7 i% `/ o9 u& W% |   若能知道正確辭彙量是最好的, 但往往不知道其多少辭彙量
. D+ T  ^3 k: D& Z4 [  y   可能辭典序言上標示的辭彙量也不一定正確
9 I* m, M' @! L; n   此可利用 Excel 統計 random 的函數產生的 30 個隨機數來挑其頁數
8 `, I7 m2 l9 j% @- n" I   算一下那 30 頁 每頁各多少詞頭, 然後求個平均值在乘上頁數.......就大概是那辭彙量
   保險一點的話在加上3個標準異差乘上頁數.......這樣辭彙量應能大概都能含概了吧
   因此關於您要用多少的辭彙量來配那本字典, 您也可選 30~40 萬的 wordlist 來配4~5 萬的辭典
   問題是整頁都是多一堆辭典沒有的字, 也是同樣多花時間找

P.S. 已用過 47 萬多的21世紀英漢 wordlist 來配 外研社新英漢詞典 (圖片版)
效果真的不佳
) N( ~$ d% W$ u! Q0 |" k  W此 EXCEL 例只是說明小弟並無真的去算那抽樣的30頁
! p7 |' o3 c: \; P% c, S+ S也就是說只要配到 26萬多就基本含蓋了
不需用到 47 萬多的wordlist 來配
2 [& Z. C2 C6 r6 _5 n# }其實用平均值6萬6 以上配, 應該是效果已不錯了
僅供參考
每頁匹配多少詞條可用 countif 來算
比較一下每頁的詞條數和匹配的詞條數
若是各依其數具計算出來的平均值和標準異差都很接近
那表示你應該匹配的還可以吧

0 o0 A; S8 ^4 |5 \, T& ^辭典詞彙量估算匹配_4............應該是比較合理的預估模型
(書頁詞條數-匹配數)<= 沒配到的詞條數
4 N5 j7 p% [! R! e& h& `$ y2 s% `以沒配到的詞條數算出平均值和標準異差.......各乘上頁數
7240 , 3726
3 u" q9 V2 A! d# i0 [' a" ?也就是說以此 wordlist 來配完此辭典大概平均沒配到的詞條數 在 7240條數 但預估最大值 18418條數
所以用 66595+7240=73834.......大概都能配到的平均值
5 h0 Y- [' ]: W1 H1 u. v( n6 D# U若要在保險點則加沒配到的詞條數的預估最大值 18418......66595+18418=85013
所以 min=73834  max=85013

8 F- ^0 O2 A3 M/ ]

oversky

1 P6 ^, Q3 x. m/ N9 ]1 ~2 F  M
0 [6 I9 J# o3 s9 J! [9 j) n第一个想法
7 |: n- y1 o- a* X9 q1 }可以试试抓几个项目特别多的字之页数来当作参考起点，这样应该可以减少累积误差。

+ d1 L1 J& o1 `1 ^; x第二个想法
用字频资料库来估比例。

喬治兄

4 h; w& h7 t4 I- ~

oversky 发表于 2019-3-21 18:08
可以试试抓几个项目特别多的字之页数来当作参考起点，这样应该可以减少累积误差。 ...

! ^7 C. h  C3 J
. A- S1 t$ q* ?5 W7 Q2 \( Ioversky 兄:
如此就不是隨機數了
6 R5 {# D* S3 {其實是不需如此, 因標準異差值本來就是設計來估誤差值的
當您用到6萬6去匹配基本上50%的單詞都絕對配到
加一個標準異差的量13萬2就68%以上都絕對配到
; J- m- T# Y0 J3 Z加兩個標準異差的量19萬9就95%以上都絕對配到
加三個標準異差的量26萬5就99.7%以上都絕對配到
9 C' A- T0 G/ {/ E' S- u而且這是雙邊機率值
) b7 J. L) _) b% {若單邊其實機率值更高
真的也不太需要用到加三個標準異差的量26萬5去匹配
  A* ~- Y  H' w5 q  e6 u7 r" W
倒是可以考慮把幾本的 wordlist 作張表把頻數填上
用 Bootstrap 的方法把頻數考慮上隨機抽取你算出的數量的 wordlist 去匹配
+ v8 D! C' e+ M$ }( Q重要的單字不漏也不至於多配太多和漏配太多
可能命中率更能提高些
& Y! i6 @7 _# @8 c4 Y9 x: c也就是集中數個wordlist 於一張 wordlist 然後每次都從此 wordlist 隨機抽取你要的數量來匹配
  o1 {! g/ A! ~8 X. [6 |- X

喬治兄

% M5 K' V$ I# ^$ w/ K/ J

oversky 发表于 2019-3-21 18:08
第一个想法
可以试试抓几个项目特别多的字之页数来当作参考起点，这样应该可以减少累积误差。

8 \! Q6 z: X7 T. F: @/ Ooversky 兄:
7 w$ d3 F3 F# [( E5 J+ s剛又想了一下檔案和圖都改了好以次
) {$ d* Y' p1 e9 N1 i/ K4 K後來的預估模型應該是比較合理
因若以每頁的標異差來估
$ F4 J" w: Z1 I6 O6 n數量一定會膨脹太大
9 \( q0 \1 T: e. I0 v4 G但若以沒配到的平均值和標異差來估
且加上則數值來看應該是比較合理
, l" f+ m8 l* o# u6 U5 R3 `

3 v/ @! Y, X: g7 v  V
5 P3 E  F- O0 W! Q

oversky

喬治兄 发表于 2019-3-21 20:33
oversky 兄:
- Y5 d) u; _$ W$ u. v3 {剛又想了一下檔案和圖都改了好以次
後來的預估模型應該是比較合理

+ F; H% K5 j9 X0 i5 Y) i( K8 p好久没碰机率，我再来研究看看。