辭典詞彙量估算匹配

喬治兄

辭典詞彙量估算匹配
8 s" P4 e+ ?# k" M8 J1 r, U$ n4 q在此提供試算表 您可自行預估拿捏 wordlist 詞條數量
" n! o/ n- a- _) E) N$ F3 h- Y延伸此點交代不清之處
https://www.pdawiki.com/forum/forum.php?mod=viewthread&tid=33566&extra=
1. 要先預估其要製作的辭典的辭彙量,
   若能知道正確辭彙量是最好的, 但往往不知道其多少辭彙量
# d* _) z8 [; T* e   可能辭典序言上標示的辭彙量也不一定正確
   此可利用 Excel 統計 random 的函數產生的 30 個隨機數來挑其頁數
   算一下那 30 頁 每頁各多少詞頭, 然後求個平均值在乘上頁數.......就大概是那辭彙量
   保險一點的話在加上3個標準異差乘上頁數.......這樣辭彙量應能大概都能含概了吧
/ f- }5 b1 ^2 H8 x+ c& S) u   因此關於您要用多少的辭彙量來配那本字典, 您也可選 30~40 萬的 wordlist 來配4~5 萬的辭典
) _( q* v" `: U+ B0 d$ K2 l4 o   問題是整頁都是多一堆辭典沒有的字, 也是同樣多花時間找

0 Z" A0 n* w- E$ j2 N' }7 n8 DP.S. 已用過 47 萬多的21世紀英漢 wordlist 來配 外研社新英漢詞典 (圖片版)
* ?9 p7 v- F' z3 X  p) ^效果真的不佳
此 EXCEL 例只是說明小弟並無真的去算那抽樣的30頁
也就是說只要配到 26萬多就基本含蓋了
不需用到 47 萬多的wordlist 來配
! q! X- B2 ~2 Q其實用平均值6萬6 以上配, 應該是效果已不錯了
僅供參考
每頁匹配多少詞條可用 countif 來算
) z- n) t! x9 h0 j" r& i% g比較一下每頁的詞條數和匹配的詞條數
& H- Z8 {$ ?0 M! {& L6 C若是各依其數具計算出來的平均值和標準異差都很接近
* `/ t( G3 @% [7 W; I0 j$ {  ~那表示你應該匹配的還可以吧

: [5 t& m: ^$ H8 W辭典詞彙量估算匹配_4............應該是比較合理的預估模型
(書頁詞條數-匹配數)<= 沒配到的詞條數
以沒配到的詞條數算出平均值和標準異差.......各乘上頁數
! g% _0 q/ {% [7240 , 3726
% C$ R7 E0 y0 V8 U也就是說以此 wordlist 來配完此辭典大概平均沒配到的詞條數 在 7240條數 但預估最大值 18418條數
所以用 66595+7240=73834.......大概都能配到的平均值
1 }. I4 ~1 O" X& k若要在保險點則加沒配到的詞條數的預估最大值 18418......66595+18418=85013
: J5 x1 K- Q; {/ m/ e: h5 k所以 min=73834  max=85013

oversky

$ J5 d# q( D# {0 c3 `4 F6 ^+ U2 n
% x$ D2 i- @$ \8 F- ^5 J  M第一个想法
可以试试抓几个项目特别多的字之页数来当作参考起点，这样应该可以减少累积误差。
" o# p  B, y: q- j9 L
第二个想法
3 Z" I  Y4 n) U* ^/ b用字频资料库来估比例。

喬治兄

1 B) |4 u( ~- E$ R$ i7 ]* l

oversky 发表于 2019-3-21 18:08
9 y% V) W$ m1 v4 B6 [: e/ m可以试试抓几个项目特别多的字之页数来当作参考起点，这样应该可以减少累积误差。 ...

3 R  `7 H! t. {0 _
oversky 兄:
如此就不是隨機數了
2 l/ x' ?/ f$ D, H7 J# c其實是不需如此, 因標準異差值本來就是設計來估誤差值的
( {+ Q7 }7 f/ V當您用到6萬6去匹配基本上50%的單詞都絕對配到
加一個標準異差的量13萬2就68%以上都絕對配到
加兩個標準異差的量19萬9就95%以上都絕對配到
0 l/ [+ ~) F' c- K加三個標準異差的量26萬5就99.7%以上都絕對配到
而且這是雙邊機率值
若單邊其實機率值更高
真的也不太需要用到加三個標準異差的量26萬5去匹配
& U5 B- `: e% i- l0 G+ \7 Q, N+ C3 j
倒是可以考慮把幾本的 wordlist 作張表把頻數填上
0 U8 s+ h8 s% J用 Bootstrap 的方法把頻數考慮上隨機抽取你算出的數量的 wordlist 去匹配
重要的單字不漏也不至於多配太多和漏配太多
可能命中率更能提高些
/ Z4 b7 n6 S: A也就是集中數個wordlist 於一張 wordlist 然後每次都從此 wordlist 隨機抽取你要的數量來匹配
! h  l; ^# T& `& V) ^: ^
, \: Y7 k0 B+ Z% _

喬治兄

. f& q8 F4 O9 l; J0 A

oversky 发表于 2019-3-21 18:08
1 y1 ~1 o* p8 n0 t第一个想法
6 O. j2 g! U( ^可以试试抓几个项目特别多的字之页数来当作参考起点，这样应该可以减少累积误差。

: D: |# ?! i# F7 q/ [, b4 ?8 S
oversky 兄:
: t. J* c; z' B+ B剛又想了一下檔案和圖都改了好以次
* I: J2 U$ x* d5 M( ]( m* y6 [後來的預估模型應該是比較合理
因若以每頁的標異差來估
7 |6 g9 q: ?6 ?+ D$ k數量一定會膨脹太大
1 m4 W) L5 {( H' h$ g" q5 y4 Z但若以沒配到的平均值和標異差來估
且加上則數值來看應該是比較合理

& i' w' y) s) `# q9 t# u2 y
7 W  a5 x, P* O9 D

oversky

喬治兄 发表于 2019-3-21 20:33
oversky 兄:
剛又想了一下檔案和圖都改了好以次
後來的預估模型應該是比較合理

2 ~8 e% w( @$ u4 w好久没碰机率，我再来研究看看。