Wordlists 匹配密合度(2)進階

喬治兄

% V3 l, b5 W+ T9 u) j
& h* G1 O! q* t' k小弟不才深感各位同好製作辭典之辛勞
( z6 c9 g  D  n! Z7 P% ?" K只因幾個抽樣概念欲與同好們分享
, z8 J: b6 e1 W) [若用抽樣的 Defect Rate 來看匹配密合度也能有所答案
假設如下:
詞首表單字有 3000 個 (single plan sampling) 若您選定的 4個字表的 Wordlists 都是 20萬的字表 (所謂的 Lot Size N)
而經由 vlookup 在 Lot Size N 分別對映到的單字數 a (Accept Number ) 分別為
9 f3 t0 J& u" r# }a = 2000 ,2500 , 2800, 2900
2 G& e* P7 O- Y- i9 m5 O% J- h
- L6 |, E& W! j1 j1 }AQL=acceptance quality level
+ O' @, k6 w1 s- ?/ CLTPD=lot tolerance percent defective
" S6 o- S4 [: q* o! Z8 I" O+ iAOQL=aver outgoing quality limit
) O) ]4 ]' B0 s! x" aOC=operating characteristic curve
AOQ=average outgoing quality .............後面的幾張表為 AOQ:  請留意一下, 當達到某個值時幾乎為 0 Loss
* x0 k! }( w8 l) D- {% e" F也就是說以 L(Q0)=95% , L(Q1)=10%......(Type I, II) 的失誤率是相當低的
8 z7 W! K- V( E( X6 }9 L
: \8 ]4 |9 n" `倘若把 Lot Size N 當成是未知數則計算出的值應可為對那辭典匹配率的估算值.......詳見10,11樓
$ P. r0 N6 {" p
' i; E1 l. A# [7 w5 C$ `若把 AQL 當成 匹配率
5 A1 z  t* J3 s4 S" m* w7 `a = 2000 , 65.3%
7 T+ O7 y, u! U8 z* {# B# }a = 2500 , 82.2%
a = 2800 , 92.6%
a = 2900 , 96.1%

誠如 Budha 兄所言此法並不精確, 純亂槍打鳥, 小弟思考在三, 此法....應該不屬...奇技淫巧.. 之範疇望同好們多加指正......感謝大德
6 l: O" q1 R# d. x  q此法僅僅是只能作為沒太多時間製作圖片式辭典的一個參考依據
/ e1 w8 A$ R" \

, Q- x2 x) N$ U8 p
* Z4 a; ]+ b/ I' y) b; R
2 N9 n. z8 f+ Y7 k% i' u+ y
/ o* |- L5 s8 k' D2 D0 p/ r8 D( UPS.
所有的解釋只是想陳述由此概念來選擇匹配的Wordlist優劣而已
: ~( r  Z5 x& a1 r純.......參考
% i( q! a) l$ c, C5 X并不需要真的去計算
而是了解此現象
+ m! U; x0 a3 L$ X把定量分析的性質
轉化作為定性之選擇字表的依據的應用
/ s$ P9 j5 B0 y$ G; J0 d

# G* ^+ T+ f! \9 o2 T3 o, |
. ?. |$ U% ?3 B! i, M  Q& R6 L
9 n) A: X$ g+ D: ~" u+ F




) c6 e( {, c: V0 |/ e. h1 b

喬治兄

oversky 发表于 2019-6-2 18:20
" N$ v" }; g! W/ Q, A& t( w如果以误差在前后一页内为可接受的范围，那对应的匹配率要在多少以上？

oversky 兄:
外研社新英漢詞典匹配度大概如下:
共有 1795 頁.....也就是有1795 個詞首單字....Sample Size = 1795
( P2 m. B! ~0 B7 N1 \因小弟是用 72374 的字表去匹配 Lot Size N = 72374
; A6 F9 F1 Z; e- d* U& ^但因 1795 個詞首單字 在 Lot Size N = 72374 只找到 1172 個.....對映到的單字數 a = 1172
但因不知外研社新英漢詞典共有多少詞頭把 Lot Size N 當成未知數來算其匹配度
% u3 w$ C4 w, G$ {6 x- l' W經過算後匹配度 = 63.445 %
由此可知選用的字表並不佳.......
1 e3 R( C& }& J

喬治兄

oversky 发表于 2019-6-2 18:20
3 e% U2 k7 U( m0 h0 R  f* S如果以误差在前后一页内为可接受的范围，那对应的匹配率要在多少以上？

  {, d% X+ ^/ ?$ R6 a! Q
oversky 兄:
1 w8 I  z8 S9 e另外考究其另一本字典朗文當代大辭典 , 也因有發燒友急欲以朗文6 的字表去匹配其朗文當代大辭典

朗文當代大辭典詞典匹配度大概如下:
辭典正文有 2039 頁.....也就是有2039 個詞尾單字....Sample Size = 2039
因發燒友提供的字表處理一下是用 62190 的字表去匹配 Lot Size N = 62190
但因 2039 個詞尾單字 在 Lot Size N = 62190 找到 1995 個.....對映到的單字數 a = 1995
但因不知朗文當代大辭典共有多少詞頭把 Lot Size N 當成未知數來算其匹配度
( v! b: }, `9 O  t經過算後匹配度 = 97.289 %
由此得知應該算是不錯的選項


$ A2 F3 o) ?2 m: I  i# v

water-sea

太深奥了！哈哈

dailiangzhen

看不懂呀！！不过看上去，挺高大上的

喬治兄

2 D8 I3 A: T4 w- f

dailiangzhen 发表于 2019-6-2 17:29
看不懂呀！！不过看上去，挺高大上的

dailiangzhen 兄:
沒有

高大上

啦
只有小弟純脆在話(畫)唬爛  

oversky

如果以误差在前后一页内为可接受的范围，那对应的匹配率要在多少以上？

喬治兄

oversky 发表于 2019-6-2 18:20
如果以误差在前后一页内为可接受的范围，那对应的匹配率要在多少以上？

oversky 兄:
' |  E; m  p$ p2 V1 T; d+ Y& n5 C

误差在前后一页

這個不太一樣
' C& ]( c+ P* Y$ J0 N, t# B% A您所在乎的問題是屬處理英文單字排序的問題
英文單字排序處理好了 vlookup 不會有錯頁的問題
小弟這個是屬沒完整字表而去配那本字典.....屬就以字首字表當成隨機抽樣的樣本在您選用的字表若有擊中幾個, 則匹配率大概會落在多少百分比的情況
" k3 E1 D; V( J+ i6 p4 c

& p% l) K& v- U" O0 |# D

喬治兄

oversky 发表于 2019-6-2 18:20
9 ~2 M' _* y- n2 I4 @% q如果以误差在前后一页内为可接受的范围，那对应的匹配率要在多少以上？

6 ]3 y# F% e9 ~) @oversky 兄:
小弟過兩天再以外研社新英漢詞典 那本為例子
計算一下其匹配率解釋說明您應該就大概會了解了
2 u/ P" J9 P8 }; x8 I9 C

dailiangzhen

喬治兄 发表于 2019-6-2 17:49
0 d. q8 u' r1 B) edailiangzhen 兄:
沒有
啦

2 `+ F( S( j! d" p大師，謙虛了。一般厲害的人士，都是這麼說的 :)

喬治兄

# U1 f3 H/ J' k# }  H2 H- t

dailiangzhen 发表于 2019-6-2 19:34
大師，謙虛了。一般厲害的人士，都是這麼說的 :)

) R* y! P! G$ Z9 i& E* D
- Q* B+ A& @& J* p% Xdailiangzhen :
仁兄謬讚了,小弟純胡搞瞎搞, 純話唬爛另外添加狗皮膏藥.....貼了不會好, 吃了不會硬....不具療效的方子
若有硬純屬 placebo effect
哈! 哈! 哈!哈! 哈!

8 b: j5 E5 _8 d
. K8 r4 k1 N  h' W% ?* B% m+ K9 e

thresh

这是根据3000基本词表去匹配wordlist还是根据wordlist来反过来统计推断？？那wordlist的选用本身就应该是一个有标准的选取了？请问这个以什么为宜？？

喬治兄

$ d! v6 L! N; x. e! ]

thresh 发表于 2019-6-5 21:36
这是根据3000基本词表去匹配wordlist还是根据wordlist来反过来统计推断？？那wordlist的选用本身就应该是一 ...

9 X+ ~+ M% l' F+ s" g
thresh 兄:
小弟那個3000是假設有3000頁的辭典正文而非 3000 基本词表


8 A1 a, X# G& i5 d) X( t此是用
; a: _- x9 |' g) w) S+ }1. 每一頁的第一個單字集合而成的單字列表 or
2. 每一頁的最後一個單字集合而成的單字列表 or
3. 每一頁第一個單字+ 最後一個集合而成的單字列表 ....的單字數當成是隨機抽樣的樣本數

, p! O/ }- Y% G. c4 n8 A1 or 2 or 3 .......都可........隨著樣本數越多估算會越精確
8 [. l( N- d2 x" S/ ~3 ^2 p- [+ o$ p- \* h
* B8 B7 X; [/ N6 E. V) X

然後在你所要匹配的字表中( wordlist )看看能找到幾個......此為 a (Accept Number ) 合格的樣品數量
有對到的當成是 合格的樣品
沒對到的當成是 有瑕疵的樣品

此也隨著 a (Accept Number ) 合格的樣品數量 遞增而匹配到的機率也增加
此可由小弟所假設的例子得知
0 F* `' U, B) O1 i' a0 Z$ `- {9 b
7 \7 `$ n% r3 d& t1 G1 ^0 s: z7 v8 s此是以計數值的(single plan sampling) 為基準

4 i) w' Q6 U5 P* T所有的解釋只是想陳述由此概念來選擇匹配的Wordlist優劣而已
# J, M6 U$ S7 m0 o2 [+ k! h) F純.......參考
: V8 H8 H  n8 Q6 m并不需要真的去計算
而是了解此現象
把定量分析的性質
2 B7 M3 t- F7 d# p轉化作為定性之選擇字表的依據的應用

/ R1 [1 f" a6 D6 A! S


$ F2 v' S+ A; T8 p7 {



: U2 m9 H$ Q' g' \, X; u. p
! e, _) `+ A2 L2 d

thresh

喬治兄 发表于 2019-6-5 23:30
thresh 兄:
小弟那個3000是假設有3000頁的辭典正文而非 3000 基本词表

+ y1 ?! }0 x3 m, q- @, F7 X额~明白了。这可以理解为您主观设计的一个统计参量~您设定的1/2/3里有一处不解，就是您是如何考虑采取如此字头的，譬如，某些小词例如 in 、some 等占用页数颇多~如此是会造成其统计频率下降，而评分相对较低？
- p  W- s+ I0 n
另，如果能OCR一本字典，那何不考虑全页所用所有单词计数，进行统计匹配？

  s% x' T$ T, N如此疑惑颇多~特求教于兄

喬治兄

thresh 发表于 2019-6-7 00:03
: E$ M+ x6 ?8 j- Z. C额~明白了。这可以理解为您主观设计的一个统计参量~您设定的1/2/3里有一处不解，就是您是如何考虑采取如 ...

老兄，因人在外地，也沒帶電腦，待回台灣再詳細的跟你解釋

喬治兄

thresh 发表于 2019-6-7 00:03
额~明白了。这可以理解为您主观设计的一个统计参量~您设定的1/2/3里有一处不解，就是您是如何考虑采取如 ...

1 r' i4 K$ S5 H$ `. W6 L+ |0 \
thresh 兄:

譬如，某些小词例如 in 、some 等占用页数颇多~如此是会造成其统计频率下降，而评分相对较低？

3 I9 b4 ?/ g9 _" Q2 ?  r1. 這應該不影響其估值, 本來抽樣就是在一定的信心區間的水準之上( Confidence Interval Level ) 所估出來的值
1 e) z  E! {9 I  

如果能OCR一本字典，那何不考虑全页所用所有单词计数，进行统计匹配？   

$ B: R) u' j. V6 }& h5 @( o2. 如果能OCR一本字典取詞, 那就不需考慮匹配度問題, 因是 100% 全匹配

3 M( ]9 L- m1 k+ A- N, u0 N若對計數值抽樣有所疑問, 可詳參 MIL-STD-105E 抽樣計劃 , 內有詳細的
計數值抽樣檢驗方案及程序, 應也有各種公式的陳列
; s5 ]  }' s3 I2 i; z

thresh

喬治兄 发表于 2019-6-9 00:41
5 ], l: Z9 s3 H# \9 ~3 Uthresh 兄:

1. 這應該不影響其估值, 本來抽樣就是在一定的信心區間的水準之上( Confidence Interval Lev ...

好的~我抽时间先去把您给出的这个相关资料阅读了，如有不懂再行请教。