转MDICT词典时出现的问题

54john

在转一个MDICT词典时，出现如下提示，请教是什么问题？

rayman

估计是格式不对。找不到词条的结束标记，导致认为词条太长了。

cdyg

是不是有空行？
最后一条词条是不是有</>结束的标志？

54john

cdyg版主：
     如何在ULTRAEDIT中用正则表达式将下图中上面高亮部分转成下面高亮的？

cdyg

从你给的图片中看不是太明确，是不是要将上面高亮部分的“朳”等类似单字给分离成独立的词条并加上相应的分隔符呢？此外这个单字前后有特定的规律性文字或符号吗，能否再详细进行说明？
最好你节选出部分比较典型的文本，作为附件格式附上好吗？

54john

[quote]原帖由 cdyg 于 2009-5-15 16:02 发表
' y% L3 t/ O- U: v从你给的图片中看不是太明确，是不是要将上面高亮部分的“朳”等类似单字给分离成独立的词条并加上相应的分隔符呢？此外这个单字前后有特定的规律性文字或符号吗，能否再详细进行说明？
最好你节选出部分比较典型的 ... [/quote
( K" ]7 V; E+ B8 u' x: B7 Z
对，就是想将“朳”等类似单字给分离成独立的词条并加上相应的分隔符，格式如图所示，因有1300多，手工改费时间，我曾试着替换：”。?^p①替换为：”。^p</>^p?^p①，?代表一个字符，就是“朳”等类似单字，可惜全部将单字替换成？了。
- [1 U# c. J) T" ~( v3 {' N% a0 x节选了部分在附件中，类似的单字共三个，请指点，谢谢
  H+ ~  w" U9 R: _1 b7 O8 y1 d  q
3 z( t! `$ K' `) h1 N" n[ 本帖最后由 54john 于 2009-5-15 19:15 编辑 ]

54john

另一个问题，如何将两个汉字之间的数字去掉？中间的数字是代表该字的读音，但检索不方便。例子如下面文字中的“重2九”等：

/ Q6 x+ B0 _! G' m& d% e重2九
指农历九月初九日。又称重阳。 晋  陶潜 《九日闲居》诗序：“余閑居，愛重九之名。秋菊盈園，而持醪靡由。” 唐  文丙 《牡丹》诗：“不同寒菊舒重九，只擬清香泛酒卮。” 明  徐弘祖 《徐霞客游记·滇游日记三》：“初九日……是日爲重九，高風鼓寒，以登高之候。” 闻一多 《红烛·忆菊》：“那祖国底登高饮酒的重九，不又是你诞生底吉辰吗？”参见“ 重2陽”。
</>
7 Q" o; G5 J# S8 x1 L# B. c重2九登高
3 A5 W  \4 X' a( |" v旧俗于农历九月九日重阳节，以绛囊盛茱萸，登高山，饮菊酒，谓可以避邪免灾。 南朝  梁  吴均 《续齐谐记·重阳登高》：“ 汝南  桓景 隨 費長房 遊學累年。 長房 謂曰：‘九月九日汝家當有災，宜急去，令家人各作絳囊，盛茱萸以繫臂，登高飲菊花酒，此禍可除。’ 景 如言，齊家登山。夕還，見雞犬牛羊一時暴死。 長房 聞之，曰：‘此可以代矣。’今世人每至九月九日登高飲酒，婦人帶茱萸囊，因此也。” 郭沫若 《芍药及其他·竹阴读画》：“而且我在几天前的重九登高的时候，分明是从这儿经过过的，那真可算是‘过门而不入’了。”
</>
# B+ [4 _  g) x" u重2九譯
: b6 ~' S' ]8 c0 D# n语言经过辗转翻译才能听懂。借指边远之地。《史记·大宛列传》：“且誠得而以義屬之，則廣地萬里，重九譯，致殊俗，威德徧於四海。” 张守节 正义：“言重重九遍譯語而致。”参见“ 重2譯”。

54john

再一个问题：如何去掉重复词条？

1、试试这个
/ j6 H! D6 B! c( `3 mue中选perl模式
查找：(?m)。(\w+)$\r?\n^①
/ S* F4 y& Z2 s% V  [$ C替换：。\r\n</>\r\n\1\r\n①
2、
$ R% E' Z8 v2 I% ~4 P) C. ^' G3 X, L查找：(\w)[1-4](\w)
替换：\1\2
3、
5 J8 o4 @# X+ f同问？

54john

原帖由 youweiwu 于 2009-5-15 23:49 发表
1、试试这个
ue中选perl模式
) V* b. \! @4 C' Z2 A' [2 f查找：(?m)。(\w+)$\r?\n^①
替换：。\r\n\r\n\1\r\n①
2、
查找：(\w)[1-4](\w)
2 {1 M. V# ]5 ?* O& z! f/ q替换：\1\2
/ b4 ~: q  x# z  Z! h' r3、
同问？

, v) a7 I: z9 h6 ]; e

非常感谢你的指点。

54john

原帖由 youweiwu 于 2009-5-15 23:49 发表
1、试试这个
ue中选perl模式
查找：(?m)。(\w+)$\r?\n^①
6 @* F4 D- X5 R替换：。\r\n\r\n\1\r\n①
2、
  B2 [7 W7 z! `查找：(\w)[1-4](\w)
替换：\1\2
  M6 P4 J) l8 Q3 i6 q$ e: v& J3、
同问？

) w4 x, M9 c; v/ [试了第二个问题，但不成功。不是要删除所有的，只是要删除类似参见“ 重2陽”和</>后面的重2九登高的数字，否则“年2月”中的2也给删除了。
, K/ n0 V5 M# g
# B, E& }. F+ n. [- p& n[ 本帖最后由 54john 于 2009-5-16 17:46 编辑 ]

查找(?<=</>\r?\n)(\w)[1-4](\w)|(\w)[1-4](\w)(?=”。\r?\n</>)看行不行，不然没办法了。:'(

cdyg

这两天没有上论坛，刚刚才看到。
首先要将文本全部转换成UNICODE格式。
) w: ]% c  u7 @1、选择UE正则表达式引擎，
0 C9 s' y8 K1 R' y; i8 y查找："。^(?^)^p①"(引号内）
7 \# u7 M/ S! i& d3 P) c' h: R7 P替换："。^p</>^p^1^p①" 即可
2、要替换两次，第一次：
/ F' |, s5 K: I. L1 M2 [" v查找："参见“ ^(?^)2^(?^)"
3 H  A7 Y# O& u0 V- B9 c1 j替换："参见“^1^2"
( X2 H: D5 J6 C9 _. A+ g( b2 y5 v, v
. D; h9 O) e7 d4 K5 x6 X第二次：
查找：</>^p^(?^)2   替换：</>^p^1
如果不仅是2有其它的数字，把2改成[2-9]即可。

3、如果会SQL语言通过程序来处理会比较方便一些。
0 i/ |9 Y" w  y& F7 T不过还有另一种办法：请先将换行符全部替换成特殊的字符（如@@@），转换后使一个词条为一行；然后用EXCEL打开（当然EXCEL最多只支持65536条词条，如果超过请截成多个文本。），排序，在B2单元格上构造一个公式：
, W& E$ q" F5 _B2=IF(A2=A1,1,0)，然后把公式给复制到B2以下的所有单元格，见附图：

0 [% `7 w- t6 E: t7 U* {这样很明确，凡是B列单元格中值为1的一定是重复的词条，通过EXCEL的数据→筛选→自动筛选 操作，删除值为1的所有行即可。

54john

原帖由 cdyg 于 2009-5-17 18:49 发表
1 _( K2 g7 B. a4 f  c这两天没有上论坛，刚刚才看到。
+ h7 \( Q- g! Q9 B8 D3 F2 C6 U  }首先要将文本全部转换成UNICODE格式。
5 Z$ p: d, Z& {" Z  ]# S1、选择UE正则表达式引擎，
查找："。^(?^)^p①"(引号内）
; l: D' g7 H; A5 `+ k+ O; R/ w替换："。^p^p^1^p①" 即可
2、要替换两次，第一次：
查找："参见“ ^(?^)2^( ...

谢谢，谢谢，有空要一点一点改了。

cdyg

不客气，如果制作过程中有什么问题，可以一起交流。

54john

原帖由 cdyg 于 2009-5-18 12:23 发表
! }+ X( x/ I' [' M) _不客气，如果制作过程中有什么问题，可以一起交流。

* i( ~  w. E; ?/ V% ~- d5 t向cdyg版主学习使用ULTRAEDIT。关于找出重复词条的办法也可这样：利用正则表达式生成只有关键词的文件(感谢rayman提示)，再用cdyg的办法在EXCEL中查找、比较、删除。现在要请教的问题是：如何生成只有关键词的文件，把所有内容和</>替换掉。

7 I, r# Q9 ^5 w+ P2 E- m[ 本帖最后由 54john 于 2009-5-18 20:56 编辑 ]

yru

关于删除重复词条的问题，由于我在修订牛津双解时处理过，说下我的做法
7 G$ G0 z/ u5 Z- ^. G+ o! {* Z9 A我用的是Boxer Text Editor这个软件，它可以直接搜索重复词条，而且这个它打开文件比UE更快。具体是，将关键词和内容合并在一行，然后直接搜索，自动生成一个记录重复词条的文本文件。但我后面是手工删除，还是比较麻烦。
-------------------------------------------------
. X+ K6 a7 J1 F- S顺便借此向cdyg版主请教一个问题：
# [& e. r" K; z* j" I7 X9 O4 g如何用正则表达式将文档中固定位置的大写字母单词替换成小写字母单词？例如
% A, v8 U" N. w<a herf "entry=ABC">ABC</a>
中的两个ABC
* Z( \% ]+ H& \' C3 ^: D; Y
[ 本帖最后由 yru 于 2009-5-18 21:45 编辑 ]

cdyg

原帖由 54john 于 2009-5-18 20:19 发表


向cdyg版主学习使用ULTRAEDIT。关于找出重复词条的办法也可这样：利用正则表达式生成只有关键词的文件(感谢rayman提示)，再用cdyg的办法在EXCEL中查找、比较、删除。现在要请教的问题是：如何生成只有关键词的文 ...

1 O3 K" Q; c& l7 H8 C
) x* {& a9 x. x& _4 h$ Y1 z不敢说请教:$ :$ 互相交流吧!
( @4 E; W4 J( g' y5 k9 K3 L! N我原来理解你所说的词条是指词条与正文内容都重复。如果你指的仅是词条重复那就更简单了，查找</>^p*%，然后勾选中advanced中的list lines containing string，点击next，列出所有关键词后点击clipbord，新建文本粘贴，去除所有的</>标志，再补上第一条词条就是所有关键词的目录了。

cdyg

原帖由 yru 于 2009-5-18 21:44 发表
- |* i4 A( P/ T6 ~  a8 Y如何用正则表达式将文档中固定位置的大写字母单词替换成小写字母单词？例如
7 O5 R) w; X6 {! {+ ]<a herf "entry=ABC">ABC</a>
2 }8 t4 Q0 v! S* a中的两个ABC

# s5 c+ K+ B7 ^9 u0 e  n这个用正则表达式很难胜任，我考虑的办法是，可以在"<a herf "entry="与</a>的前后加上特殊分隔符号如###，然后用EXCEL打开，仅以###为分隔符，这样就会使含有“<a herf "entry=”的标志出现在固定的第二列中（除非一个词条有2处以上的跳转，其它不含跳转的词条都在第一列），然后选中这一列，新建列用lower()公式转换为小写后粘贴回该列为数值格式。（或将这一列以纯文本复制到WORD中，通过大小写转换工具直接转换为小写再粘贴回EXCEL）
当然更简单的办法是，如果对程序比较熟，将“a herf "entry=”与<a>之间ascii值大于96且小于128的文本的值直接减去96转换成ascii即可。
% h, \1 D7 i: ~" }+ d/ z8 {
! r5 u+ O* B" v8 d6 v7 T3 W[ 本帖最后由 cdyg 于 2009-5-19 12:24 编辑 ]

cdyg

还有一种更简单的办法就是利用UEDIT的宏工具：
, Q7 N- i; X( y编辑宏，将以下文本粘贴到宏窗口中：

InsertMode
! y' k5 g, p& X9 UColumnModeOff
. F: t, ~9 |5 }1 [6 fHexOff
UltraEditReOn
Find MatchCase RegExp "<a herf "entry*</a>"
; J, T# ?5 A( c6 UToLower
0 }- _2 L: Q4 _  r( R2 DKey END
/ |( v5 x0 R: B/ ^0 r* E

按CTRL-M键运行这个宏直到文件结尾即可。

cdyg

附件是这个宏文件：
/ F% ~6 d' t. @% Z9 N6 s加载宏文件，宏→多次运行宏→选中lower，勾选play macro to end of file

54john

原帖由 cdyg 于 2009-5-19 11:23 发表

' p  V1 ^/ N& ?# V
不敢说请教:$ :$ 互相交流吧!
4 _( C, N. ?& l% z; o% v我原来理解你所说的词条是指词条与正文内容都重复。如果你指的仅是词条重复那就更简单了，查找^p*%，然后勾选中advanced中的list lines containing string，点击next，列出所有关键 ...

6 Z' ^; a# g/ k5 [/ M$ S
是我没说清楚，本意是指词条与正文内容都重复，用你的方法已导出词条索引文件就可以了。再请教一个问题：查找时要找除</>之外的三个任意字符如何找？

yru

非常非常感谢cdyg版主！

cdyg

原帖由 54john 于 2009-5-19 13:17 发表

3 P& e# B' q- H7 W
) O. {. ]. n# P是我没说清楚，本意是指词条与正文内容都重复，用你的方法已导出词条索引文件就可以了。再请教一个问题：查找时要找除</>之外的三个任意字符如何找？

查找：[~</>][~</>][~</>]

54john

再问一个问题：如何查找除词条外以汉字结尾的行？