百度百科mdict版制作方法，支持批量文本导入和图片下载

ldlcau · 发表于 2008-10-6 09:42:44

本帖最后由 ldlcau 于 2010-3-15 08:23 编辑

修改了三个文件见附件baike-2010-3-10.rar
增加文件bk3.asp用于更新现有数据。设置更新的词条最少编辑次数，编辑次数(gxcs)超过此的则更新，请修改表baike添加字段ygx，类型int.
表结构有变动，请按照建表语句来建表
由于百度百科经常更换样式，下载百度百科可能会出现无法下载的现象，请修改bk2.asp。

建表语句
CREATE TABLE [dbo].[baike] (
 [id] [int] IDENTITY (1, 1) NOT NULL ,
 [title] [varchar] (200) COLLATE Chinese_PRC_CI_AS NULL ,
 [leibie] [varchar] (100) COLLATE Chinese_PRC_CI_AS NULL ,
 [content] [text] COLLATE Chinese_PRC_CI_AS NULL ,
 [gx] [smallint] NULL ,
 [bid] [int] NULL ,
 [ispic2] [smallint] NULL ,
 [gxtime] [datetime] NULL ,
 [bjtime] [datetime] NULL ,
 [gxcs] [int] NULL ,
 [bangzhu] [int] NULL ,
 [ispic] [int] NULL ,
 [tz] [int] NULL ,
 [pid] [varchar] (50) COLLATE Chinese_PRC_CI_AS NULL ,
 [yc] [int] NULL
 [ygx] [int] NULL
) ON [PRIMARY] TEXTIMAGE_ON [PRIMARY]
修改了部分内容，发现运行中有错误的请重新下载.
支持批量文本导入，可以建立个人的百科。

 最后修改时间：2010-3-15

需要环境：sqlserver2000+iis
下载更新百度百科，硬盘空间最少6G，NTFS格式。网络环境：保证24小时不间断。(仅仅是个人数据库不需要)

制作方法：

本程序除可以下载更新百度百科外，也支持批量导入文本文件，建立个人的数据库。
一、建立两个网页服务器
http://127.0.0.1 正常浏览网页所用的服务器
http://127.0.0.1:111 更新数据的 iis服务器，注意在server服务器版操作系统才支持建立多个web服务器(仅仅是个人数据库不需要)
都指向同一目录
index.asp 首页、浏览、添加、修改、检索
bk2.asp 或 index3.asp 更新百科数据文件(仅仅是个人数据库不需要，可以删除)
dsn.asp 数据库连接文件
js.xml 保存更新进度数据，注意ntfs下要设置为所有成员均可修改。

二、建表
表名 baike 参见上面的建表语句
sql安装时验证方式要采用混合模式
请注意一定要把数据库和日志设在ntfs分区，数据库大小不限，要保证剩余磁盘空间大于6G。
数据库设置里设为自动收缩数据库文件。
(也可利用查询分析器导入baike.sql)

三、下载更新数据(仅仅是个人数据库不需要)
http://127.0.0.1:111/index3.asp更新数据，更新过程中请不要关闭index3.asp。
如果下载数据出错，请检查bk2.asp，使用response.end命令检查输出是否正确。
可以批量导入txt文件或htm文件，txt文件或htm文件放在网站txt目录下，可以一次性导入多条txt文件或htm文件，txt文件或htm文件的标题作为title,txt文件的内容写入content。导入前请用工具将文件名改为中文。

支持图片下载，需要下载图片时，将bk2.asp中的qt=0改为qt=1即可。

四、导出txt
选择导出到txt，选择用一条查询命令导出数据，
输入查询语句：“ select title,content from baike where not(title like '%/%') ”(不含引号)
下一步中，文件类型选ansi或者unicode，列分隔符选制表符，文本限定符选<无>。
点击转换，选择转换。点击转换选项，使用下面的转换语句：
Function Main()
DTSDestination("title") = replace(replace(trim(DTSSource("title")),chr(9),""),chr(10),"")&vbcrlf
DTSDestination("content") = replace(DTSSource("content"),"</>","")&vbcrlf&"</>"
Main = DTSTransformStat_OK
End Function
确定后导出。
--------------
------------
导出带图片的内容方法
在企业管理器图形界面执行
1、选择导出到txt，选择用一条查询命令导出数据，导出sql语句
＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝
select title,bid,ispic,pid,content from baike where not(title like '%/%')
＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝
2、
下一步中，文件类型选ansi或者unicode，列分隔符选制表符，文本限定符选<无>。
点击转换，选择转换。点击转换选项，使用下面的转换语句：
＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝
Function Main()
DTSDestination("title") = UTF2GB(Replace(Replace(trim(DTSSource("title")),chr(9),""),chr(10),""))&vbcrlf
DTSDestination("content") =HTMLEncode6(DTSSource("content"),DTSSource("ispic"),DTSSource("bid"),DTSSource("pid"))&vbcrlf&"</>"
Main = DTSTransformStat_OK
End Function
function HTMLEncode6(fString,ispic,bid,pid)
if isnull(fString) or fString="" then
HTMLEncode6 =" "
exit function
end if
if isnull(ispic) or ispic="" then ispic=0
if isnull(bid) or bid="" then bid=1
if isnull(pid) then pid=""
fString=trim(fString)
fString ="|||||"&fString
fString = Replace(fString, "||||| ","")
fString = Replace(fString, "|||||","")
fString = Replace(fString, "</>", "")
fString = Replace(fString, "<a href=#", "<A HREF=entry://#")
fString = Replace(fString, " >", ">")
fString = Replace(fString, " ","")
fString = Replace(fString, " "," ")
fString = Replace(fString, " "," ")
if ispic=1 then
fString ="<img src="&CHR(34)&"file:///down/"&int(trim(bid)/10000)&"/"&trim(bid)&".jpg"&CHR(34)&" border=0> "&fString
elseif ispic=2 then
fString ="<img src="&CHR(34)&"file:///down2/"&trim(pid)&".jpg"&CHR(34)&" border=0> "&fString
end if
HTMLEncode6 = fString
end function
function UTF2GB(UTFStr)
tempUTFStr=UTFStr
UTFStr=replace(UTFStr,"&","&")
UTFStr=replace(UTFStr,"・","·")
UTFStr=replace(UTFStr,"‧","·")
UTFStr=replace(UTFStr,"'","’")
UTFStr=replace(UTFStr,"‎","")
if len(trim(UTFStr))>0 then
UTF2GB=UTFStr
else
UTF2GB=tempUTFStr
end if
end function
＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝
3.转换辞典
制作图片文件时将图片文件夹下的那个隐藏文件Thumbs.db文件删除
在使用MdxBuilder制作词库时，将Data路径指向上面存放数据的目录，该目录中的
所有文件都会被压缩到后缀名为.mdd文件中,使用时该.mdd文件应当与.mdx文件在同一目录下

五、转换mdict
原始格式：选mdict(html)

编码方式：
文件类型ansi，编码方式选GBK
文件类型unicode，编码方式选utf-16
即可

六、清除临时文件(仅仅是个人数据库不需要)
更新数据时，会在系统盘windows/temp下产生临时ie文件，请定时删除

七、收缩数据库日志文件(数据库不是太大没必要进行)
收缩数据库文件(如果不压缩，数据库的文件不会减小）
查询管理器里执行
DUMP TRANSACTION 库名 WITH NO_LOG
BACKUP LOG 数据库名 WITH NO_LOG
然后
企业管理器--右键你要压缩的数据库--所有任务--收缩数据库--收缩文件
--选择日志文件--在收缩方式里选择收缩至XXM，这里会给出一个允许收缩到的最小M数，直接输入这个数，确定就可以了。
--选择数据文件--在收缩方式里选择收缩至XXM，这里会给出一个允许收缩到的最小M数，直接输入这个数，确定就可以了。

八、导出时删除标题重复的数据
select title,content from baike where id in(SELECT MAX(id) AS id FROM baike GROUP BY title)

[ 本帖最后由 ldlcau 于 2009-1-6 10:11 编辑 ]

显示全部楼层 · 发表于 2008-10-6 18:15:36

虽然不太懂，但还是要顶地。

显示全部楼层 · 发表于 2008-10-7 08:58:26

学习了。

haoyang2007 · 发表于 2008-10-8 13:59:14

支持一下，慢慢体会，谢谢老大分享好经验！！！

jimgreen · 发表于 2008-10-10 00:13:45

支持到底

ldlcau · 发表于 2008-10-11 09:16:11

添加了图片，更新了部分网页文件，以前下载的请重新下载。
支持批量文本导入，可以建立个人的百科。

ldlcau · 发表于 2008-10-11 14:32:51

漏掉了一个文件，已经放上
请重新下载。

ldlcau · 发表于 2008-10-14 10:40:48

支持图片下载，需要下载图片时，将bk2.asp中的qt=0改为qt=1即可。
图片保存在down文件夹下

pengcn · 发表于 2008-11-19 16:42:09

支持:) :)

xiaoyf328 · 发表于 2008-12-8 10:10:53

看得我云里雾里的。。。学习了！

QWP960 · 发表于 2009-1-4 16:52:40

谢谢LZ:loveliness:

显示全部楼层 · 发表于 2009-1-6 08:26:15

原帖由 ldlcau 于 2008-10-11 09:16 发表 ( J) M0 _ L" z! d# Z6 F% }
添加了图片，更新了部分网页文件，以前下载的请重新下载。: J7 t% E+ W1 v4 G
支持批量文本导入，可以建立个人的百科。

个人百科，添加也是这样么？

ldlcau · 发表于 2009-1-6 10:06:50

个人百科可以通过文本文件批量导入

QWP960 · 发表于 2009-1-6 11:45:04

IZ麻烦你给出个《百度知道》的制作方法，如果有百度百科和百度知道这两本字典，那真的无敌了。:lol

ghostxp101 · 发表于 2009-1-13 10:02:07

IZ麻烦你给出个《百度知道》的制作方法，如果有百度百科和百度知道这两本字典，那真的无敌了。

:D :D

ldlcau · 发表于 2009-1-13 10:41:47

百度知道方法类似
下载数据- 转换数据- 导入数据 -制作

tony4d · 发表于 2009-1-20 18:24:43

严重看不懂，偶果然是菜鸟呀

步疾风 · 发表于 2009-3-9 11:42:18

楼主真是神人啊....

iaciac · 发表于 2009-3-30 22:04:29

正在用，很好很强大！！

wangruian · 发表于 2009-6-7 10:13:44

太麻烦了

apple841007 · 发表于 2009-6-13 01:07:30

谢谢支持呀

wangyqyx2003 · 发表于 2009-7-22 23:46:28

反复用了好几次还是下载不了，想制作一个只包括“科学”的个人百度，请帮助我啊，继续学习SQL

mutant · 发表于 2009-7-23 01:41:05

Interesting!

凡拉蒙 · 发表于 2009-7-25 09:41:31

外行看内行，真的一头雾水！:L

ldlcau · 发表于 2009-12-9 13:19:51

默认bk2.asp取图打开
如果是未取得数据把bk2.asp
<META content="60; URL=bk2.asp" http-equiv=Refresh>
中的60改大一些，<META content="90; URL=bk2.asp" http-equiv=Refresh>
看看

		自动登录	找回密码
密码			免费注册

[教程] 百度百科mdict版制作方法，支持批量文本导入和图片下载

本帖子中包含更多资源

评分

相关帖子

顶顶顶