|
|
本帖最后由 Oeasy 于 2023-6-27 21:59 编辑 8 w7 E0 G' T( X% B9 t' c" K
" o s- O" s7 `4 X/ |& T( I$ o& s# `, [2 r$ B$ j3 f( V
爾雅 https://www.shidianguji.com/book/SBCK013
+ g7 v0 o, t4 S/ O3 O' D0 r
F- g$ d% b1 | M4 `
& K% X& q. M- ]0 d9 H参考：https://gongyi.bytedance.com/iss ... 71608696212753797480 y! d4 d) G- }# ~0 Y
20230314 字节跳动古籍保护专项基金介绍及重点项目 http://www.news.cn/culture/20230 ... e25ba9f441c4/c.html3 h7 m$ Q2 S n3 J/ a; {) _* H- x
20220407 "识典古籍"上线，千万字符在这里跳动 https://gongyi.bytedance.com/detail/7161003434291775518
3 F! H( g7 A+ v8 `2 N7 R2022年04月07日
. c' z. i" Y4 N; W% E, C
, B4 X3 q8 T8 ^, |) f- m$ w6 D近日，字节跳动与北京大学合作研发的古籍数字化平台“识典古籍”测试版正式上线了。, G7 s' E, Z. t0 U m) l% b
' v, _, o) Z& l* z( ~% A
目前，平台已经整理上线了390部经典古籍，共计3000多万字，主要来自《四部丛刊》；预计在3年内，我们将完成10000种古籍数字化整理，基本覆盖儒家、道家和佛家的核心典籍目录，并对全社会免费开放，公众可以通过识典古籍平台高效检索、阅读和利用古籍。% o+ a7 D% h0 W$ Y8 d; R( a- u4 r
3 k0 ^9 b! v. |7 K2 Y感兴趣的朋友可以在PC端进入网站https://www.shidianguji.com/进行体验。9 b: ^+ x; Y" b
3 g9 ?' C& D1 O5 ]) ]! L) J: ^: @0 T
3 h2 B& O- `- M) B. _" s1 y
( Z# S& K) A l# Q' ]+ w, `+ P2 V- U/ K
一直以来，古籍数字化整理面临着技术、资金等诸多困难，导致数字化进展缓慢，或使用体验不佳等。据不完全统计，中国现存古籍约20万种，其中已经完成数字化影像扫描的有8万种，而实现文本数字化的仅3-4万种。
/ S& q. v1 ?+ x0 I8 T6 ]2 p
" _+ G8 D+ U3 H4 M" x, Y今年3月，字节跳动与北京大学开展合作，希望通过OCR（光学字符识别）、句读、实体识别、知识图谱构建等方面的多种技术，实现古籍的智能化整理，让古籍能够以文本的形态加以检索、关联阅读和深度挖掘与利用。
( b# t! I- h8 e' f0 e* ^
0 i% g# Z. g: i. Q0 e ~# Q& Y* a01.
& C# d3 c: Q8 `# v( r' u识典古籍测试版的四个特点. u) y" r8 W# B; b' ^
! [% @- ^* X) X' t7 Q- h X+ K: X ]9 b
目前上线的“识典古籍”测试版有以下四个特点：向公众免费开放，实现知识共享；采用影印底本，来源权威；繁简一键转换，方便阅读；灵活检索古籍，运行流畅。& W" O6 P' j% K9 W; {
+ c1 I( m8 Y0 Z A8 q, t, d首先是免费开放，知识共享。为了让更多人阅读到古籍里的内容，促进知识的共享，“识典古籍”数字化平台将长期免费向全社会开放，同时，我们十分欢迎更多古籍收藏机构、研究机构和热心古籍事业的个人一起共建。; ~: e; C4 F2 ]1 e1 u/ o
) Z9 A- T" M3 c
其次是影印底本 ，来源权威。进入“识典古籍”测试版，用户任意阅读一本古籍，均可通过点击“原本影像”，查看古籍的底本影印图像。通过左右对照，大家既能用现代人习惯的方式顺畅地读懂古籍内容，也能感受原汁原味的古籍。
: u9 D% |, D) k* g: ]
* v) v) Y2 v/ |0 X, N
( C4 |- K1 @2 b* e) a6 ~ E# H- A9 }$ E. ?3 h6 B1 S) A
6 r6 [, S$ V" |3 D2 {& I
9 m3 t$ R* a+ @; e/ G第三是，繁简转换，方便阅读。点击右上角繁简体转换功能，可轻松切换繁简字，方便专业研究人员、古籍爱好者以更加高效便利的方式读懂古籍内容。+ F6 M: Q9 h, m, s" K
( r m, W/ ]! A1 k% S$ Y3 n
0 \. l( o: Q6 Y( @8 q4 o
, a5 _& k- x, c$ `( K& v8 e% b+ o8 E. l6 o
s& y& q& D J5 U" {( P% w0 T( c
第四是，灵活检索，运行流畅。用户还可以通过关键词检索，快速找到来自不同古籍的相关内容，方便大家对文献内容进行灵活运用。依托字节跳动积累的产品研发与设计能力，“识典古籍”测试版也保证了使用过程的稳定、快速。
9 @/ A9 I6 |. r% C! q0 A( n4 U0 z" D) l" p$ _0 X0 Q0 b
+ p( l% b. g" ^/ i
9 r8 S* {( v1 | D6 b8 F4 [& f! y1 Z3 H! a
: T( ?& \8 H! }4 j$ m
02. / K2 k3 U+ l2 _' d
古籍是如何实现数字化的？8 H9 J+ U6 }3 _6 M" d
7 R; _! t. D" O
“识典古籍”测试版的开发与上线，依托于字节跳动与北京大学在OCR文字识别、自然语言处理、知识图谱等技术领域的合作。
- A3 J3 b8 R7 D4 s7 t v+ |+ a L1 w8 @, s/ c% \
古籍的数字化主要经历了文字识别、自动标点、命名实体识别三个过程。
% u1 {! i& {9 L3 ?
; ]$ ^& _/ }" o4 |% d第一，在文字识别阶段，OCR技术首先将单个文字从图片中一个个切割开，再将切分好的图片送入模型，识别出具体文字，最后结合文字内容和文字位置获取阅读顺序，完成了文字的识别。目前行业内OCR的识别准确率平均为93%至94%，而“识典古籍”将这个数字提高到96%至97%。( s9 g9 g4 }3 n" A/ k4 p8 W2 o H
0 g P# ^$ S _+ A( x( M- `4 c
3 k* [) a) E" G: @4 F$ F0 w8 Z* Z6 `- g1 G/ B
2 e$ u8 c" J$ C, c# U k3 y! h& ] L5 T
x7 \3 A7 s! @第二，在自动标点阶段，要通过算法，给原本缺少断句的古籍自动打上标点符号。文字识别步骤中被识别出的文字，在编码后被转换为计算机语言，通过计算，文字被打上标点并输出。举个例子，“学而时习之不亦说乎”，自动标点后的结果是“学而时习之，不亦说乎？”
+ o: X" \2 X' \
8 `' a! [) N, u. J; c7 R- ^
. L( k% }$ n- q. @- @/ c a& I; [( D" @; H- \# ~7 h! S
+ N9 \- V. p% r E, C6 c' C# E
5 i `: o& M8 `3 j
第三，为了进一步优化文字识别的精准度，命名实体识别技术会通过预测文字的实体标签，识别包括人名、地名、书籍、时间、官职五种类型的专有名词。* F9 m+ \9 D# M* }
. a- y: [5 d* v# s7 g# {4 c! Q- b
2 I4 w0 L* m" u" P
0 ]2 x* n- a. j3 U5 h6 p1 P
4 R. _ g1 S. j7 [4 k2 [
7 ^0 I! i& W; U: H. [9 [除了搭建古籍数字化阅读平台，字节跳动还在助力古籍修复、古籍活化上进行了探索。2021年6月，字节跳动联合中国文物保护基金会成立古籍保护专项基金，与国家图书馆开展合作，预计1-2年内修复珍贵古籍100余册件，培养100名古籍修复人才。同时，我们还通过古籍纪录片、激励创作者以多元形式演绎古籍知识等，让古籍鲜活起来，吸引更多人喜爱和关注。# ^4 X" I$ ]3 B) S. B( q' I6 \
9 G$ C8 f: j4 z* y1 n7 a" [文以载道，源远流长，古籍穿越历史的长河，带着古人的智慧向我们走来。我们期待与更多的古籍收藏机构、研究团队、爱好者等一起，助力古籍传承，让古籍真正活起来，传下去。
' B! y& G/ _# D- d3 i: z5 ^3 v+ _' C& _* G; m$ H8 {
) v) B' I1 ^5 R1 ~& c* K$ l5 A
/ k- C, Y4 B- Y% l |
评分
-
1
查看全部评分
-
|
发表于 2023-6-27 21:56:32
