设为首页收藏本站
切换到窄版

掌上百科 - PDAWIKI

 找回密码
 免费注册

QQ登录

只需一步，快速开始

掌上百科 - PDAWIKI»首页 › 交流专区 - Discussion › 外语学习交流区 - Foreign Language Learning › 双语对齐工具网页版radiobee aligner
返回列表 发新帖
查看: 5281|回复: 18

[索引] 双语对齐工具网页版radiobee aligner

[复制链接]
mikeee
  • TA的每日心情
    开心
    2019-8-21 08:44

    • 签到天数: 163 天

    [LV.7]常住居民III
    发表于 2021-12-28 14:13:22 | 显示全部楼层 |阅读模式
    本帖最后由 mikeee 于 2022-1-18 01:00 编辑 / ~4 X, F  }" ]

    * Y) O7 N" i0 A9 ~5 P/ Hhttps://huggingface.co/spaces/mikeee/radiobee-aligner- F  H, \0 a# R1 Y* v7 K
    8 Q5 `  l( b0 z1 C; a$ {3 I% d
    ; |5 g- J& `  K
    《呼哮山莊》第一章对齐结果片段7 S+ W0 A) t; r( F+ a+ `: h

    8 |1 E, F% g% p/ T1 g; ~4 `1 O5 ^工具仍处在开发初期，但基本可以用了，个人认为效果不错，而且速度很快，几千段几秒钟可以出结果。目前仅支持 中英 英中 上传文件。可预览（上图），可以下载对齐后的 csv、xlsx 格式文档。
    ! r/ Q7 m) _8 j' j界面是英文的，但很简单，点击FILE 1， FILE 2 处上传或将文件拖到FILE 1、FILE 2处。点击 SUBMIT。（参数微调无需理会）几秒钟后就有结果。点击 CLICK TO DOWNLOAD CSV 下载文本文档或点击 CLICK TO DOWNLOAD XLSX下载 xlsx文档。
    : ~) B; ~8 ^; m1 O6 d9 g; e& o+ ~! w5 C& x9 a) g
    也可点击 Examples 里的文档做对齐看效果：含《呼哮山莊》第一章、莎士比亚全集前500段以及《红楼梦》第一章。
    8 l" P2 J4 b: e) [' A8 i) u0 R/ `$ c2 d0 l$ g/ ~9 [
    网页由机器学习公司Huggingface托管，我并不能看到或保存用户上传的内容。但仍需注意去掉文件里的敏感信息。
    3 w/ u1 k, ~! F
    6 }- N$ g# B% S0 \4 O( M5 c/ A/ |8 hradiobee aligner和 Abbyy Aligner 无任何关系。radiobee aligner全部源码（除了一个文件外）可以在Huggingface网站点击Files and versions（https://huggingface.co/spaces/mikeee/radiobee-aligner/tree/main）查看。
    . X, ~0 J2 t- ~

    本帖子中包含更多资源

    您需要 登录 才可以下载或查看，没有账号？免费注册

    x

    评分

    1

    查看全部评分

    回复

    举报

    wiray
  • TA的每日心情
    怒
    2025-6-19 17:53

    • 签到天数: 643 天

    [LV.9]以坛为家II
    发表于 2021-12-28 15:54:12 | 显示全部楼层
    感谢分享！意思是以后会出软件PC版？
    回复 支持 反对

    举报

    mikeee
  • TA的每日心情
    开心
    2019-8-21 08:44

    • 签到天数: 163 天

    [LV.7]常住居民III
     楼主| 发表于 2021-12-28 16:03:50 | 显示全部楼层
    wiray 发表于 2021-12-28 15:54
    ; T! s% H; c1 }) w$ k% S/ @感谢分享！意思是以后会出软件PC版？
    ( Q& m: s) F4 T' B# I, `- Y
    有这个打算…… 因为自动对齐后手动交互编辑好像是不可避免的，不可能做到100%准确。网页版做交互编辑好像很困难，所以最终得回归桌面app。
    回复 支持 反对

    举报

    wiray
  • TA的每日心情
    怒
    2025-6-19 17:53

    • 签到天数: 643 天

    [LV.9]以坛为家II
    发表于 2021-12-28 16:30:17 | 显示全部楼层
    mikeee 发表于 2021-12-28 16:03
    7 }/ |1 y, m9 Z( F  v有这个打算…… 因为自动对齐后手动交互编辑好像是不可避免的，不可能做到100%准确。网页版做交互编辑好 ...
    & N5 K5 H8 b& N+ {6 \* `* {+ z
    很好！期待！
    回复 支持 反对

    举报

    Shiny2020
  • TA的每日心情
    开心
    前天 16:40

    • 签到天数: 606 天

    [LV.9]以坛为家II
    发表于 2021-12-28 23:23:46 | 显示全部楼层
    似乎有类似产品，但是终归是躲不开手动调节哒，人机相互协作！
    回复 支持 反对

    举报

    mikeee
  • TA的每日心情
    开心
    2019-8-21 08:44

    • 签到天数: 163 天

    [LV.7]常住居民III
     楼主| 发表于 2021-12-29 10:37:40 | 显示全部楼层
    本帖最后由 mikeee 于 2021-12-29 11:08 编辑
    0 X/ E. Y7 E' q
    Shiny2020 发表于 2021-12-28 23:235 s- _/ q. Z7 b6 l3 @
    似乎有类似产品，但是终归是躲不开手动调节哒，人机相互协作！
    * t* y( q; S: x4 a4 u0 u( Q7 ~$ P) h
    , Q( r: g* J9 i
    类似产品里A bbyy Aligner可能是最优秀的。不过 radiobee aligner基本上可以甩a bbyy aligner几条街，不信可以让a bbyy aligner去对齐一下https://huggingface.co/spaces/mikeee/radiobee-aligner Examples 里的shakespeare500及红楼梦ch1
    回复 支持 反对

    举报

    Shiny2020
  • TA的每日心情
    开心
    前天 16:40

    • 签到天数: 606 天

    [LV.9]以坛为家II
    发表于 2021-12-29 10:41:26 | 显示全部楼层
    mikeee 发表于 2021-12-29 10:37
    ( K' v2 o2 `1 z类似产品里Abbyy Aligner可能是最优秀的。不过 radio aligner基本上可以甩a bbyy aligner几条街 ...

    * t# p( |9 u, M; a1 ^# c, d9 Y哈哈哈，好的，等假期细细研究，谢谢分享。
    回复 支持 反对

    举报

    louislaolu
  • TA的每日心情
    开心
    2020-3-8 09:14

    • 签到天数: 1 天

    [LV.1]初来乍到
    发表于 2021-12-29 19:21:42 | 显示全部楼层
    本帖最后由 louislaolu 于 2021-12-29 19:42 编辑
    3 r. h! j$ g/ o6 d) w! M9 e2 y" F! {# A" A; Z
    这么拽！那一定要试试。
    回复 支持 反对

    举报

    louislaolu
  • TA的每日心情
    开心
    2020-3-8 09:14

    • 签到天数: 1 天

    [LV.1]初来乍到
    发表于 2021-12-29 19:43:37 | 显示全部楼层
    本帖最后由 louislaolu 于 2021-12-29 19:44 编辑
    9 I' d2 w2 ]! H! ^% b+ f6 k" i, l7 v: F& E
    各位大咖，有没有靠谱的双语术语提取软件给推荐下，尤其是能够处理英汉对齐语料那种。
    回复 支持 反对

    举报

    mikeee
  • TA的每日心情
    开心
    2019-8-21 08:44

    • 签到天数: 163 天

    [LV.7]常住居民III
     楼主| 发表于 2021-12-29 20:33:56 | 显示全部楼层
    louislaolu 发表于 2021-12-29 19:43
    & U3 _$ m& O* A. b( {9 _各位大咖，有没有靠谱的双语术语提取软件给推荐下，尤其是能够处理英汉对齐语料那种。 ...

    3 \- Y( ]7 t7 A9 \2 z5 E/ `: H; E. p术语提取其实是另一个层次上的对齐——找对应的词组对。句句对齐后再做，有个python包叫 simaligner https://github.com/cisnlp/simalign 做这事的，不过速度很慢。我做完radiobee aligner或许做个数据提取工具。请期待
    回复 支持 反对

    举报

    louislaolu
  • TA的每日心情
    开心
    2020-3-8 09:14

    • 签到天数: 1 天

    [LV.1]初来乍到
    发表于 2021-12-29 22:50:12 | 显示全部楼层
    mikeee 发表于 2021-12-29 20:33$ y; v* J! R( S8 F$ A
    术语提取其实是另一个层次上的对齐——找对应的词组对。句句对齐后再做，有个python包叫 simaligner http ...

    3 B5 G- _0 L3 s" t哈哈，就冲你这句话，我对2022已经满是期待。提取工具用什么办法把词汇层面对齐的术语和一般词语区分开来？
    回复 支持 反对

    举报

    mikeee
  • TA的每日心情
    开心
    2019-8-21 08:44

    • 签到天数: 163 天

    [LV.7]常住居民III
     楼主| 发表于 2022-1-12 11:23:19 | 显示全部楼层
    本帖最后由 mikeee 于 2022-1-12 11:36 编辑 & K6 k, t0 o* c2 h

    ! G9 E6 v: r* y- F    B3 \! k& l% @5 i* m
    托马斯·潘恩《常识》 整本书撂给 radiobee 压测结果（上图仅显示对齐线）。
    8 [3 f8 A( t( A4 I0 Q( b
    2 H! Q5 f8 t% Q2 y* H有兴趣的网友自己动手试试：
    # I3 D. k' I* s0 D- ?$ o5 s7 E/ Q$ E8 l; K5 ^
    ( V( o1 E) n% e
    用时仅 3.2秒！- Y  M% S! o% J0 w; J# b4 U1 f
    - L2 ^  ~: Y. Q1 G
    附上 epub 版
    , n. \' }; N9 S+ y6 E* `) e
    , B6 P3 W& O5 g4 K4 T: FPS：个人认为，此书值得对政治有点兴趣的群友一读，即便对政治没有兴趣读一读此书也有助于拓展视野。

    本帖子中包含更多资源

    您需要 登录 才可以下载或查看，没有账号？免费注册

    x
    回复 支持 反对

    举报

    mikeee
  • TA的每日心情
    开心
    2019-8-21 08:44

    • 签到天数: 163 天

    [LV.7]常住居民III
     楼主| 发表于 2022-1-18 01:12:44 | 显示全部楼层
    本帖最后由 mikeee 于 2022-1-18 01:15 编辑
    7 ?6 T; B4 A  v
    2 @; W: m8 W; S* j7 ~ https://huggingface.co/spaces/mikeee/radiobee-aligner
    7 v% ?) ^8 m$ J( {; {. s9 xradiobee 对齐已经支持多种语言对并支持自动分离。
    ( F9 v: ?" i- n+ k& K& d
    - d. n/ X8 P6 L( W有兴趣的网友可以从 Examples 表里选定 德中 日中 对齐的例子，再点击 Submit。对齐一本书只需 30 秒左右！所有的测试文件都在  data 目录里 https://huggingface.co/spaces/mi ... gner/tree/main/data ，可以右击文件名下载。不妨用 A bbyy Aligner 对齐及比较一下结果。
    回复 支持 反对

    举报

    周海龙99220
  • TA的每日心情
    开心
    2022-3-5 22:04

    • 签到天数: 88 天

    [LV.6]常住居民II
    发表于 2022-2-12 11:06:57 | 显示全部楼层
    楼主真是太厉害了，我用了之后，感觉比国内的在线对齐质量高很多啊，特别是在小语种的准确率上面。多谢多谢
    回复 支持 反对

    举报

    mikeee
  • TA的每日心情
    开心
    2019-8-21 08:44

    • 签到天数: 163 天

    [LV.7]常住居民III
     楼主| 发表于 2022-2-13 18:14:50 | 显示全部楼层
    周海龙99220 发表于 2022-2-12 11:06. u. c7 w7 J- u8 H! G
    楼主真是太厉害了，我用了之后，感觉比国内的在线对齐质量高很多啊，特别是在小语种的准确率上面。多谢多谢 ...
    : {8 G! W# f1 R5 ^: @
    感谢反馈。
    $ [# p2 H/ X4 `, n+ {
    ) e7 `1 g; t  l4 Z/ h有兴趣可以试试其他版本。都支持多语种
    + F1 e2 t+ M8 K* B( `! O演示版句句对齐： https://huggingface.co/spaces/mikeee/radiobee-dev
    ; Z) x, N# k8 r7 n6 ]+ s演示版乱序对齐！全元宇宙独家技术 https://huggingface.co/spaces/mikeee/ultimatumbee
    回复 支持 反对

    举报

    周海龙99220
  • TA的每日心情
    开心
    2022-3-5 22:04

    • 签到天数: 88 天

    [LV.6]常住居民II
    发表于 2022-2-14 09:06:28 | 显示全部楼层
    真的智能，可以节省很多精力。想请问句句对齐是需要自己先把文本处理成一句一句的对吧？
    回复 支持 反对

    举报

    mikeee
  • TA的每日心情
    开心
    2019-8-21 08:44

    • 签到天数: 163 天

    [LV.7]常住居民III
     楼主| 发表于 2022-2-14 12:16:24 | 显示全部楼层
    周海龙99220 发表于 2022-2-14 09:062 z/ L- _6 O* r' e5 ?  p
    真的智能，可以节省很多精力。想请问句句对齐是需要自己先把文本处理成一句一句的对吧？ ...
    * ]" k6 ]6 K9 X8 s" ?6 z! a
    不用自己处理， https://huggingface.co/spaces/mikeee/radiobee-dev 下面有个选项
    ! c% u8 A/ c) w3 p. e2 ^
    1. sent ali algo  z! ?. [9 s( K( \9 x3 e
    2. None fast slow
    复制代码
    ( J+ N3 l( E3 P' R

    : d! ?* f# l' F9 c& B
    ' t  r7 J  L' {/ iNone: 不分句
    3 b' Z+ A0 o; E/ q! `Fast：对齐分句的方法A，快一些但可能性能稍差一点9 O& f! B: Y. q( W0 \
    Slow：对齐分句的方法B，慢一些4 q* A+ j  e! D/ X' w) X

    - ^/ ^( n$ ~" \5 J) _4 t# H由于分句用的是一个不可定制的方法（例如，有些人可能希望在分号处分句），有特殊需要的分句就需要自己分句后作为段段对齐（选None，预设）或用 一些 的段段对齐。
    $ O0 Q# l; Y4 \  L1 h  

    本帖子中包含更多资源

    您需要 登录 才可以下载或查看，没有账号？免费注册

    x
    回复 支持 反对

    举报

    周海龙99220
  • TA的每日心情
    开心
    2022-3-5 22:04

    • 签到天数: 88 天

    [LV.6]常住居民II
    发表于 2022-2-14 20:12:05 | 显示全部楼层
    收到，多谢，马上试验一番
    回复 支持 反对

    举报

    周海龙99220
  • TA的每日心情
    开心
    2022-3-5 22:04

    • 签到天数: 88 天

    [LV.6]常住居民II
    发表于 2022-2-14 20:48:58 | 显示全部楼层
    mikeee 发表于 2022-2-14 12:16+ F9 h# I5 e6 Q2 ~: u
    不用自己处理， https://huggingface.co/spaces/mikeee/radiobee-dev 下面有个选项! P( q$ I$ v! X8 s# p5 [" O* Q' k
      

    + K# {1 M1 A: `7 p/ g! Z; v社科类的双语材料对齐，完全可以适用。太感谢了
    回复 支持 反对

    举报

    返回列表 发新帖
    高级模式
    B Color Image Link Quote Code Smilies
    您需要登录后才可以回帖 登录 | 免费注册

    本版积分规则

    小黑屋|手机版|Archiver|PDAWIKI |网站地图

    GMT+8, 2026-10-23 03:48 , Processed in 0.023916 second(s), 21 queries .

    Powered by Discuz! X3.4

    © 2001-2023 Discuz! Team.

    快速回复 返回顶部 返回列表