设为首页收藏本站
切换到窄版

掌上百科 - PDAWIKI

 找回密码
 免费注册

QQ登录

只需一步，快速开始

掌上百科 - PDAWIKI»首页 › 交流专区 - Discussion › 外语学习交流区 - Foreign Language Learning › 双语对齐工具网页版radiobee aligner
返回列表 发新帖
查看: 4763|回复: 18

[索引] 双语对齐工具网页版radiobee aligner

[复制链接]
mikeee
  • TA的每日心情
    开心
    2019-8-21 08:44

    • 签到天数: 163 天

    [LV.7]常住居民III
    发表于 2021-12-28 14:13:22 | 显示全部楼层 |阅读模式
    本帖最后由 mikeee 于 2022-1-18 01:00 编辑 1 R& t. Q6 b. P* F; H/ O' d7 ^  }
    ' b' S0 y; V0 w2 U. k
    https://huggingface.co/spaces/mikeee/radiobee-aligner: \) T( R( E/ ]: Y7 W/ y
    , a' b( t% P) r( w1 N# |

    . p0 F7 Z( @- b; x4 _* W《呼哮山莊》第一章对齐结果片段
    7 P8 `0 [' z& H- v; a- E$ l5 Z7 y
    ) V8 `0 V+ I  e- Y工具仍处在开发初期，但基本可以用了，个人认为效果不错，而且速度很快，几千段几秒钟可以出结果。目前仅支持 中英 英中 上传文件。可预览（上图），可以下载对齐后的 csv、xlsx 格式文档。
    : R( v, L( g: n3 m9 t9 A界面是英文的，但很简单，点击FILE 1， FILE 2 处上传或将文件拖到FILE 1、FILE 2处。点击 SUBMIT。（参数微调无需理会）几秒钟后就有结果。点击 CLICK TO DOWNLOAD CSV 下载文本文档或点击 CLICK TO DOWNLOAD XLSX下载 xlsx文档。# L/ q  k2 t# u

    7 H7 D% W. U6 r! W  j也可点击 Examples 里的文档做对齐看效果：含《呼哮山莊》第一章、莎士比亚全集前500段以及《红楼梦》第一章。
    2 z8 r5 `* e) P. \. }$ ^
    ; n* G: {" a$ z- P: M网页由机器学习公司Huggingface托管，我并不能看到或保存用户上传的内容。但仍需注意去掉文件里的敏感信息。
    % W5 K9 q; I7 t& Z4 Q" x3 t1 z* ?( I: J9 h
    radiobee aligner和 Abbyy Aligner 无任何关系。radiobee aligner全部源码（除了一个文件外）可以在Huggingface网站点击Files and versions（https://huggingface.co/spaces/mikeee/radiobee-aligner/tree/main）查看。3 b7 n7 t6 a; `6 [9 n

    本帖子中包含更多资源

    您需要 登录 才可以下载或查看，没有账号？免费注册

    x

    评分

    1

    查看全部评分

    回复

    举报

    wiray
  • TA的每日心情
    怒
    2025-6-19 17:53

    • 签到天数: 643 天

    [LV.9]以坛为家II
    发表于 2021-12-28 15:54:12 | 显示全部楼层
    感谢分享！意思是以后会出软件PC版？
    回复 支持 反对

    举报

    mikeee
  • TA的每日心情
    开心
    2019-8-21 08:44

    • 签到天数: 163 天

    [LV.7]常住居民III
     楼主| 发表于 2021-12-28 16:03:50 | 显示全部楼层
    wiray 发表于 2021-12-28 15:54
    ! L9 y! W6 }% w# P感谢分享！意思是以后会出软件PC版？
    8 E' g+ j. L9 P0 U
    有这个打算…… 因为自动对齐后手动交互编辑好像是不可避免的，不可能做到100%准确。网页版做交互编辑好像很困难，所以最终得回归桌面app。
    回复 支持 反对

    举报

    wiray
  • TA的每日心情
    怒
    2025-6-19 17:53

    • 签到天数: 643 天

    [LV.9]以坛为家II
    发表于 2021-12-28 16:30:17 | 显示全部楼层
    mikeee 发表于 2021-12-28 16:03
    + `! m# X3 d- Q, i) m4 L有这个打算…… 因为自动对齐后手动交互编辑好像是不可避免的，不可能做到100%准确。网页版做交互编辑好 ...
    6 P5 `& [( |5 B9 G8 d
    很好！期待！
    回复 支持 反对

    举报

    Shiny2020
  • TA的每日心情
    开心
    昨天 10:24

    • 签到天数: 571 天

    [LV.9]以坛为家II
    发表于 2021-12-28 23:23:46 | 显示全部楼层
    似乎有类似产品，但是终归是躲不开手动调节哒，人机相互协作！
    回复 支持 反对

    举报

    mikeee
  • TA的每日心情
    开心
    2019-8-21 08:44

    • 签到天数: 163 天

    [LV.7]常住居民III
     楼主| 发表于 2021-12-29 10:37:40 | 显示全部楼层
    本帖最后由 mikeee 于 2021-12-29 11:08 编辑
    : r" j& }: B: I! |& U6 d
    Shiny2020 发表于 2021-12-28 23:23. Y& l+ h( `* E  d5 y. u. e$ S
    似乎有类似产品，但是终归是躲不开手动调节哒，人机相互协作！

    ( \5 g" X6 M1 @$ {& e0 v# d- P* F  {- y+ V
    类似产品里A bbyy Aligner可能是最优秀的。不过 radiobee aligner基本上可以甩a bbyy aligner几条街，不信可以让a bbyy aligner去对齐一下https://huggingface.co/spaces/mikeee/radiobee-aligner Examples 里的shakespeare500及红楼梦ch1
    回复 支持 反对

    举报

    Shiny2020
  • TA的每日心情
    开心
    昨天 10:24

    • 签到天数: 571 天

    [LV.9]以坛为家II
    发表于 2021-12-29 10:41:26 | 显示全部楼层
    mikeee 发表于 2021-12-29 10:37
    - X  K) x& K. ~类似产品里Abbyy Aligner可能是最优秀的。不过 radio aligner基本上可以甩a bbyy aligner几条街 ...
    * o9 X( x+ l6 x: ~  B
    哈哈哈，好的，等假期细细研究，谢谢分享。
    回复 支持 反对

    举报

    louislaolu
  • TA的每日心情
    开心
    2020-3-8 09:14

    • 签到天数: 1 天

    [LV.1]初来乍到
    发表于 2021-12-29 19:21:42 | 显示全部楼层
    本帖最后由 louislaolu 于 2021-12-29 19:42 编辑
    ) L( Q) j+ b+ B$ V6 d5 S, ]) v! j* P; C$ u) b8 ~7 ]# P; x
    这么拽！那一定要试试。
    回复 支持 反对

    举报

    louislaolu
  • TA的每日心情
    开心
    2020-3-8 09:14

    • 签到天数: 1 天

    [LV.1]初来乍到
    发表于 2021-12-29 19:43:37 | 显示全部楼层
    本帖最后由 louislaolu 于 2021-12-29 19:44 编辑 + J+ b: o$ b' G7 ^6 }

    $ v+ j0 |" j9 U8 U* {各位大咖，有没有靠谱的双语术语提取软件给推荐下，尤其是能够处理英汉对齐语料那种。
    回复 支持 反对

    举报

    mikeee
  • TA的每日心情
    开心
    2019-8-21 08:44

    • 签到天数: 163 天

    [LV.7]常住居民III
     楼主| 发表于 2021-12-29 20:33:56 | 显示全部楼层
    louislaolu 发表于 2021-12-29 19:43, d) d/ b* d) e% @% p" e8 L# G
    各位大咖，有没有靠谱的双语术语提取软件给推荐下，尤其是能够处理英汉对齐语料那种。 ...
    9 s9 h0 C0 }# |
    术语提取其实是另一个层次上的对齐——找对应的词组对。句句对齐后再做，有个python包叫 simaligner https://github.com/cisnlp/simalign 做这事的，不过速度很慢。我做完radiobee aligner或许做个数据提取工具。请期待
    回复 支持 反对

    举报

    louislaolu
  • TA的每日心情
    开心
    2020-3-8 09:14

    • 签到天数: 1 天

    [LV.1]初来乍到
    发表于 2021-12-29 22:50:12 | 显示全部楼层
    mikeee 发表于 2021-12-29 20:334 [9 W- G( K; `  i9 G0 c
    术语提取其实是另一个层次上的对齐——找对应的词组对。句句对齐后再做，有个python包叫 simaligner http ...

    * y2 U0 A8 d+ a% h! K/ W1 m哈哈，就冲你这句话，我对2022已经满是期待。提取工具用什么办法把词汇层面对齐的术语和一般词语区分开来？
    回复 支持 反对

    举报

    mikeee
  • TA的每日心情
    开心
    2019-8-21 08:44

    • 签到天数: 163 天

    [LV.7]常住居民III
     楼主| 发表于 2022-1-12 11:23:19 | 显示全部楼层
    本帖最后由 mikeee 于 2022-1-12 11:36 编辑
    8 _! [2 s# J* \9 J% g* J6 u$ J: x4 J4 y, x/ M0 L
      4 q1 x$ _9 t; O: j
    托马斯·潘恩《常识》 整本书撂给 radiobee 压测结果（上图仅显示对齐线）。
    , V+ A% M$ ^. f  p2 W0 k; y' g2 ^
    有兴趣的网友自己动手试试：
    : S# _& y  ^3 g9 D0 n8 u: E5 F5 R/ u

    2 o, Q1 t% h. w7 T5 _; N0 b用时仅 3.2秒！
    5 R7 H' P. i7 A) a% T- @
    ' p$ W5 I2 {/ P& H: o附上 epub 版
    - b& e. `, r, W9 u# }/ C3 y  V% T$ M) Q9 w" B0 v4 m0 |
    PS：个人认为，此书值得对政治有点兴趣的群友一读，即便对政治没有兴趣读一读此书也有助于拓展视野。

    本帖子中包含更多资源

    您需要 登录 才可以下载或查看，没有账号？免费注册

    x
    回复 支持 反对

    举报

    mikeee
  • TA的每日心情
    开心
    2019-8-21 08:44

    • 签到天数: 163 天

    [LV.7]常住居民III
     楼主| 发表于 2022-1-18 01:12:44 | 显示全部楼层
    本帖最后由 mikeee 于 2022-1-18 01:15 编辑 ( |- C' p/ m4 E4 ~3 f
    : |7 @8 e9 J( [8 _: @
    https://huggingface.co/spaces/mikeee/radiobee-aligner 2 q9 o% `2 i1 e5 A0 U
    radiobee 对齐已经支持多种语言对并支持自动分离。% ~% P  G" i% t

    - S0 K: H; W7 j4 h  o5 ]' B4 w有兴趣的网友可以从 Examples 表里选定 德中 日中 对齐的例子，再点击 Submit。对齐一本书只需 30 秒左右！所有的测试文件都在  data 目录里 https://huggingface.co/spaces/mi ... gner/tree/main/data ，可以右击文件名下载。不妨用 A bbyy Aligner 对齐及比较一下结果。
    回复 支持 反对

    举报

    周海龙99220
  • TA的每日心情
    开心
    2022-3-5 22:04

    • 签到天数: 88 天

    [LV.6]常住居民II
    发表于 2022-2-12 11:06:57 | 显示全部楼层
    楼主真是太厉害了，我用了之后，感觉比国内的在线对齐质量高很多啊，特别是在小语种的准确率上面。多谢多谢
    回复 支持 反对

    举报

    mikeee
  • TA的每日心情
    开心
    2019-8-21 08:44

    • 签到天数: 163 天

    [LV.7]常住居民III
     楼主| 发表于 2022-2-13 18:14:50 | 显示全部楼层
    周海龙99220 发表于 2022-2-12 11:06
    9 D4 F9 K' }- D: A; t' m' Y楼主真是太厉害了，我用了之后，感觉比国内的在线对齐质量高很多啊，特别是在小语种的准确率上面。多谢多谢 ...

    9 i& J8 r+ O$ E! ]0 i) p2 n& B感谢反馈。! L% e) P# R2 K, D6 m# h  o1 j1 X& Y
    : {' G; ?$ @  b  c( `8 K1 [& T( P
    有兴趣可以试试其他版本。都支持多语种/ Q( t( U* d, o( i( I& m5 D  d7 w
    演示版句句对齐： https://huggingface.co/spaces/mikeee/radiobee-dev
    : i: ^7 _9 e; ^5 y5 s演示版乱序对齐！全元宇宙独家技术 https://huggingface.co/spaces/mikeee/ultimatumbee
    回复 支持 反对

    举报

    周海龙99220
  • TA的每日心情
    开心
    2022-3-5 22:04

    • 签到天数: 88 天

    [LV.6]常住居民II
    发表于 2022-2-14 09:06:28 | 显示全部楼层
    真的智能，可以节省很多精力。想请问句句对齐是需要自己先把文本处理成一句一句的对吧？
    回复 支持 反对

    举报

    mikeee
  • TA的每日心情
    开心
    2019-8-21 08:44

    • 签到天数: 163 天

    [LV.7]常住居民III
     楼主| 发表于 2022-2-14 12:16:24 | 显示全部楼层
    周海龙99220 发表于 2022-2-14 09:060 s: j& P" p% o1 N! @% r3 G
    真的智能，可以节省很多精力。想请问句句对齐是需要自己先把文本处理成一句一句的对吧？ ...

    : a4 ~( A3 h( b# s0 b% U% i不用自己处理， https://huggingface.co/spaces/mikeee/radiobee-dev 下面有个选项
    ! I! u! p- J2 L, ?9 v3 L
    1. sent ali algo
      + Z) u# W% A/ c( h7 g. j2 N
    2. None fast slow
    复制代码
    + |' g  X" T: \+ e- B+ s
    & {' g; O% J- n

    3 }8 z* e6 y9 h# ZNone: 不分句6 ~9 F  {: v' V- m
    Fast：对齐分句的方法A，快一些但可能性能稍差一点
    ' n, y$ E8 U% F* b+ b2 {, n: v& tSlow：对齐分句的方法B，慢一些
    % i$ C9 k, V  Z
    1 v8 |  W: c1 b* ^- C$ l由于分句用的是一个不可定制的方法（例如，有些人可能希望在分号处分句），有特殊需要的分句就需要自己分句后作为段段对齐（选None，预设）或用 一些 的段段对齐。
    8 x0 m( F* B8 l* d+ B  

    本帖子中包含更多资源

    您需要 登录 才可以下载或查看，没有账号？免费注册

    x
    回复 支持 反对

    举报

    周海龙99220
  • TA的每日心情
    开心
    2022-3-5 22:04

    • 签到天数: 88 天

    [LV.6]常住居民II
    发表于 2022-2-14 20:12:05 | 显示全部楼层
    收到，多谢，马上试验一番
    回复 支持 反对

    举报

    周海龙99220
  • TA的每日心情
    开心
    2022-3-5 22:04

    • 签到天数: 88 天

    [LV.6]常住居民II
    发表于 2022-2-14 20:48:58 | 显示全部楼层
    mikeee 发表于 2022-2-14 12:16- P6 Q% i1 x2 {
    不用自己处理， https://huggingface.co/spaces/mikeee/radiobee-dev 下面有个选项/ w; h+ a8 q  V& s1 [
      
    1 P4 \! z$ q3 l4 W: W
    社科类的双语材料对齐，完全可以适用。太感谢了
    回复 支持 反对

    举报

    返回列表 发新帖
    高级模式
    B Color Image Link Quote Code Smilies
    您需要登录后才可以回帖 登录 | 免费注册

    本版积分规则

    小黑屋|手机版|Archiver|PDAWIKI |网站地图

    GMT+8, 2026-7-24 09:02 , Processed in 0.022484 second(s), 22 queries .

    Powered by Discuz! X3.4

    © 2001-2023 Discuz! Team.

    快速回复 返回顶部 返回列表