掌上百科 - PDAWIKI

 找回密码
 免费注册

QQ登录

只需一步,快速开始

楼主: garypang

[专有词库] [6.7]urbandictionary.com城市俚语在线词典 [python]

    [复制链接]
  • TA的每日心情
    慵懒
    2018-8-25 12:29
  • 签到天数: 91 天

    [LV.6]常住居民II

     楼主| 发表于 2018-6-7 12:27:23 | 显示全部楼层
    hyqq2015 发表于 2018-5-20 21:20
    ) S% G6 W0 Y* O9 s9 C0 t9 b; G" [5 H同步更新:# |4 S& x7 S% h2 J$ @! a& L
    0 L: x' K3 ]; x  ]
    1. 修正多余的换行,使排版更紧凑;
    % w6 z, A- z, C; ]1 P! E/ G
    原来空行你早就修复了,赞!

    该用户从未签到

    发表于 2018-6-7 13:17:45 来自手机 | 显示全部楼层
    Thank you so much for sharing.
  • TA的每日心情
    开心
    2020-10-25 03:32
  • 签到天数: 395 天

    [LV.9]以坛为家II

    发表于 2018-6-7 15:10:31 | 显示全部楼层
    garypang 发表于 2018-6-7 12:27
    ( X" S- ]5 N7 [原来空行你早就修复了,赞!
    7 }+ t2 T3 M$ [7 ^/ t3 F8 L/ A  z$ v
    你有没有发现这个脚本最多只能显示10条释义,你抓取的离线版也是。你查下 beautiful 或 good 试下。
  • TA的每日心情
    慵懒
    2018-8-25 12:29
  • 签到天数: 91 天

    [LV.6]常住居民II

     楼主| 发表于 2018-6-7 15:21:32 | 显示全部楼层
    hyqq2015 发表于 2018-6-7 15:10, N2 p, U: t8 v
    你有没有发现这个脚本最多只能显示10条释义,你抓取的离线版也是。你查下 beautiful 或 good 试下。 ...
    / B% j$ E* d# U
    是的,离线版和在线版都是用的http://api.urbandictionary.com/v0/define?term= 这个接口的数据 这个接口只能显示10条,
  • TA的每日心情
    开心
    2020-10-25 03:32
  • 签到天数: 395 天

    [LV.9]以坛为家II

    发表于 2018-6-7 15:31:28 | 显示全部楼层
    garypang 发表于 2018-6-7 15:211 n# }4 Q7 G* \6 w
    是的,离线版和在线版都是用的http://api.urbandictionary.com/v0/define?term= 这个接口的数据 这个接口 ...
    + u7 W/ g4 b( e1 f* Q; m' ^
    因为发现2015年的 dsl 版将近1个G,所以对比了下才发现最多只显示10条。不过10条也够了。
  • TA的每日心情
    擦汗
    2023-11-29 11:30
  • 签到天数: 335 天

    [LV.8]以坛为家I

    发表于 2018-6-7 16:55:32 | 显示全部楼层
    感谢更新,试试看
  • TA的每日心情
    开心
    2020-10-25 03:32
  • 签到天数: 395 天

    [LV.9]以坛为家II

    发表于 2018-6-7 18:13:39 | 显示全部楼层
    garypang 发表于 2018-6-7 15:21& b$ g6 H, `8 J1 n
    是的,离线版和在线版都是用的http://api.urbandictionary.com/v0/define?term= 这个接口的数据 这个接口 ...
    1 @4 x+ l$ J5 {2 c
    在网上找到一个1.9G的Urban Dictionary数据资源:  H0 [$ \5 O4 V7 |: a
    https://www.reddit.com/r/dataset ... ions_1999_may_2016/# B; B& A4 ]  B
    下载数据看了下,这个2016年5月份的数据中,beautiful的释义有195条,看来作者抓取的时候抓到的释义很全。
    2 l( ]; {8 s; q" ?) w% L* s) k7 j5 I& ?) L3 _; k
    作者介绍可以利用 defid 来抓取,: G. M; Q" B+ J% a* o
    You can scrape word ids from here: http://www.urbandictionary.com/y ... 17-03-29&page=2 (note that each date has many pages) and then just throw them into the urbandictionary api link above.

    8 ]1 A0 [: _+ j7 B6 ?其实我并不是很懂Python,不知这种方法是否可以完整抓取?
  • TA的每日心情
    慵懒
    2018-8-25 12:29
  • 签到天数: 91 天

    [LV.6]常住居民II

     楼主| 发表于 2018-6-8 13:46:53 | 显示全部楼层
    hyqq2015 发表于 2018-6-7 18:13
    . {) S' d* f; }/ y+ z  O在网上找到一个1.9G的Urban Dictionary数据资源:
    ( A) Q( \$ i. d2 K5 i% p! ohttps://www.reddit.com/r/datasets/comments/63spoc/1 ...

    ( q  f+ Q8 M" F. _" `里面作者所说的 http://www.urbandictionary.com/y ... 17-03-29&page=2 这个接口已经失效了,不然可以抓取到更全的wordlists,至于释义,十条其实完全够用了,我这抓取的txt源文件也有2G多了.
  • TA的每日心情
    郁闷
    2018-7-26 12:11
  • 签到天数: 2 天

    [LV.1]初来乍到

    发表于 2018-6-8 14:15:37 | 显示全部楼层
    在线的urban确实是比离线的更好的解决方案……
  • TA的每日心情
    开心
    2020-10-25 03:32
  • 签到天数: 395 天

    [LV.9]以坛为家II

    发表于 2018-6-8 17:06:11 | 显示全部楼层
    本帖最后由 hyqq2015 于 2018-6-8 17:15 编辑
    ; H! T  f/ s3 ]* L0 k+ ]
    garypang 发表于 2018-6-8 13:46
    , b$ |$ Z# L+ d, R# C里面作者所说的 http://www.urbandictionary.com/y ... 17-03-29&page=2 这个接口已经失 ...
    5 p( L0 N9 K  T, `

    ! S# S- p! Y" ^: m并没有失效,是按照日期来的,一天一天来,比如:9 Q6 w: Q. X, o8 V
    https://www.urbandictionary.com/yesterday.php?date=2018-06-07
    ! w3 z  {8 A. Y4 W$ E1 nhttps://www.urbandictionary.com/yesterday.php?date=2018-06-06
    9 B( z% F) v! ]( Y& i* N; phttps://www.urbandictionary.com/yesterday.php?date=2018-06-05
    % G- b5 A- o- i3 s- O. p# z
      N9 B. U% G& W7 D0 O  W作者抓取的数据是从1999年到2016年5月的。' u' g' u9 G. `4 c$ N

    8 U! J' b! A" w! O7 L
    $ f% m, E9 d3 H/ Curban的数据也是1999年开始,看下图:& x  e. ~1 c( I, y  o: w$ g

    本帖子中包含更多资源

    您需要 登录 才可以下载或查看,没有账号?免费注册

    x
  • TA的每日心情
    慵懒
    2018-8-25 12:29
  • 签到天数: 91 天

    [LV.6]常住居民II

     楼主| 发表于 2018-6-8 17:23:55 | 显示全部楼层
    hyqq2015 发表于 2018-6-8 17:06
    * `$ W: ~3 g5 M- P8 _+ O并没有失效,是按照日期来的,一天一天来,比如:
    ; @5 Q4 \0 p+ Z4 y% I1 ~/ shttps://www.urbandictionary.com/yesterday.php?date= ...
    & W8 E$ p. T, R0 X7 S7 i
    只有2018年最近一两个月的有效,其他年份都失效了的.
  • TA的每日心情
    开心
    2020-10-25 03:32
  • 签到天数: 395 天

    [LV.9]以坛为家II

    发表于 2018-6-8 18:08:39 | 显示全部楼层
    garypang 发表于 2018-6-8 17:23
    # C' R4 f) d" O; `只有2018年最近一两个月的有效,其他年份都失效了的.
    . S+ @0 a- x0 z' j
    估计也是一种限制。抓不了也只能作罢,现有离线版和在线版用着也挺好。
  • TA的每日心情
    难过
    2023-8-12 13:37
  • 签到天数: 415 天

    [LV.9]以坛为家II

    发表于 2018-6-8 22:08:21 | 显示全部楼层
    谢谢这么认真完善词典,很喜欢这部词典。
  • TA的每日心情
    开心
    2020-3-25 07:07
  • 签到天数: 5 天

    [LV.2]偶尔看看I

    发表于 2018-6-11 20:57:55 | 显示全部楼层
    感谢Garypang。

    该用户从未签到

    发表于 2018-6-12 13:42:59 | 显示全部楼层
    好棒的操作。试试哈。不知道能不能用哦。
  • TA的每日心情
    擦汗
    2018-8-19 10:30
  • 签到天数: 24 天

    [LV.4]偶尔看看III

    发表于 2018-6-14 10:41:31 | 显示全部楼层
    已经开始用了,谢谢楼主慷慨分享,thank you for your sharing
  • TA的每日心情
    开心
    2018-6-14 14:41
  • 签到天数: 1 天

    [LV.1]初来乍到

    发表于 2018-6-14 11:23:25 | 显示全部楼层
    谢谢,1111111111111111111111111111111111111111111111111111
  • TA的每日心情
    开心
    2018-8-24 20:37
  • 签到天数: 58 天

    [LV.5]常住居民I

    发表于 2018-6-18 12:11:15 | 显示全部楼层
    謝谢楼主分享,下载试用!俚語對於英語水平是一個很大的進步
  • TA的每日心情
    开心
    2020-5-23 22:47
  • 签到天数: 128 天

    [LV.7]常住居民III

    发表于 2018-6-20 18:52:12 | 显示全部楼层
    很好,电脑版上的goldendict确实很省事,这份也收集一个
  • TA的每日心情
    开心
    2020-5-30 23:08
  • 签到天数: 690 天

    [LV.9]以坛为家II

    发表于 2018-6-21 11:17:25 | 显示全部楼层
    感谢楼主分享,下载试用!                              
  • TA的每日心情

    2019-2-16 11:33
  • 签到天数: 56 天

    [LV.5]常住居民I

    发表于 2018-6-28 08:51:16 | 显示全部楼层
    这个排版比较好看

    该用户从未签到

    发表于 2018-7-1 00:29:14 | 显示全部楼层
    Thanks million times
  • TA的每日心情
    开心
    2020-10-2 23:14
  • 签到天数: 28 天

    [LV.4]偶尔看看III

    发表于 2018-7-1 06:47:18 来自手机 | 显示全部楼层
    不错的东东
  • TA的每日心情
    慵懒
    2018-7-16 20:54
  • 签到天数: 10 天

    [LV.3]偶尔看看II

    发表于 2018-7-1 19:33:30 | 显示全部楼层
    兄弟,感谢感谢哈。
    您需要登录后才可以回帖 登录 | 免费注册

    本版积分规则

    小黑屋|手机版|Archiver|PDAWIKI |网站地图

    GMT+8, 2025-7-12 02:11 , Processed in 0.022449 second(s), 17 queries .

    Powered by Discuz! X3.4

    © 2001-2023 Discuz! Team.

    快速回复 返回顶部 返回列表