掌上百科 - PDAWIKI

 找回密码
 免费注册

QQ登录

只需一步,快速开始

楼主: garypang

[专有词库] [6.7]urbandictionary.com城市俚语在线词典 [python]

    [复制链接]
  • TA的每日心情
    慵懒
    2018-8-25 12:29
  • 签到天数: 91 天

    [LV.6]常住居民II

     楼主| 发表于 2018-6-7 12:27:23 | 显示全部楼层
    hyqq2015 发表于 2018-5-20 21:20
    , B& ?' s7 i% Q( P同步更新:
    , D4 J) l5 q) R5 B- p, O2 b% i/ c5 Q( C
    1. 修正多余的换行,使排版更紧凑;
    6 Y+ o+ c% P. d0 @
    原来空行你早就修复了,赞!

    该用户从未签到

    发表于 2018-6-7 13:17:45 来自手机 | 显示全部楼层
    Thank you so much for sharing.
  • TA的每日心情
    开心
    2020-10-25 03:32
  • 签到天数: 395 天

    [LV.9]以坛为家II

    发表于 2018-6-7 15:10:31 | 显示全部楼层
    garypang 发表于 2018-6-7 12:27: g; e" Q' V8 D
    原来空行你早就修复了,赞!

    ; @8 Q8 O6 v  r8 c1 h6 b, |你有没有发现这个脚本最多只能显示10条释义,你抓取的离线版也是。你查下 beautiful 或 good 试下。
  • TA的每日心情
    慵懒
    2018-8-25 12:29
  • 签到天数: 91 天

    [LV.6]常住居民II

     楼主| 发表于 2018-6-7 15:21:32 | 显示全部楼层
    hyqq2015 发表于 2018-6-7 15:10) ]+ v4 S! c# P6 l
    你有没有发现这个脚本最多只能显示10条释义,你抓取的离线版也是。你查下 beautiful 或 good 试下。 ...

    1 i: _- b' W+ g+ B是的,离线版和在线版都是用的http://api.urbandictionary.com/v0/define?term= 这个接口的数据 这个接口只能显示10条,
  • TA的每日心情
    开心
    2020-10-25 03:32
  • 签到天数: 395 天

    [LV.9]以坛为家II

    发表于 2018-6-7 15:31:28 | 显示全部楼层
    garypang 发表于 2018-6-7 15:21
    ( l$ u0 X" [& |是的,离线版和在线版都是用的http://api.urbandictionary.com/v0/define?term= 这个接口的数据 这个接口 ...

    1 o( J, W2 J7 ]( l因为发现2015年的 dsl 版将近1个G,所以对比了下才发现最多只显示10条。不过10条也够了。
  • TA的每日心情
    奋斗
    昨天 03:08
  • 签到天数: 395 天

    [LV.9]以坛为家II

    发表于 2018-6-7 16:55:32 | 显示全部楼层
    感谢更新,试试看
  • TA的每日心情
    开心
    2020-10-25 03:32
  • 签到天数: 395 天

    [LV.9]以坛为家II

    发表于 2018-6-7 18:13:39 | 显示全部楼层
    garypang 发表于 2018-6-7 15:21
    . R+ `0 a- B9 X) d! I$ ~3 R/ |是的,离线版和在线版都是用的http://api.urbandictionary.com/v0/define?term= 这个接口的数据 这个接口 ...
    . G' M! t$ U) h$ W# Y
    在网上找到一个1.9G的Urban Dictionary数据资源:* `9 n6 [' x' ~/ h3 V3 w) H
    https://www.reddit.com/r/dataset ... ions_1999_may_2016/
    + \; h- a- d2 r$ V1 |* K& o1 w下载数据看了下,这个2016年5月份的数据中,beautiful的释义有195条,看来作者抓取的时候抓到的释义很全。
    & l0 Z) t( e9 i: p6 ?+ R/ z8 v
    作者介绍可以利用 defid 来抓取,. Y: S' V( Q, T8 s  L
    You can scrape word ids from here: http://www.urbandictionary.com/y ... 17-03-29&page=2 (note that each date has many pages) and then just throw them into the urbandictionary api link above.

    " K) {9 y% F( }- q8 f其实我并不是很懂Python,不知这种方法是否可以完整抓取?
  • TA的每日心情
    慵懒
    2018-8-25 12:29
  • 签到天数: 91 天

    [LV.6]常住居民II

     楼主| 发表于 2018-6-8 13:46:53 | 显示全部楼层
    hyqq2015 发表于 2018-6-7 18:13
    ) |! D' W" E# h/ F9 A在网上找到一个1.9G的Urban Dictionary数据资源:0 g$ d" d1 k! a$ g* C4 \  K
    https://www.reddit.com/r/datasets/comments/63spoc/1 ...

    ; r+ w& f( N- ~0 e5 T* E/ k里面作者所说的 http://www.urbandictionary.com/y ... 17-03-29&page=2 这个接口已经失效了,不然可以抓取到更全的wordlists,至于释义,十条其实完全够用了,我这抓取的txt源文件也有2G多了.
  • TA的每日心情
    郁闷
    2018-7-26 12:11
  • 签到天数: 2 天

    [LV.1]初来乍到

    发表于 2018-6-8 14:15:37 | 显示全部楼层
    在线的urban确实是比离线的更好的解决方案……
  • TA的每日心情
    开心
    2020-10-25 03:32
  • 签到天数: 395 天

    [LV.9]以坛为家II

    发表于 2018-6-8 17:06:11 | 显示全部楼层
    本帖最后由 hyqq2015 于 2018-6-8 17:15 编辑
    3 F# `$ u% ?% Z' ?: V7 u( P3 a
    garypang 发表于 2018-6-8 13:466 a8 v- F  _6 }4 ~8 z
    里面作者所说的 http://www.urbandictionary.com/y ... 17-03-29&page=2 这个接口已经失 ...

    : p' M* ^4 H: U5 y% G: S2 C( a& H7 E* x: C) I
    并没有失效,是按照日期来的,一天一天来,比如:; W! P( h) D0 \9 R! Q( z" m- ~0 d
    https://www.urbandictionary.com/yesterday.php?date=2018-06-07' T0 F+ B6 Z% p+ p  L4 m- J6 M
    https://www.urbandictionary.com/yesterday.php?date=2018-06-067 U3 R' T0 C! A2 A1 }+ f
    https://www.urbandictionary.com/yesterday.php?date=2018-06-05
    ; T: ^9 U/ w6 \  E8 v& C& G$ c0 _* X# f/ L3 T
    作者抓取的数据是从1999年到2016年5月的。
    * e6 ]# Y4 {7 d2 g( `5 W
    " C1 Z% k& Z, Q* S% S3 `, W" {: H
    6 S5 q( t; O" J3 Nurban的数据也是1999年开始,看下图:3 W1 _5 F+ I6 ]) B) Q

    本帖子中包含更多资源

    您需要 登录 才可以下载或查看,没有账号?免费注册

    x
  • TA的每日心情
    慵懒
    2018-8-25 12:29
  • 签到天数: 91 天

    [LV.6]常住居民II

     楼主| 发表于 2018-6-8 17:23:55 | 显示全部楼层
    hyqq2015 发表于 2018-6-8 17:06
    7 o+ Y. W: N- q1 P9 X1 u8 k并没有失效,是按照日期来的,一天一天来,比如:
    ; ~, W/ @% [6 o$ R9 |; F8 M0 _https://www.urbandictionary.com/yesterday.php?date= ...

    & C7 `. p6 Y+ y1 @0 ^只有2018年最近一两个月的有效,其他年份都失效了的.
  • TA的每日心情
    开心
    2020-10-25 03:32
  • 签到天数: 395 天

    [LV.9]以坛为家II

    发表于 2018-6-8 18:08:39 | 显示全部楼层
    garypang 发表于 2018-6-8 17:234 ?7 n# H" {# q
    只有2018年最近一两个月的有效,其他年份都失效了的.
    % F; W3 X% Y2 C
    估计也是一种限制。抓不了也只能作罢,现有离线版和在线版用着也挺好。
  • TA的每日心情
    难过
    2023-8-12 13:37
  • 签到天数: 415 天

    [LV.9]以坛为家II

    发表于 2018-6-8 22:08:21 | 显示全部楼层
    谢谢这么认真完善词典,很喜欢这部词典。
  • TA的每日心情
    开心
    2020-3-25 07:07
  • 签到天数: 5 天

    [LV.2]偶尔看看I

    发表于 2018-6-11 20:57:55 | 显示全部楼层
    感谢Garypang。

    该用户从未签到

    发表于 2018-6-12 13:42:59 | 显示全部楼层
    好棒的操作。试试哈。不知道能不能用哦。
  • TA的每日心情
    擦汗
    2018-8-19 10:30
  • 签到天数: 24 天

    [LV.4]偶尔看看III

    发表于 2018-6-14 10:41:31 | 显示全部楼层
    已经开始用了,谢谢楼主慷慨分享,thank you for your sharing
  • TA的每日心情
    开心
    2018-6-14 14:41
  • 签到天数: 1 天

    [LV.1]初来乍到

    发表于 2018-6-14 11:23:25 | 显示全部楼层
    谢谢,1111111111111111111111111111111111111111111111111111
  • TA的每日心情
    开心
    2018-8-24 20:37
  • 签到天数: 58 天

    [LV.5]常住居民I

    发表于 2018-6-18 12:11:15 | 显示全部楼层
    謝谢楼主分享,下载试用!俚語對於英語水平是一個很大的進步
  • TA的每日心情
    开心
    2020-5-23 22:47
  • 签到天数: 128 天

    [LV.7]常住居民III

    发表于 2018-6-20 18:52:12 | 显示全部楼层
    很好,电脑版上的goldendict确实很省事,这份也收集一个
  • TA的每日心情
    开心
    2020-5-30 23:08
  • 签到天数: 690 天

    [LV.9]以坛为家II

    发表于 2018-6-21 11:17:25 | 显示全部楼层
    感谢楼主分享,下载试用!                              
  • TA的每日心情

    2019-2-16 11:33
  • 签到天数: 56 天

    [LV.5]常住居民I

    发表于 2018-6-28 08:51:16 | 显示全部楼层
    这个排版比较好看

    该用户从未签到

    发表于 2018-7-1 00:29:14 | 显示全部楼层
    Thanks million times
  • TA的每日心情
    开心
    2020-10-2 23:14
  • 签到天数: 28 天

    [LV.4]偶尔看看III

    发表于 2018-7-1 06:47:18 来自手机 | 显示全部楼层
    不错的东东
  • TA的每日心情
    慵懒
    2018-7-16 20:54
  • 签到天数: 10 天

    [LV.3]偶尔看看II

    发表于 2018-7-1 19:33:30 | 显示全部楼层
    兄弟,感谢感谢哈。
    您需要登录后才可以回帖 登录 | 免费注册

    本版积分规则

    小黑屋|手机版|Archiver|PDAWIKI |网站地图

    GMT+8, 2026-9-21 18:42 , Processed in 0.020529 second(s), 18 queries .

    Powered by Discuz! X3.4

    © 2001-2023 Discuz! Team.

    快速回复 返回顶部 返回列表