掌上百科 - PDAWIKI

 找回密码
 免费注册

QQ登录

只需一步,快速开始

楼主: garypang

[专有词库] [6.7]urbandictionary.com城市俚语在线词典 [python]

[复制链接]
  • TA的每日心情
    慵懒
    2018-8-25 12:29
  • 签到天数: 91 天

    [LV.6]常住居民II

     楼主| 发表于 2018-6-7 12:27:23 | 显示全部楼层
    hyqq2015 发表于 2018-5-20 21:20
    + K4 }  h4 N: }1 b- ]. ~1 V5 @同步更新:
    3 X5 a8 ?" D" |2 V& w0 F
    7 y* Y5 |8 E; ]0 d$ G' E1. 修正多余的换行,使排版更紧凑;

    & z2 d3 p$ I! y! {4 h原来空行你早就修复了,赞!

    该用户从未签到

    发表于 2018-6-7 13:17:45 来自手机 | 显示全部楼层
    Thank you so much for sharing.
  • TA的每日心情
    开心
    2020-4-25 23:14
  • 签到天数: 393 天

    [LV.9]以坛为家II

    发表于 2018-6-7 15:10:31 | 显示全部楼层
    garypang 发表于 2018-6-7 12:271 x6 n2 Z7 U$ C. T7 h, J% ]% K
    原来空行你早就修复了,赞!
    ! o4 m, o  p3 y! c. T9 ^8 p
    你有没有发现这个脚本最多只能显示10条释义,你抓取的离线版也是。你查下 beautiful 或 good 试下。
  • TA的每日心情
    慵懒
    2018-8-25 12:29
  • 签到天数: 91 天

    [LV.6]常住居民II

     楼主| 发表于 2018-6-7 15:21:32 | 显示全部楼层
    hyqq2015 发表于 2018-6-7 15:103 O4 ?, r4 \8 j( l7 V
    你有没有发现这个脚本最多只能显示10条释义,你抓取的离线版也是。你查下 beautiful 或 good 试下。 ...
    . |! U9 }$ y8 E, N  L9 \
    是的,离线版和在线版都是用的http://api.urbandictionary.com/v0/define?term= 这个接口的数据 这个接口只能显示10条,
  • TA的每日心情
    开心
    2020-4-25 23:14
  • 签到天数: 393 天

    [LV.9]以坛为家II

    发表于 2018-6-7 15:31:28 | 显示全部楼层
    garypang 发表于 2018-6-7 15:21
    : z( y& S( K/ V( z是的,离线版和在线版都是用的http://api.urbandictionary.com/v0/define?term= 这个接口的数据 这个接口 ...
    ! k! B3 ]! x' C6 X" H( ?
    因为发现2015年的 dsl 版将近1个G,所以对比了下才发现最多只显示10条。不过10条也够了。
  • TA的每日心情
    奋斗
    2020-6-26 14:43
  • 签到天数: 148 天

    [LV.7]常住居民III

    发表于 2018-6-7 16:55:32 | 显示全部楼层
    感谢更新,试试看
  • TA的每日心情
    开心
    2020-4-25 23:14
  • 签到天数: 393 天

    [LV.9]以坛为家II

    发表于 2018-6-7 18:13:39 | 显示全部楼层
    garypang 发表于 2018-6-7 15:21" R/ F  V; f+ X
    是的,离线版和在线版都是用的http://api.urbandictionary.com/v0/define?term= 这个接口的数据 这个接口 ...

    3 Q) `7 N4 I0 V3 J在网上找到一个1.9G的Urban Dictionary数据资源:
    * m+ N. f8 B' G8 s2 thttps://www.reddit.com/r/dataset ... ions_1999_may_2016/4 _6 W3 z3 Z# x) e6 ~' i8 a
    下载数据看了下,这个2016年5月份的数据中,beautiful的释义有195条,看来作者抓取的时候抓到的释义很全。
    2 z( n$ _$ f8 z& k
    0 e, q( K1 [/ O$ T  B* x作者介绍可以利用 defid 来抓取,5 o- N' B+ Q% H5 p1 R4 n8 ?6 {/ B- x
    You can scrape word ids from here: http://www.urbandictionary.com/y ... 17-03-29&page=2 (note that each date has many pages) and then just throw them into the urbandictionary api link above.
    - v- o" }4 Q" }- H! n. e( q
    其实我并不是很懂Python,不知这种方法是否可以完整抓取?
  • TA的每日心情
    慵懒
    2018-8-25 12:29
  • 签到天数: 91 天

    [LV.6]常住居民II

     楼主| 发表于 2018-6-8 13:46:53 | 显示全部楼层
    hyqq2015 发表于 2018-6-7 18:135 `4 z5 e8 v7 F3 ]# L$ f$ y
    在网上找到一个1.9G的Urban Dictionary数据资源:! Z" m: O' _$ F/ r6 m& r! [7 H
    https://www.reddit.com/r/datasets/comments/63spoc/1 ...
    , K$ n, l/ M( z( p0 _! V
    里面作者所说的 http://www.urbandictionary.com/y ... 17-03-29&page=2 这个接口已经失效了,不然可以抓取到更全的wordlists,至于释义,十条其实完全够用了,我这抓取的txt源文件也有2G多了.
  • TA的每日心情
    郁闷
    2018-7-26 12:11
  • 签到天数: 2 天

    [LV.1]初来乍到

    发表于 2018-6-8 14:15:37 | 显示全部楼层
    在线的urban确实是比离线的更好的解决方案……
  • TA的每日心情
    开心
    2020-4-25 23:14
  • 签到天数: 393 天

    [LV.9]以坛为家II

    发表于 2018-6-8 17:06:11 | 显示全部楼层
    本帖最后由 hyqq2015 于 2018-6-8 17:15 编辑 0 y5 N! {5 B8 e1 l: |& c& W
    garypang 发表于 2018-6-8 13:466 T2 a- j+ O- ^4 I: ?$ V
    里面作者所说的 http://www.urbandictionary.com/y ... 17-03-29&page=2 这个接口已经失 ...

    % w* G, D* Y0 C$ z7 t5 i
    6 ?  V9 {, p0 q+ C并没有失效,是按照日期来的,一天一天来,比如:
    # e0 A- h! Y) P( i# Z' }* ]0 chttps://www.urbandictionary.com/yesterday.php?date=2018-06-07
    + z$ Y# `7 h7 A1 X1 q$ p$ N% rhttps://www.urbandictionary.com/yesterday.php?date=2018-06-068 ?, T. x" J6 V! o& [
    https://www.urbandictionary.com/yesterday.php?date=2018-06-05/ P1 x: j0 |$ b6 R( G

    8 M9 N: k) ^6 Y+ b作者抓取的数据是从1999年到2016年5月的。: N) S6 j: V1 h- N

    1 {; b8 R, S" i3 P7 L9 x. _6 d' Q6 |( T! a0 C
    urban的数据也是1999年开始,看下图:
    ( u7 a5 f: |8 P& F! g

    本帖子中包含更多资源

    您需要 登录 才可以下载或查看,没有帐号?免费注册

    x
  • TA的每日心情
    慵懒
    2018-8-25 12:29
  • 签到天数: 91 天

    [LV.6]常住居民II

     楼主| 发表于 2018-6-8 17:23:55 | 显示全部楼层
    hyqq2015 发表于 2018-6-8 17:06! o% N8 M# ]& A- C: _9 T
    并没有失效,是按照日期来的,一天一天来,比如:
    " t5 a1 M/ z* C1 f, e. |; ?https://www.urbandictionary.com/yesterday.php?date= ...

    # X7 S$ u! \3 k! [; c- G, j只有2018年最近一两个月的有效,其他年份都失效了的.
  • TA的每日心情
    开心
    2020-4-25 23:14
  • 签到天数: 393 天

    [LV.9]以坛为家II

    发表于 2018-6-8 18:08:39 | 显示全部楼层
    garypang 发表于 2018-6-8 17:23
    2 l' r2 K: j5 p+ V' I. f只有2018年最近一两个月的有效,其他年份都失效了的.
    # K0 m6 R9 }" i2 ]/ R8 b
    估计也是一种限制。抓不了也只能作罢,现有离线版和在线版用着也挺好。
  • TA的每日心情

    2020-5-4 09:12
  • 签到天数: 414 天

    [LV.9]以坛为家II

    发表于 2018-6-8 22:08:21 | 显示全部楼层
    谢谢这么认真完善词典,很喜欢这部词典。
  • TA的每日心情
    开心
    2020-3-25 07:07
  • 签到天数: 5 天

    [LV.2]偶尔看看I

    发表于 2018-6-11 20:57:55 | 显示全部楼层
    感谢Garypang。

    该用户从未签到

    发表于 2018-6-12 13:42:59 | 显示全部楼层
    好棒的操作。试试哈。不知道能不能用哦。
  • TA的每日心情
    擦汗
    2018-8-19 10:30
  • 签到天数: 24 天

    [LV.4]偶尔看看III

    发表于 2018-6-14 10:41:31 | 显示全部楼层
    已经开始用了,谢谢楼主慷慨分享,thank you for your sharing
  • TA的每日心情
    开心
    2018-6-14 14:41
  • 签到天数: 1 天

    [LV.1]初来乍到

    发表于 2018-6-14 11:23:25 | 显示全部楼层
    谢谢,1111111111111111111111111111111111111111111111111111
  • TA的每日心情
    开心
    2018-8-24 20:37
  • 签到天数: 58 天

    [LV.5]常住居民I

    发表于 2018-6-18 12:11:15 | 显示全部楼层
    謝谢楼主分享,下载试用!俚語對於英語水平是一個很大的進步
  • TA的每日心情
    开心
    2020-5-23 22:47
  • 签到天数: 128 天

    [LV.7]常住居民III

    发表于 2018-6-20 18:52:12 | 显示全部楼层
    很好,电脑版上的goldendict确实很省事,这份也收集一个
  • TA的每日心情
    开心
    2020-5-30 23:08
  • 签到天数: 690 天

    [LV.9]以坛为家II

    发表于 2018-6-21 11:17:25 | 显示全部楼层
    感谢楼主分享,下载试用!                              
  • TA的每日心情

    2019-2-16 11:33
  • 签到天数: 56 天

    [LV.5]常住居民I

    发表于 2018-6-28 08:51:16 | 显示全部楼层
    这个排版比较好看

    该用户从未签到

    发表于 2018-7-1 00:29:14 | 显示全部楼层
    Thanks million times
  • TA的每日心情

    2020-4-18 17:37
  • 签到天数: 27 天

    [LV.4]偶尔看看III

    发表于 2018-7-1 06:47:18 来自手机 | 显示全部楼层
    不错的东东
  • TA的每日心情
    慵懒
    2018-7-16 20:54
  • 签到天数: 10 天

    [LV.3]偶尔看看II

    发表于 2018-7-1 19:33:30 | 显示全部楼层
    兄弟,感谢感谢哈。
    您需要登录后才可以回帖 登录 | 免费注册

    本版积分规则

    顶部qrcode底部
    关注公众号送论坛充值码
    关注微信公众平台
    关注微信公众号 pdawiki,获取邀请码,看文抢积分,抽奖得浮云! Follow our Wechat official account "pdawiki", get invitation codes, and play the lottery to earn points (积分)!

    小黑屋|手机版|Archiver|PDAWIKI |网站地图

    GMT+8, 2020-8-4 04:33 , Processed in 0.368254 second(s), 7 queries , MemCache On.

    Powered by Discuz! X3.4

    © 2001-2017 Comsenz Inc.

    快速回复 返回顶部 返回列表