[6.7]urbandictionary.com城市俚语在线词典 [python]

garypang

hyqq2015 发表于 2018-5-20 21:20
同步更新：
% c2 C8 ^  V$ x; y, W' {: n+ W
4 n, J0 b$ P' O% D1. 修正多余的换行，使排版更紧凑；

原来空行你早就修复了,赞!

Masoud_84

Thank you so much for sharing.

hyqq2015

garypang 发表于 2018-6-7 12:27
原来空行你早就修复了,赞!

你有没有发现这个脚本最多只能显示10条释义，你抓取的离线版也是。你查下 beautiful 或 good 试下。

garypang

hyqq2015 发表于 2018-6-7 15:10
; l+ [7 |# D+ a1 ~; ]/ b' N' y" x你有没有发现这个脚本最多只能显示10条释义，你抓取的离线版也是。你查下 beautiful 或 good 试下。 ...

+ M1 a' L7 b* K; J* {是的,离线版和在线版都是用的http://api.urbandictionary.com/v0/define?term= 这个接口的数据 这个接口只能显示10条,

hyqq2015

garypang 发表于 2018-6-7 15:21
是的,离线版和在线版都是用的http://api.urbandictionary.com/v0/define?term= 这个接口的数据 这个接口 ...

6 a! y9 f/ i" U6 }7 }( I1 C6 o6 \因为发现2015年的 dsl 版将近1个G，所以对比了下才发现最多只显示10条。不过10条也够了。

woaini123

感谢更新，试试看

hyqq2015

garypang 发表于 2018-6-7 15:21
7 G& M# e5 Z8 r2 `1 [$ a& e是的,离线版和在线版都是用的http://api.urbandictionary.com/v0/define?term= 这个接口的数据 这个接口 ...

8 l0 y4 G5 k, L* z3 f8 U, Q/ I在网上找到一个1.9G的Urban Dictionary数据资源：
: V7 J/ j! K# N, d1 Xhttps://www.reddit.com/r/dataset ... ions_1999_may_2016/
7 X3 ]+ l+ R9 h下载数据看了下，这个2016年5月份的数据中，beautiful的释义有195条，看来作者抓取的时候抓到的释义很全。

作者介绍可以利用 defid 来抓取，
3 e! `/ }5 b. g  E0 ~  N! b

You can scrape word ids from here: http://www.urbandictionary.com/y ... 17-03-29&page=2 (note that each date has many pages) and then just throw them into the urbandictionary api link above.

! \2 r) O" d2 @, K其实我并不是很懂Python，不知这种方法是否可以完整抓取？

garypang

hyqq2015 发表于 2018-6-7 18:13
5 C# n+ _- r$ {* K7 J7 U在网上找到一个1.9G的Urban Dictionary数据资源：
# \+ B  z/ a3 A! C3 @https://www.reddit.com/r/datasets/comments/63spoc/1 ...

( u1 E: @1 ~, {2 d; ?, u里面作者所说的 http://www.urbandictionary.com/y ... 17-03-29&page=2 这个接口已经失效了,不然可以抓取到更全的wordlists,至于释义,十条其实完全够用了,我这抓取的txt源文件也有2G多了.

hsp20080888

在线的urban确实是比离线的更好的解决方案……

hyqq2015

garypang 发表于 2018-6-8 13:46
3 H  @" }% r. z1 _; h! T  W* u里面作者所说的 http://www.urbandictionary.com/y ... 17-03-29&page=2 这个接口已经失 ...

并没有失效，是按照日期来的，一天一天来，比如：
- I9 V  T+ G4 v3 N. P: K% Dhttps://www.urbandictionary.com/yesterday.php?date=2018-06-07
https://www.urbandictionary.com/yesterday.php?date=2018-06-06
6 P" ^% g3 ]8 U6 dhttps://www.urbandictionary.com/yesterday.php?date=2018-06-05
/ e. l  R, a0 I. t3 H9 J9 F
: L  u. h2 @8 p! D3 W) X作者抓取的数据是从1999年到2016年5月的。


. m3 u0 w. L5 F* e+ Wurban的数据也是1999年开始，看下图：
7 W3 n% K) E9 K+ Q4 H* X4 Y

garypang

hyqq2015 发表于 2018-6-8 17:06
2 |) n$ g2 P! v6 A6 m并没有失效，是按照日期来的，一天一天来，比如：
https://www.urbandictionary.com/yesterday.php?date= ...

' q# W" k* O' g0 O/ j/ `! z' P只有2018年最近一两个月的有效,其他年份都失效了的.

hyqq2015

garypang 发表于 2018-6-8 17:23
& m" A$ i0 J9 J7 R( |, P只有2018年最近一两个月的有效,其他年份都失效了的.

估计也是一种限制。抓不了也只能作罢，现有离线版和在线版用着也挺好。

名字自定义

谢谢这么认真完善词典，很喜欢这部词典。

elusty

感谢Garypang。

StarryZeng

好棒的操作。试试哈。不知道能不能用哦。

2018wowo

已经开始用了，谢谢楼主慷慨分享，thank you for your sharing

zjd

谢谢，1111111111111111111111111111111111111111111111111111

adl.wawh

謝谢楼主分享，下载试用！俚語對於英語水平是一個很大的進步

QQending2

很好，电脑版上的goldendict确实很省事，这份也收集一个

vtvt

感谢楼主分享，下载试用！                              

cici920

这个排版比较好看

国宝滚滚

谢谢谢谢

jizer2

Thanks million times

hsh791116

不错的东东

thejiong

兄弟，感谢感谢哈。