V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  LinJunzhu  ›  全部回复第 11 页 / 共 11 页
回复总数  215
1 ... 2  3  4  5  6  7  8  9  10  11  
2016-05-25 00:07:51 +08:00
回复了 odirus 创建的主题 问与答 爬虫请教,请问如何爬 "http://www.kuaidaili.com/" 的数据
@odirus 感谢回复 :)

现在解决了这个问题,我的解决方法:

1 、 Scrapy + selenium + PhamtomJS
2 、 Scrapy 请求拿到那段 JS 后,修改下那段 JS 执行跳转的代码,拿到要跳转的 link (因为我用的 driver.execute_script( js ) 执行完后没办法自动跳转到指定页面。)
3 、拿到 link 后就好办了,直接请求。

另外,发现我拿到的代理压根用不了。。。。。也是醉人。 还想着说稳定的话以后就购买了。

我去试试你的那个网站,谢谢了。
2016-05-24 13:41:41 +08:00
回复了 odirus 创建的主题 问与答 爬虫请教,请问如何爬 "http://www.kuaidaili.com/" 的数据
@UnisandK

你好,能麻烦请教下么?

我在获得 response 的 JS 代码后
```javascript
window.onload=setTimeout("by(242)", 200);
function by(OG) {var qo, mo="", no="", oo = [0x0a,0x9a,0x4a,0x01,0x7c,0x13,0xb5,0x4f,0xfd,0x78,0x0f,0x27,0xd6,0xae,0x28,0xfe,0x95,0x50,0x98,0xe8,0x15,0xa7,0x9d,0xd7,0x88,0x1f,0x18,0xf0,0x67,0x3e,0x19,0x33,0xac,0x3b,0x09,0x99,0x87,0x60,0xb5,0x70,0xe7,0x3d,0x85,0x40,0x90,0x08,0xf8,0x66,0x07,0x35,0xb0,0xde,0x17,0x2f,0x27,0xfe,0xd6,0x88,0xf5,0xe7,0xdc,0xea,0x62,0x34,0x01,0xd1,0x7f,0xd0,0x19,0x22];qo = "qo=68; do{oo[qo]=(-oo[qo])&0xff; oo[qo]=(((oo[qo]>>2)|((oo[qo]<<6)&0xff))-99)&0xff;}while(--qo>=2);"; eval(qo);qo = 67; do { oo[qo] = (oo[qo] - oo[qo - 1]) & 0xff; } while (-- qo >= 3 );qo = 1; for (;;) { if (qo > 67) break; oo[qo] = ((((((oo[qo] + 198) & 0xff) + 204) & 0xff) << 5) & 0xff) | (((((oo[qo] + 198) & 0xff) + 204) & 0xff) >> 3);qo++;}po = "";for (qo = 1; qo < oo.length - 1; qo++) if (qo % 6) po += String.fromCharCode(oo[qo] ^ OG);po += "\""; eval("qo=eval;qo(po);");}

```

那这里该如何去解析拿到 yundun 的 id 呢?
2016-05-23 23:59:15 +08:00
回复了 odirus 创建的主题 问与答 爬虫请教,请问如何爬 "http://www.kuaidaili.com/" 的数据
@odirus 你好,能请教下关于这个网站的爬取么?

521 后如何能够拿到 yundun 后的参数呢?

使用的是 Scrapy 框架
2016-05-19 15:40:54 +08:00
回复了 LinJunzhu 创建的主题 MacBook Pro MacBook Pro 10.11 拔掉显示器连接线后,不休眠
@laowood 唔.. 我一般都合盖直接走人,因为回家打开电脑还是要照常工作。

应该不是软件的问题,因为只有在连接 dell 显示器后,拔掉连接线合盖后才会经常出现这种情况。
2016-05-11 11:52:57 +08:00
回复了 LinJunzhu 创建的主题 问与答 服务器响应 json 字符串的两种格式,有点蒙圈
通过不断 google + 实验,我觉得我得到了答案。

首先, response header 内的 content_type 仅仅只是表明响应数据是怎样的数据,并不会自动去解析成 JSON 对象 (注: 有浏览器原生 JSON 对象,其他的都为语言的对象)。

比如原生 AJAX ,拿到该响应,仅仅只是 string 。 而 jQuery 则会根据 content_type 去将响应解析成对应的格式

至于浏览器开发者工具,你看到的 JSON 对象,是浏览器开发者工具为了方便我们开发,自己将它解析成了对应的格式。

接着,当你在服务手动创建:
```ruby
# Rails
render text: '{"a": "a"}', content_type: "application/json"
```

此时你在浏览器就会看到问题内的第一种情况,也即正常情况。 浏览器会根据 content_type 将他解析

```ruby
# Rails
render json: { a: 'a' }
```
此时, Rails 会自动将他序列化成字符串(即跟手动创建字符串没两样),然后进行传输。

那么,问题第二种情况是怎样的呢?如果服务器仅仅只是返回 JSON 字符串的话,那么肯定也是会自动解析的呀。答案在于服务器的开发人员傻了。

```ruby
# 正常情况
'{"a": "a"}'

# 而开发人员由于某种原因,将 json 字符串又序列化了一遍
# 类似于这种效果
JSON.stringify(JSON.stringify(jsonObejct))

# 因此最终服务器返回的字符串其实是:
"\"{\\\"a\\\": \\\"a\\\"\}\""

# 浏览器拿到的字符串解析后是:
"{\"a\": \"a\"}"

```
2016-05-10 23:24:46 +08:00
回复了 LinJunzhu 创建的主题 问与答 服务器响应 json 字符串的两种格式,有点蒙圈
@sensui7 感谢,不过我有个疑问,客户端是如何知道这个这个字符串是 json 编码并且进行反序列化呢?。 因为第二种 json 字符串,也符合 json 规范,也是可以进行 parse 操作的呀?
2016-05-10 23:21:27 +08:00
回复了 LinJunzhu 创建的主题 问与答 服务器响应 json 字符串的两种格式,有点蒙圈
唔,我想了下:

第一种,是因为服务器返回了 json 对象,并且服务器语言有相应的序列化 json 接口,在传输时会将 json 对象序列化,浏览器或语言 接收到该响应时,根据 content_type 去反序列解析响应,所以会直接拿到 json 对象。

第二种,是因为浏览器返回的就是 json 字符串,所以客户端拿到的响应当然仅仅只是字符串了。

不知道对不对呢?
@Halry 使用的是自带的 DP 线。
此时按显示器的电源键都没反应
2016-03-13 12:48:36 +08:00
回复了 Soonan 创建的主题 Apple 手机被盗,感叹现在产业化的速度
@KillPaul

如果你曾经使用过 91 助手, PP 助手 等软件,那么他们就可以根据你的序列号拿到你的账户了。(这个就不知道是 PP 助手主动提供的,还是他们利用漏洞了)

拿到你的账户之后就有以下方法拿到你的密码:

1 、社工 (所谓的钓鱼网站)
2 、通过密码库搜索你以前暴露的密码
3 、利用 XSS 漏洞,诱使你点击网站时 ooxx 你
2016-03-09 20:09:02 +08:00
回复了 LinJunzhu 创建的主题 Dell 想买个显示器,求京东券 1000-50
谢谢大家啦~~~~~


帖子 OVER~
2016-03-09 18:02:00 +08:00
回复了 LinJunzhu 创建的主题 Dell 想买个显示器,求京东券 1000-50
@a1058021348 求一个,(づ ̄ 3  ̄)づ
2016-01-29 15:29:33 +08:00
回复了 UtopiaCHN 创建的主题 程序员 有没有和我一样喜欢把大括号上下对齐的?尤其是 if 语句
觉得楼主是个 JAVA 工程师
2015-01-07 16:36:15 +08:00
回复了 zq9610 创建的主题 Sublime Text Mac OS X Yosemite 修改 Sublime Text 应用程序图标的奇怪问题
@yyfearth 赞。

一直都不明白,对着 info 里面的图标 复制 所选图标。。

折腾了好久,才终于明白。。想不到有这么隐蔽的方法。。

不过 copy 后会变成一个普通文件图标,需要点击一次 delete 才能生效。
1 ... 2  3  4  5  6  7  8  9  10  11  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1934 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 22ms · UTC 16:19 · PVG 00:19 · LAX 08:19 · JFK 11:19
Developed with CodeLauncher
♥ Do have faith in what you're doing.