推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
这是一个创建于 3325 天前的主题，其中的信息可能已经有所发展或是发生改变。
最近在读这个代码，现在遇到一些问题，希望有研究过的人帮助回答下。
首先，我用的分支是 https://github.com/tdifg/pyspider/tree/reading
问题主要和 tornado 的异步抓取相关，在 tornado_fetcher.py 文件里 http_fetch 函数，经过一系列初始化后进入 self.http_client.fetch(request)，然后直接进入了 handle_response 并返回了结果。
问题就是在这里， final_headers 里的值是如何来的，为什么值就是返回的头呢？
header_callback 函数只是在初始化 request 的时候调用了一次，其他并没有对这个变量做操作的地方，但是每次执行到 response 后 final_headers 就变成了返回头。
是在 self.http_client.fetch(request)里做了变动吗？
顺便问下有没有 tornado 的 httpclient 相关的文档可以参考学习的。多谢了。
 |
1
binux 2015-10-22 08:59:25 +08:00
因为 header_callback 的意思是，对于每个 http 的 header 部分调用这个函数进行解析。
然后由于 header 部分被这个函数捕获了，所以 response.header 就没有值了，需要手动解析出 header 再赋值给它。 在 tornado.http request 中需要手动解析 header 的原因是， redirect 跳转的 cookie tornado 是不捕获的，但是例如登录时，很多网站都是在 302 处写入 cookie 的，为了修正这个问题，所以需要手动解析 header 。 以上行为，参阅 tornado 源码。反正 tornado 的文档都带有源码的跳转链接，看起来非常方便。 |
Select Language