厦门是否有 py 后端？

pandas 分段读取 或者 spark 吧

以前写的一个小说搜索以及推荐，目标想做个推荐系统~~开源地址： https://github.com/howie6879/owllook ，

友情提示网文有毒，适当看看就好，不要沉迷

大三时候做过一个新闻推荐系统，找到了当时写的文档，觉得自己很好玩： https://github.com/howie6879/getNews/blob/master/doc/%E4%BA%92%E8%81%94%E7%BD%91%E5%86%85%E5%AE%B9%E6%8E%A8%E8%8D%90%E7%B3%BB%E7%BB%9F%E9%9C%80%E6%B1%82%E5%88%86%E6%9E%90.md

逃课实习一年

@ManjusakaL 我用 sanic 比较早 不得不承认是有问题的 记得年中那段时间还有安全问题 等它慢慢完善吧

@ManjusakaL 1.我司有些服务将 flask 替换成 sanic 了 不过都是接口服务 感觉还可以 压测同等条件下 sanic 比 falsk 快 关于部署 docker 下直接裸跑 没毛病，2.我只针对 requets 以及 response 的请求前后做些处理 简单封装下就好 并没有需求对处理过程进行重新的需求，可能不理解你的感受，看你文章中的关于 json 的 pr，何不针对错误封装个 response_handle()，出错就替换成你的 json dumps，3.你说的装饰器的那个其他问题，我觉得那个没毛病，你编写的函数默认其实就是一个装饰器包裹起来的异步函数 sanic 只看返回的函数，这样我觉得还灵活点

@ManjusakaL 何出此言

加油 不低 此处该放简历 一点建议 代码可以更规范点 我觉得你的爬虫框架有点乱 我用手机看了下 可能不是看得很清楚 目标网页的提取 框架没有提供提取类 比如 cssselector re xpath 封装下 然后存储目标值也可以写个类 比如 scrapy 的 item 那种 不过我一般都是 item 类定好 target 值 spider 负责生成目标网页 requests 类负责抓取 抓取结果扔 item 类自动提取

将网站转化为一个 api 服务

@neoblackcap

你说得有道理 我也是说明和和注释相结合 我是这样写的 我把源码注释好了放在另外一个项目里 我在文章中列出框架的执行路线，每个路线的函数的作用，若想知道这个函数具体代码以及代码的具体解释，这里我就会把我注释好的代码地址放在旁边，读者可以一边看我写的注释，一边追踪框架的运行路线

@neoblackcap 这是导读 核心部分如 server.py 每个函数我都写注释了 难道把注释解释放在文档里？

@mimzy 非常感谢 已改

支持楼主 谁不是新手来的

楼主有发邮件询问么？我和你一样情况，发邮件说情况，第二天就回访弄好了

block

关于 xpath 的解决方式，我另一个项目和你这个项目的目标值提取方式很像，我当时的解决方式是让使用者自己定义一个函数在 Item 的继承类里面，比如
``` python
from talonspider import Item, TextField, AttrField
from pprint import pprint

try:
bool(type(unicode))
except NameError:
unicode = str


class DoubanItem(Item):
target_item = TextField(css_select='div.item')
title = TextField(css_select='span.title')
cover = AttrField(css_select='div.pic>a>img', attr='src')
abstract = TextField(css_select='span.inq')

def tal_title(self, title):
# 这里当返回是 list，让使用者在自己定义的这个函数里解决
if isinstance(title, unicode):
return title
else:
return ''.join([i.text.strip().replace(u'\xa0', '') for i in title])
```
项目地址 https://github.com/howie6879/talonspider

如果你觉得可以 我们可以改成这样子去解决

@prasanta 抱歉 ，刚看到，我没用 xpath 不过我发现 cssselector 也有这个问题 我已经解决了并提交 pr，我还提交了一些参数的优化 比如 requests 的 get 支持 headers，flask 的一些 options 参数传递问题，新增加了一个用 css 提取写的豆瓣 demo