技术
lkong2weibo
标签(空格分隔): 技术
还是不习惯写博客,又有一段时间没有更新啦。不过就连我自己都没想到自己当初只是为了发泄的作品,竟然能够走那么远。
update:
2015年7月7日22:36:35
- 采用了高大上的异步采集方式,每次beautiulsoup处理一次网页,采集4个数据——两个书评以及对应的两个链接,然后发两次微博,这样能减少fetch url,至于效果是否明显,得观察一天啦。还是没有很好地掌握python对列表的遍历。不然我想用循环的方式写,一次采集五个,这样节省云豆的效果可能更加明显。
- 加入对短网址的处理,因为微博提供了对应的json提交方式,所以我对照发微博的方式写了,感觉并不难
对lknog2weibo未来的展望
- 首先当然是进一步优化代码了,伪异步还是需要提高,希望能自己判断更新的频繁程度来进行调整
- 比较简单的一个就是在程序内部增加根据时间来停止应用
- 折腾完lkong2weibo这个项目以后,想做更高大上的。大数据啊,分布式爬虫啊,lxml什么的,beautifulsoup虽然用起来简单,但是缺点就是局限性啦