• 三狮军团首秀 只有两千多球迷观战 2019-05-19
  • 人民网2017呼和浩特徒步迎新活动--内蒙古频道--人民网 2019-05-19
  • 【品牌资讯】环球网斩获“全国行业新闻网站传播力2017年6月榜”多项冠军 2019-05-15
  • 深化对经济工作主线的认识 从供需关系看供给侧结构性改革 2019-05-15
  • 格拉斯哥艺术学院起火 4年前曾遭火灾仍在整修 2019-05-14
  • 回复@地瓜干17世:猪临死才会嚎叫呢~ 2019-05-14
  • 婺源古村溪中发现鹰嘴龟 2019-05-08
  • 编辑评测:高夫净源控油平衡露 极速补水长效控油 2019-05-08
  • 四部门发文规范特色小镇建设防止“新瓶装旧酒” 2019-05-02
  • 【地球的盛会文明的聚会艺术的盛宴四海一家足球为人类和平幸福而荣耀!!!普京是当今人类世界最优秀的一代伟人俄罗斯赢啦!!!】 2019-04-29
  • 学习新思想,千万师生同上一堂课 2019-04-28
  • 你这种个体户都干不了的老蚕也配谈计划?真是笑死人不偿命哦? 2019-04-23
  • 感人!的哥带着患病父亲出车 孝心感动乘客 2019-04-23
  • 图解:习近平在纪念马克思诞辰200周年大会上讲话的16个金句 2019-04-16
  • 感触名家笔下的端午文化 吃香粽原来可以这样"文艺" 2019-04-16
  • 山西十一选五前三直:利用Python实现微信找房机器人实例教程

    山西体彩11选5直选遗漏 www.caxru.com  更新时间:2019年03月10日 10:50:56   作者:facert   我要评论

    这篇文章主要给大家介绍了关于如何利用Python实现微信找房机器人的相关资料,文中通过示例代码介绍的非常详细,对大家的学习或者使用python具有一定的参考学习价值,需要的朋友们下面来一起学习学习吧

    目的

    两年前曾为了租房做过一个找房机器人 「爬取豆瓣租房并定时推送到微信」,维护一段时间后就荒废了。

    当时因为代码比较简单一直没开源,现在想想说不定开源后也能帮助一些同学更好的找到租房信息,所以简单整理后,开源到 github,地址:https://github.com/facert/zufang (本地下载)

    下面是当时写的简单原理介绍:

    身在帝都的人都知道租房的困难,每次找房都是心力交瘁。其中豆瓣租房小组算是比较靠谱的房源了,但是由于小组信息繁杂,而且没有搜索的功能,想要实时获取租房信息是件很困难的事情,所以最近给自己挖了个坑,做个微信找房机器人,先看大概效果吧,见下图:

    实现

    说下大概的技术实现吧,首先是 scrapy 爬虫对于豆瓣北京租房的小组实时爬取,并做了全文检索,对 title, description 使用 jieba 和 whoosh 进行了分词和索引,做成 api。接下来就是应用的接入,网上有微信机器人的开源 [wxBot](//github.com/liuwons/wxBo),所以对它进行了修改, 实现了定时推送和持久化。最后顺便把公众号也做了同样的功能,支持实时租房信息搜索。

    部分代码

    scrapy 支持自定义 pipeline,能很方便的实现数据录入的时候实时生成索引,见 code:

    class IndexPipeline(object):
    
     def __init__(self, index):
     self.index = index
    
     @classmethod
     def from_crawler(cls, crawler):
     return cls(
      index=crawler.settings.get('WHOOSH_INDEX', 'indexes')
     )
    
     def process_item(self, item, spider):
     self.writer = AsyncWriter(get_index(self.index, zufang_schema))
     create_time = datetime.datetime.strptime(item['create_time'], "%Y-%m-%d %H:%M:%S")
     self.writer.update_document(
      url=item['url'].decode('utf-8'),
      title=item['title'],
      description=item['description'],
      create_time=create_time
     )
     self.writer.commit()
     return item

    搜索 api 代码很简单:

    def zufang_query(keywords, limit=100):
     ix = get_index('indexes', zufang_schema)
     content = ["title", "description"]
     query = MultifieldParser(content, ix.schema).parse(keywords)
     result_list = []
     with ix.searcher() as searcher:
     results = searcher.search(query, sortedby="create_time", reverse=True, limit=limit)
     for i in results:
      result_list.append({'url': i['url'], 'title': i['title'], 'create_time': i['create_time']})
     return result_list

    总结

    以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,谢谢大家对脚本之家的支持。

    相关文章

  • Python排序算法之选择排序定义与用法示例

    Python排序算法之选择排序定义与用法示例

    这篇文章主要介绍了Python排序算法之选择排序定义与用法,简单描述了选择排序的功能、原理,并结合实例形式分析了Python定义与使用选择排序的相关操作技巧,需要的朋友可以参考下
    2018-04-04
  • Python中文件操作简明介绍

    Python中文件操作简明介绍

    这篇文章主要介绍了Python中文件操作简明介绍,本文讲解了打开文件、读取方法、写入方法、文件内移动、文件迭代、关闭文件、截取文件等内容,并给出了一个完整操作实例,需要的朋友可以参考下
    2015-04-04
  • Python中的数学运算操作符使用进阶

    Python中的数学运算操作符使用进阶

    这篇文章主要介绍了Python中的数学运算操作符使用进阶,也包括运算赋值操作符等基本知识的小结,需要的朋友可以参考下
    2016-06-06
  • 在 Python 应用中使用 MongoDB的方法

    在 Python 应用中使用 MongoDB的方法

    这篇文章主要介绍了在 Python 应用中使用 MongoDB的方法,需要的朋友可以参考下
    2017-01-01
  • Python之os操作方法(详解)

    Python之os操作方法(详解)

    下面小编就为大家带来一篇Python之os操作方法(详解)。小编觉得挺不错的,现在就分享给大家,也给大家做个参考。一起跟随小编过来看看吧
    2017-06-06
  • 最新评论

    常用在线小工具

  • 三狮军团首秀 只有两千多球迷观战 2019-05-19
  • 人民网2017呼和浩特徒步迎新活动--内蒙古频道--人民网 2019-05-19
  • 【品牌资讯】环球网斩获“全国行业新闻网站传播力2017年6月榜”多项冠军 2019-05-15
  • 深化对经济工作主线的认识 从供需关系看供给侧结构性改革 2019-05-15
  • 格拉斯哥艺术学院起火 4年前曾遭火灾仍在整修 2019-05-14
  • 回复@地瓜干17世:猪临死才会嚎叫呢~ 2019-05-14
  • 婺源古村溪中发现鹰嘴龟 2019-05-08
  • 编辑评测:高夫净源控油平衡露 极速补水长效控油 2019-05-08
  • 四部门发文规范特色小镇建设防止“新瓶装旧酒” 2019-05-02
  • 【地球的盛会文明的聚会艺术的盛宴四海一家足球为人类和平幸福而荣耀!!!普京是当今人类世界最优秀的一代伟人俄罗斯赢啦!!!】 2019-04-29
  • 学习新思想,千万师生同上一堂课 2019-04-28
  • 你这种个体户都干不了的老蚕也配谈计划?真是笑死人不偿命哦? 2019-04-23
  • 感人!的哥带着患病父亲出车 孝心感动乘客 2019-04-23
  • 图解:习近平在纪念马克思诞辰200周年大会上讲话的16个金句 2019-04-16
  • 感触名家笔下的端午文化 吃香粽原来可以这样"文艺" 2019-04-16
  • 6月18日老时时彩 北京赛车pk10单双口诀 今天双色球预测最准确 中国竞彩网 北京赛车pk10正规吗 山东群英会图表走势图 pk10免费计划app 三分彩最好平台 新时时彩五星走势 江西多乐彩开奖结果 浙江大乐透走势图 山东群英会中奖号码最新走势图表 香港六合彩总部 幸运赛车奖金计算 辽宁福彩35选7开奖结果 三d图迷总汇牛彩网