• 三狮军团首秀 只有两千多球迷观战 2019-05-19
  • 人民网2017呼和浩特徒步迎新活动--内蒙古频道--人民网 2019-05-19
  • 【品牌资讯】环球网斩获“全国行业新闻网站传播力2017年6月榜”多项冠军 2019-05-15
  • 深化对经济工作主线的认识 从供需关系看供给侧结构性改革 2019-05-15
  • 格拉斯哥艺术学院起火 4年前曾遭火灾仍在整修 2019-05-14
  • 回复@地瓜干17世:猪临死才会嚎叫呢~ 2019-05-14
  • 婺源古村溪中发现鹰嘴龟 2019-05-08
  • 编辑评测:高夫净源控油平衡露 极速补水长效控油 2019-05-08
  • 四部门发文规范特色小镇建设防止“新瓶装旧酒” 2019-05-02
  • 【地球的盛会文明的聚会艺术的盛宴四海一家足球为人类和平幸福而荣耀!!!普京是当今人类世界最优秀的一代伟人俄罗斯赢啦!!!】 2019-04-29
  • 学习新思想,千万师生同上一堂课 2019-04-28
  • 你这种个体户都干不了的老蚕也配谈计划?真是笑死人不偿命哦? 2019-04-23
  • 感人!的哥带着患病父亲出车 孝心感动乘客 2019-04-23
  • 图解:习近平在纪念马克思诞辰200周年大会上讲话的16个金句 2019-04-16
  • 感触名家笔下的端午文化 吃香粽原来可以这样"文艺" 2019-04-16
  • 大乐透最近300期:使用正则表达式实现网页爬虫的思路详解

    山西体彩11选5直选遗漏 www.caxru.com  更新时间:2018年12月06日 12:35:43   作者:wyhluckydog   我要评论

    网页爬虫:就是一个程序用于在互联网中获取指定规则的数据。这篇文章主要介绍了使用正则表达式实现网页爬虫的思路详解,需要的朋友可以参考下

    网页爬虫:就是一个程序用于在互联网中获取指定规则的数据。

    思路:

    1.为模拟网页爬虫,我们可以现在我们的tomcat服务器端部署一个1.html网页。(部署的步骤:在tomcat目录的webapps目录的ROOTS目录下新建一个1.html。使用notepad++进行编辑,编辑内容为:

    在这里插入图片描述

    2.使用URL与网页建立联系
    3.获取输入流,用于读取网页中的内容
    4.建立正则规则,因为这里我们是爬去网页中的邮箱信息,所以建立匹配 邮箱的正则表达式:String regex="\[email protected]\w+(\.\w+)+";
    5.将提取到的数据放到集合中。

    代码:

    import java.io.BufferedReader;
    import java.io.InputStream;
    import java.io.InputStreamReader;
    import java.net.URL;
    import java.util.ArrayList;
    import java.util.List;
    import java.util.regex.Matcher;
    import java.util.regex.Pattern;
    /*
     * 网页爬虫:就是一个程序用于在互联网中获取指定规则的数据
     * 
     * 
     */
    public class RegexDemo {
     public static void main(String[] args) throws Exception {
     
     List<String> list=getMailByWeb();
     for(String str:list){
     System.out.println(str);
     }
     
     }
     private static List<String> getMailByWeb() throws Exception {
     
     //1.与网页建立联系。使用URL
     String path="//localhost:8080//1.html";//后面写双斜杠是用于转义
     URL url=new URL(path);
     //2.获取输入流
     InputStream is=url.openStream();
     //加缓冲
     BufferedReader br=new BufferedReader(new InputStreamReader(is));
     //3.提取符合邮箱的数据
     String regex="\\[email protected]\\w+(\\.\\w+)+";
     //进行匹配
     //将正则规则封装成对象
     Pattern p=Pattern.compile(regex);
     //将提取到的数据放到一个集合中
     List<String> list=new ArrayList<String>();
     
     String line=null;
     while((line=br.readLine())!=null){
     //匹配器
     Matcher m=p.matcher(line);
     while(m.find()){
     //3.将符合规则的数据存储到集合中
     list.add(m.group());
     }
     }
     
     return list;
     }
    }

    注意:在执行前需要先开启tomcat服务器

    运行结果:

    在这里插入图片描述

    总结

    以上所述是小编给大家介绍的使用正则表达式实现网页爬虫的思路详解,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对脚本之家网站的支持!

    相关文章

    最新评论

  • 三狮军团首秀 只有两千多球迷观战 2019-05-19
  • 人民网2017呼和浩特徒步迎新活动--内蒙古频道--人民网 2019-05-19
  • 【品牌资讯】环球网斩获“全国行业新闻网站传播力2017年6月榜”多项冠军 2019-05-15
  • 深化对经济工作主线的认识 从供需关系看供给侧结构性改革 2019-05-15
  • 格拉斯哥艺术学院起火 4年前曾遭火灾仍在整修 2019-05-14
  • 回复@地瓜干17世:猪临死才会嚎叫呢~ 2019-05-14
  • 婺源古村溪中发现鹰嘴龟 2019-05-08
  • 编辑评测:高夫净源控油平衡露 极速补水长效控油 2019-05-08
  • 四部门发文规范特色小镇建设防止“新瓶装旧酒” 2019-05-02
  • 【地球的盛会文明的聚会艺术的盛宴四海一家足球为人类和平幸福而荣耀!!!普京是当今人类世界最优秀的一代伟人俄罗斯赢啦!!!】 2019-04-29
  • 学习新思想,千万师生同上一堂课 2019-04-28
  • 你这种个体户都干不了的老蚕也配谈计划?真是笑死人不偿命哦? 2019-04-23
  • 感人!的哥带着患病父亲出车 孝心感动乘客 2019-04-23
  • 图解:习近平在纪念马克思诞辰200周年大会上讲话的16个金句 2019-04-16
  • 感触名家笔下的端午文化 吃香粽原来可以这样"文艺" 2019-04-16
  • 球探网比分直播 三分彩全天计划 华人捕鱼 重庆福彩欢乐生肖 pk10讨论群 3d走势图网易彩票 福彩3d论坛 新时时彩二星和值遗漏 网上那个彩票网可以卖 博雅德州扑克 飞鱼彩票走势图 程序摇奖彩票大奖 体育彩票大乐透 五分彩计划app软件 香港六合彩开码 pk10杀号法