北京快3苹果手机版:使用正则表达式实现网页爬虫的思路详解

北京快三走势图 www.mxld9.cn  更新时间:2018年12月06日 12:35:43   作者:wyhluckydog   我要评论

网页爬虫:就是一个程序用于在互联网中获取指定规则的数据。这篇文章主要介绍了使用正则表达式实现网页爬虫的思路详解,需要的朋友可以参考下

网页爬虫:就是一个程序用于在互联网中获取指定规则的数据。

思路:

1.为模拟网页爬虫,我们可以现在我们的tomcat服务器端部署一个1.html网页。(部署的步骤:在tomcat目录的webapps目录的ROOTS目录下新建一个1.html。使用notepad++进行编辑,编辑内容为:

在这里插入图片描述

2.使用URL与网页建立联系
3.获取输入流,用于读取网页中的内容
4.建立正则规则,因为这里我们是爬去网页中的邮箱信息,所以建立匹配 邮箱的正则表达式:String regex="\[email protected]\w+(\.\w+)+";
5.将提取到的数据放到集合中。

代码:

import java.io.BufferedReader;
import java.io.InputStream;
import java.io.InputStreamReader;
import java.net.URL;
import java.util.ArrayList;
import java.util.List;
import java.util.regex.Matcher;
import java.util.regex.Pattern;
/*
 * 网页爬虫:就是一个程序用于在互联网中获取指定规则的数据
 * 
 * 
 */
public class RegexDemo {
 public static void main(String[] args) throws Exception {
 
 List<String> list=getMailByWeb();
 for(String str:list){
 System.out.println(str);
 }
 
 }
 private static List<String> getMailByWeb() throws Exception {
 
 //1.与网页建立联系。使用URL
 String path="//localhost:8080//1.html";//后面写双斜杠是用于转义
 URL url=new URL(path);
 //2.获取输入流
 InputStream is=url.openStream();
 //加缓冲
 BufferedReader br=new BufferedReader(new InputStreamReader(is));
 //3.提取符合邮箱的数据
 String regex="\\[email protected]\\w+(\\.\\w+)+";
 //进行匹配
 //将正则规则封装成对象
 Pattern p=Pattern.compile(regex);
 //将提取到的数据放到一个集合中
 List<String> list=new ArrayList<String>();
 
 String line=null;
 while((line=br.readLine())!=null){
 //匹配器
 Matcher m=p.matcher(line);
 while(m.find()){
 //3.将符合规则的数据存储到集合中
 list.add(m.group());
 }
 }
 
 return list;
 }
}

注意:在执行前需要先开启tomcat服务器

运行结果:

在这里插入图片描述

总结

以上所述是小编给大家介绍的使用正则表达式实现网页爬虫的思路详解,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对脚本之家网站的支持!

相关文章

最新评论

  • 星战外传再起——关于《游侠索罗》你应该知道的N件事 2019-05-26
  • “威马逊”在海南翁田镇沿海登陆 最大风力达17级 2019-05-25
  • 新版外商投资负面清单即将发布 2019-05-24
  • 解说米勒谈WE:LPL夏季赛夺冠可能性不大 2019-05-23
  • 陈坤:虽然会被困扰,但感谢情绪无法删除 2019-05-22
  • 问题来了!那些年你遇到的噪声扰民怎么办? 2019-05-21
  • 俞正声:广泛开展对外友好交往 2019-05-21
  • 运用互联网思维介入城市化会如何? 2019-05-20
  • 【加拿大房产网加拿大新房加拿大房产信息网】 2019-05-20
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-19
  • [网连中国]5地社保费率降低后工资条看变化 职工:只少交几块钱 2019-05-19
  • 全国政协委员侯一筠:发挥山东海洋优势,打造国家级科技成果转化平台 2019-05-18
  • 广西河池消防支队召开新兵第二阶段集训工作部署会 2019-05-18
  • 龙峰:帮助更多企业用好互联网—上游新闻对话重庆经济 2019-05-17
  • 其实,生产力发展了,社会财富丰富了,把小萌们养起来也不是什么问题……但你们不能被养着还养出脾气来还妄图对真正的劳动者指手画脚! 2019-05-16
  • 785| 740| 998| 470| 536| 920| 838| 536| 291| 704|