一篇文章教会你使用java爬取想要的资源

使用Java进行网络数据爬取是一项常见的任务。本篇文章将详细讲解如何使用Java进行网络爬取，并提供两个示例说明。以下是爬虫攻略的详细步骤：

一、获取目标URL

首先，要确定你希望从哪个网站中获取数据。然后，你需要找到该网站中包含目标数据的具体页面。在本文的示例中，我将以 https://www.bilibili.com/ 作为目标网站。

二、分析网站结构

当你确定了要爬取的网站之后，你需要分析该网站的结构，以确定如何进行爬取。因为在进行网站爬取时，必须模仿网站浏览器，以便我们可以提取所需的信息。

三、Web页面访问和内容提取

其中最重要的一步是Web页面访问以及内容提取。这可以通过 Java 网络爬虫来实现。下面是实现爬取的具体步骤：

1.创建URL对象

URL url = new URL("https://www.bilibili.com/");

2.打开与URL指定的资源之间的连接

URLConnection conn = url.openConnection();

3.获取服务器响应的头信息

Map<String,List<String>> headerFields = conn.getHeaderFields();
for (Map.Entry<String, List<String>> entry : headerFields.entrySet()) {
    String key = entry.getKey();
    List<String> value = entry.getValue();
    System.out.println(key + " = " + value);
}

4.获取服务器响应的数据流

InputStream is = conn.getInputStream();

5.根据响应中数据流的内容类型确定解析方式

BufferedReader reader = new BufferedReader(new InputStreamReader(is, "UTF-8"));
String line = null;
while ((line = reader.readLine())!=null) {
    System.out.println(line);
}

四、多线程提升爬取效率

因为爬虫要处理的内容通常非常多，所以为提高效率，我们可以采用多线程的方式来处理。在示例中，我们将使用Executor框架来实现线程管理。以下是实现步骤：

1.创建线程池，用来控制线程的数量

ExecutorService pool = Executors.newFixedThreadPool(10); 

2.将需要执行的任务添加到线程池中

for (int i = 0; i < 100; i++) {
    Runnable r = new Runnable() {
        @Override
        public void run() {
            //线程内部处理内容
        }
    };
    pool.execute(r);
}

五、遵循爬虫应用礼仪

在爬取数据时，应该注意到访问网站并不等于所有数据都属于公有领域。你应该遵循你正在爬取数据的网站的规则，用爬虫收集合适的数据，不要爬取不属于你的数据。

这里我们提供两个实例说明，分别是从bilibili获取视频信息和从douban获取书籍信息。

六、实例教程

1.在B站中搜索“武汉加油”，并获取视频信息

public static void main(String[] args) throws Exception {
    URL url = new URL("https://search.bilibili.com/all?keyword=%E6%AD%A6%E6%B1%89%E5%8A%A0%E6%B2%B9&from_source=banner_search");
    URLConnection conn = url.openConnection();
    conn.setRequestProperty("User-Agent", "Mozilla/4.0 (compatible; MSIE 5.0; Windows NT; DigExt)");
    InputStream is = conn.getInputStream();
    BufferedReader reader = new BufferedReader(new InputStreamReader(is, "UTF-8"));
    String line = null;
    StringBuilder sb = new StringBuilder();
    while ((line = reader.readLine())!=null) {
        sb.append(line);
    }
    Document doc = Jsoup.parse(sb.toString());
    Elements divs = doc.select(".video-item");
    for (Element div : divs) {
        String title = div.select(".title").text();
        String cover = div.select(".lazy-img").attr("data-src");
        System.out.println(title + ":" + cover);
    }
}

2.在豆瓣中搜索“Java编程思想”，并获取书籍信息

public static void main(String[] args) throws Exception {
    URL url = new URL("https://book.douban.com/subject_search?search_text=java编程思想&cat=1001&start=0");
    URLConnection conn = url.openConnection();
    conn.setRequestProperty("User-Agent", "Mozilla/4.0 (compatible; MSIE 5.0; Windows NT; DigExt)");
    InputStream is = conn.getInputStream();
    BufferedReader reader = new BufferedReader(new InputStreamReader(is, "UTF-8"));
    String line = null;
    StringBuilder sb = new StringBuilder();
    while ((line = reader.readLine())!=null) {
        sb.append(line);
    }
    Document doc = Jsoup.parse(sb.toString());
    Elements lis = doc.select("ul.subject-list li");
    for (Element li : lis) {
        String title = li.select(".info h2 a").text();
        String author = li.select(".info .pub").text();
        System.out.println(title + ":" + author);
    }    
}

这就是如何使用Java进行网络数据爬取的整个攻略。希望可以帮助到你，谢谢！