零基础写Java知乎爬虫之先拿百度首页练练手

以下是零基础写Java知乎爬虫之先拿百度首页练练手的完整攻略：

步骤一：准备工作

首先，我们需要安装Java开发环境（JDK），推荐使用Oracle JDK。然后，我们需要安装一个Java代码编辑器，比如Eclipse、IntelliJ IDEA等。接着，我们需要导入一个Java爬虫框架——Jsoup。

步骤二：编写Java代码

编写Java代码的过程分为以下几步：

1. 导入所需类。

我们需要导入Java中的URL类和Jsoup类，它们的作用分别是用于访问URL和解析网页。

import java.net.URL;
import org.jsoup.Jsoup;

1. 定义要访问的URL并建立连接。

比如我们要访问百度首页，可以使用下面的代码建立连接：

URL url = new URL("https://www.baidu.com/");
Document doc = Jsoup.parse(url, 3000);

其中，第二行代码中的3000表示超时时间，单位为毫秒。

1. 解析页面数据。

我们可以使用Jsoup提供的一系列API来解析HTML页面，比如获取页面的标题、链接、内容等。以下是获取页面标题的代码示例：

String title = doc.title();
System.out.println("Page title is: " + title);

在这里，我们通过调用doc对象的title()方法来获取页面标题，并将其打印到控制台。

步骤三：运行Java代码

将上面的代码保存在一个Java项目中，然后运行项目即可看到输出结果。

以下是一个完整的示例代码，它将访问百度首页，并获取页面的标题：

import java.net.URL;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;

public class BaiduSpider {
    public static void main(String[] args) {
        try {
            //建立连接
            URL url = new URL("https://www.baidu.com/");
            Document doc = Jsoup.parse(url, 3000);

            //获取页面标题
            String title = doc.title();
            System.out.println("Page title is: " + title);
        } catch (Exception e) {
            e.printStackTrace();
        }
    }
}

运行代码后，控制台会输出以下信息：

Page title is: 百度一下，你就知道

示例一：获取知乎首页的热门话题

我们可以上知乎首页看看，会发现有许多不同话题的热门文章，比如“有哪些正经人干过非常玩命的事？”、“你见过最令人窒息的身材是什么？”等等。

我们可以使用Java爬虫来获取这些热门话题。以下是一段示例代码：

import java.net.URL;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

public class ZhihuSpider {
    public static void main(String[] args) {
        try {
            //建立连接
            URL url = new URL("https://www.zhihu.com/");
            Document doc = Jsoup.parse(url, 3000);

            //获取热门话题
            Elements topics = doc.select("div.PopularFeeds-bottom div.PopularListItem-title a");
            for (Element topic : topics) {
                String title = topic.text();
                String link = "https://www.zhihu.com" + topic.attr("href");
                System.out.println(title);
                System.out.println(link);
            }
        } catch (Exception e) {
            e.printStackTrace();
        }
    }
}

运行代码后，控制台会输出10条热门话题及其链接。

示例二：获取豆瓣电影TOP250信息

我们可以使用Java爬虫来获取豆瓣电影TOP250的信息，包括电影名称、导演、上映年份、评分等。以下是一段示例代码：

import java.net.URL;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

public class DoubanSpider {
    public static void main(String[] args) {
        try {
            //建立连接
            URL url = new URL("https://movie.douban.com/top250");
            Document doc = Jsoup.parse(url, 3000);

            //获取电影信息
            Elements items = doc.select("div.item");
            for (Element item : items) {
                String title = item.select("span.title").text();
                String director = item.select("div.bd p:eq(0)").text().split("   ")[0].replace("导演: ", "");
                String year = item.select("div.bd p:eq(0)").text().split("   ")[1].replace(" / ", "");
                String rating = item.select("div.bd div.star span.rating_num").text();
                System.out.println("电影名称：" + title);
                System.out.println("导演：" + director);
                System.out.println("上映年份：" + year);
                System.out.println("评分：" + rating);
                System.out.println("===========================");
            }
        } catch (Exception e) {
            e.printStackTrace();
        }
    }
}

运行代码后，控制台会输出前25部电影的信息。