Java获取任意http网页源代码的方法

获取任意http网页源代码的方法主要可以分为以下两种：

1. 使用URL类实现获取网页源代码

可以使用Java内置的URL类来获取网页源代码，具体步骤如下：

1）创建URL对象，传入目标网页的URL地址。

2）打开URL连接，获取URLConnection对象。

3）设置URLConnection对象属性，比如User-Agent、请求头等。

4）获取URLConnection的输入流，即可读取网页源代码。

下面是示例代码：

import java.net.*;
import java.io.*;

public class Main {
  public static void main(String[] args) throws Exception {

    // 1.创建URL对象
    URL url = new URL("https://www.baidu.com/");

    // 2.打开URL连接，获取URLConnection对象
    URLConnection conn = url.openConnection();

    // 3.设置URLConnection对象属性
    conn.setRequestProperty("User-Agent", "Mozilla/5.0");

    // 4.获取URLConnection的输入流，读取网页源代码
    BufferedReader in = new BufferedReader(new InputStreamReader(conn.getInputStream()));
    String line = "";
    while ((line = in.readLine()) != null) {
      System.out.println(line);
    }
    in.close();
  }
}

1. 使用Jsoup实现获取网页源代码

Jsoup是一个Java的HTML解析器，可以方便地使用CSS选择器来查找、解析HTML文档。下面是使用Jsoup来获取网页源代码的示例代码：

import java.io.IOException;

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;

public class Main {
  public static void main(String[] args) throws Exception {
    // 1.连接目标网址获取Document对象
    Document doc = Jsoup.connect("https://www.baidu.com/").get();

    // 2.获取网页源代码
    String html = doc.html();
    System.out.println(html);
  }
}

以上两种方法都可以获取到网页源代码，具体使用哪种方法取决于具体的需求和场景。其中，使用Jsoup会更加简洁方便，可以支持使用CSS选择器来选择获取的内容。