java结合HADOOP集群文件上传下载

Java结合Hadoop集群文件上传下载的攻略如下：

1. 确认Hadoop集群状态

在开始上传或下载文件之前，为了确保集群状态正常，需要使用以下命令检查Hadoop集群是否处于正常状态：

hadoop fs -ls /

如果出现Hadoop根目录的内容列表，则表示集群状态正常。

2. 文件上传

方式一：利用Hadoop API上传文件

Java代码示例如下：

Configuration conf = new Configuration();
conf.set("fs.defaultFS", "hdfs://namenode:9000");  //指定namenode地址
FileSystem fs = FileSystem.get(conf);

String localSrc = "/path/to/local/source/file";
String dst = "/path/to/destination/hdfs";

Path srcPath = new Path(localSrc);
Path dstPath = new Path(dst);

fs.copyFromLocalFile(srcPath, dstPath);

fs.close();

方式二：利用本地Shell命令上传文件至Hadoop集群

以下是将本地文件localFile.txt上传至Hadoop集群目录hdfs://namenode:9000/path/to/destination/hdfs的Shell命令：

hadoop fs -put /path/to/localFile.txt hdfs://namenode:9000/path/to/destination/hdfs

3. 文件下载

方式一：利用Hadoop API下载文件

Java代码示例如下：

Configuration conf = new Configuration();
conf.set("fs.defaultFS", "hdfs://namenode:9000");  //指定namenode地址
FileSystem fs = FileSystem.get(conf);

String src = "/path/to/source/hdfs/file";
String localDst = "/path/to/local/destination/file";

Path srcPath = new Path(src);
Path dstPath = new Path(localDst);

fs.copyToLocalFile(srcPath, dstPath);

fs.close();

方式二：利用本地Shell命令下载文件

以下是将Hadoop集群目录/path/to/source/hdfs/file中的文件下载至本地目录/path/to/local/destination/file的Shell命令：

hadoop fs -get hdfs://namenode:9000/path/to/source/hdfs/file /path/to/local/destination/file

请注意，如果下载的文件名与本地该目录下的已存在文件名相同，下载操作将会失败。

通过以上方式，我们可以很方便地实现Java结合Hadoop集群文件上传下载。