1.1 场景描述

MapReduce 或其他大数据处理框架，启动时加载数据文件，如果文件不存在，就会报错且终止程序。

在实际场景中，有些文件确实会存在不存在的情况，且情况正常，那么为了不报错接着进行逻辑运算，可以在加载文件前进行文件是否存在的校验。

1.2 解决方案

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

import java.util.List;
import java.util.concurrent.CopyOnWriteArrayList;

/**
 * @Auther:weichao
 * @功能描述:
 * @Version:1.0
 */
public class Test002 {

    public static void main(String[] args) throws Exception {
        getInputFiles(new Configuration());
    }
    private static List<String> getInputFiles(Configuration conf) throws Exception {
        // 采用线程安全的List, 避免删除数据报错
        List<String> inputFiles = new CopyOnWriteArrayList<>();

        inputFiles.add("cosn://test-logs-666/ttdir/hehe/");
        inputFiles.add("cosn://test-logs-666/ttdir/haha/");

        // 校验文件是否存在
        for (String inputFile : inputFiles) {
            Path filePath = new Path(inputFile);
            FileSystem fs = filePath.getFileSystem(conf);
            if (fs.exists(filePath)) {
                System.out.println("load path : " + inputFile);
            } else {
                inputFiles.remove(inputFile);
                System.out.println("No such file or directory on COSN: " + inputFile);
            }
        }
        return inputFiles;
    }
}