Dolphinschedul集成COS异常原创
# 异常
启动DolphinScheduler集群,测试资源中心创建文件夹、文件,我们发现文件夹创建没有问题,但是文件创建失败,查看api-server的日志发现
# 处理
根据报错可以看出 程序运行时找不到指定类,缺少jar包。查看DolphinScheduler的api-server的lib,发现DolphinScheduler配置的hadoop-3.2.4,检查后发现该版本hadoop确实没有hadoop-shaded-guava-1.1.1.jar包。我们之前添加的cos依赖是hadoop-cos-3.3.3.jar,存在版本不兼容问题。
即不想实现cos接口,又想基于现有功能实现cos存储,所以就只能依赖HDFA的实现。因为我们在api-server、worker-server。添加缺失的依赖jar包即可。
[localhost]$ cd /datadrive/dolphinscheduler/
[localhost]$ cp hadoop-shaded-guava-1.1.1.jar api-server/lib/
[localhost]$ cp hadoop-shaded-guava-1.1.1.jar alert-server/lib/
[localhost]$ cp hadoop-shaded-guava-1.1.1.jar master-server/lib/
[localhost]$ cp hadoop-shaded-guava-1.1.1.jar worker-server/lib/
1
2
3
4
5
2
3
4
5
重启集群再次测试,文件创建成功
上次更新: 2024/06/28, 14:46:16
- 02
- 2025-03-28拍婚纱照 原创04-02
- 03
- 2024-04-05的晚上 原创04-01