花开不停 花开不停
首页
  • 追忆杂谈
  • 书信往来
  • 旅行记录
  • 文定之喜
  • 黄金屋-颜如玉
  • 程序化广告
  • 禅茶一味
  • 随写编年
  • 家人物语
  • 追忆青春
  • 大千世界
  • Shell
  • Java
  • Spark
  • Hadoop
  • ClickHouse
  • MySQL
  • PostgreSQL
  • MongoDB
  • 调度器
  • Zookeeper
  • Kafka
  • Flume
  • 学习周刊
关于
  • 分类
  • 标签
  • 归档
开往 (opens new window)

花开不停

此心光明,亦复何言
首页
  • 追忆杂谈
  • 书信往来
  • 旅行记录
  • 文定之喜
  • 黄金屋-颜如玉
  • 程序化广告
  • 禅茶一味
  • 随写编年
  • 家人物语
  • 追忆青春
  • 大千世界
  • Shell
  • Java
  • Spark
  • Hadoop
  • ClickHouse
  • MySQL
  • PostgreSQL
  • MongoDB
  • 调度器
  • Zookeeper
  • Kafka
  • Flume
  • 学习周刊
关于
  • 分类
  • 标签
  • 归档
开往 (opens new window)
  • Shell编程

  • Java编程笔记

  • Spark

  • Hadoop

  • ClickHouse

  • MySQL

  • PostgreSQL

  • MongoDB

  • 调度器

    • XXL-JOB
    • DolphinScheduler

      • 分布式部署 DolphinScheduler
      • Dolphinschedul集成COS异常
        • 异常
        • 处理
      • DolphinScheduler 页面卡顿问题
  • Zookeeper

  • Kafka

  • Flume

  • 编程世界
  • 调度器
  • DolphinScheduler
花开不停
2023-06-05
目录

Dolphinschedul集成COS异常原创

# 异常

启动DolphinScheduler集群,测试资源中心创建文件夹、文件,我们发现文件夹创建没有问题,但是文件创建失败,查看api-server的日志发现 ds_e1

# 处理

根据报错可以看出 程序运行时找不到指定类,缺少jar包。查看DolphinScheduler的api-server的lib,发现DolphinScheduler配置的hadoop-3.2.4,检查后发现该版本hadoop确实没有hadoop-shaded-guava-1.1.1.jar包。我们之前添加的cos依赖是hadoop-cos-3.3.3.jar,存在版本不兼容问题。

即不想实现cos接口,又想基于现有功能实现cos存储,所以就只能依赖HDFA的实现。因为我们在api-server、worker-server。添加缺失的依赖jar包即可。

hadoop-shaded-guava-1.1.1.jar (opens new window)

[localhost]$ cd /datadrive/dolphinscheduler/
[localhost]$ cp hadoop-shaded-guava-1.1.1.jar api-server/lib/
[localhost]$ cp hadoop-shaded-guava-1.1.1.jar alert-server/lib/
[localhost]$ cp hadoop-shaded-guava-1.1.1.jar master-server/lib/
[localhost]$ cp hadoop-shaded-guava-1.1.1.jar worker-server/lib/
1
2
3
4
5

重启集群再次测试,文件创建成功

#DolphinScheduler
上次更新: 2024/06/28, 14:46:16

← 分布式部署 DolphinScheduler DolphinScheduler 页面卡顿问题→

最近更新
01
2025-05-26当我意识到我变得自私、暴躁、情绪不受控制 原创
05-26
02
clickhouse版本升级的语法变动21.8.9.1至23.8.9.1 原创
04-22
03
2025-03-28拍婚纱照 原创
04-02
更多文章>
Theme by Vdoing | Copyright © 2023-2025 | 京ICP备2023013437号
  • 跟随系统
  • 浅色模式
  • 深色模式
  • 阅读模式