Elastic-Job 详细使用教程：分布式任务调度的利器

前言

在微服务架构和分布式系统中，定时任务的管理成为一个关键挑战。Elastic-Job 是一款开源的分布式任务调度解决方案，它基于 XXL-Job 二次开发，提供了更加强大和灵活的任务调度能力。本文将带您深入了解 Elastic-Job 的核心功能、安装配置、使用场景以及最佳实践。

—

一、Elastic-Job 简介

1.1 什么是 Elastic-Job

Elastic-Job 是当当网开源的分布式任务调度解决方案，主要包括两个项目：

• Elastic-Job-Lite：轻量级分布式任务调度，无第三方依赖，简单部署
• Elastic-Job-Cloud：基于 Elastic-Job-Lite 和 Mesos 的任务执行容器化方案

1.2 核心特性

1.3 应用场景

• 定时批量数据处理任务
• 定时邮件/消息推送
• 定时数据同步任务
• 定时报表生成
• 定时缓存更新
• 定时数据清洗和归档

—

二、安装与配置

2.1 前置条件

• Java 8 或更高版本
• Maven 3.0+
• Zookeeper 3.4.9+
• Tomcat 7+ 或 Spring Boot 2.x+

2.2 Zookeeper 安装配置

# 下载并解压 Zookeeper
wget https://archive.apache.org/dist/zookeeper/zookeeper-3.6.3/apache-zookeeper-3.6.3-bin.tar.gz
tar -xzf apache-zookeeper-3.6.3-bin.tar.gz
cd apache-zookeeper-3.6.3-bin/

配置 zoo.cfg
cat > conf/zoo.cfg << 'EOF'
tickTime=2000
initLimit=10
syncLimit=5
dataDir=/var/zookeeper/data
clientPort=2181
EOF

启动 Zookeeper
bin/zkServer.sh start

2.3 Elastic-Job 依赖配置

Maven 依赖

“`xml



org.apache.job
elastic-job-lite-core
3.0.1

org.apache.job
elastic-job-lite-spring
3.0.1

org.apache.curator
curator-framework
4.2.0

mysql
mysql-connector-java
8.0.33

2.4 配置文件

application.properties

properties

Spring Boot 配置

server.port=8080

Elastic-Job 配置

elastic.job.zk.server-list=192.168.1.100:2181
elastic.job.zk.namespace=elastic-job-demo
elastic.job.zk.connection-timeout-ms=15000
elastic.job.zk.session-timeout-ms=40000

任务注册配置

elastic.job.reg.address=192.168.1.100:2181
elastic.job.reg.namespace=elastic-job-reg

创建数据库表

sql
— 创建数据库
CREATE DATABASE IF NOT EXISTS elastic_job DEFAULT CHARACTER SET utf8mb4;

— 创建调度中心表
CREATE TABLE IF NOT EXISTS `t_job_config` (
`job_id` varchar(255) NOT NULL,
`job_name` varchar(100) NOT NULL,
`job_group` varchar(100) NOT NULL,
`job_cron` varchar(100) DEFAULT NULL,
`job_sharding_total` int(11) DEFAULT ‘1’,
`job_sharding_item_parameters` varchar(500) DEFAULT NULL,
`job_description` varchar(500) DEFAULT NULL,
`job_parameter` varchar(500) DEFAULT NULL,
`executor_handler` varchar(255) DEFAULT NULL,
`executor_address` varchar(500) DEFAULT NULL,
`executor_app_name` varchar(100) DEFAULT NULL,
`executor_ip` varchar(50) DEFAULT NULL,
`executor_port` int(11) DEFAULT NULL,
`log_path` varchar(255) DEFAULT NULL,
`log_keep_days` int(11) DEFAULT ‘7’,
`create_time` datetime DEFAULT NULL,
`update_time` datetime DEFAULT NULL,
PRIMARY KEY (`job_id`),
UNIQUE KEY `uk_job_group` (`job_group`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;

---

三、核心功能使用

3.1 最简单的任务示例

Java 任务代码

java
import org.apache.job.api.JobContext;
import org.apache.job.simple.SimpleJob;

public class SimpleTask implements SimpleJob {
@Override
public void execute(JobContext context) {
// 获取分片参数
String shardingParameter = context.getShardingParameter();

// 执行任务逻辑
System.out.println(“任务执行，分片参数：” + shardingParameter);

// 模拟业务逻辑
processBusiness();
}

private void processBusiness() {
// 具体的业务处理逻辑
// …
}
}

Spring 配置

xml

3.2 分片广播任务

分片广播任务会在每个节点执行一次，适用于需要所有节点都执行的场景。

java
import org.apache.job.broadcast.BroadcastJob;
import org.apache.job.api.JobContext;

public class BroadcastTask implements BroadcastJob {
@Override
public void execute(JobContext context) {
// 每个节点都会执行一次
String serverAddress = context.getServerAddress();

// 执行广播逻辑
System.out.println(“广播任务在 ” + serverAddress + ” 节点执行”);

// 例如：所有节点同时更新配置
updateConfig();
}

private void updateConfig() {
// 更新配置的业务逻辑
}
}

3.3 流水线任务

java
import org.apache.job.pipeline.PipelineJob;
import org.apache.job.api.JobContext;
import org.apache.job.pipeline.AbstractPipelineJob;

public class PipelineTask extends AbstractPipelineJob {
@Override
public void execute(JobContext context) {
// 定义任务步骤
addStep(new Step1());
addStep(new Step2());
addStep(new Step3());
}

private class Step1 extends AbstractPipelineJob.Step {
@Override
public void execute() {
// 步骤 1 逻辑
}
}

private class Step2 extends AbstractPipelineJob.Step {
@Override
public void execute() {
// 步骤 2 逻辑
}
}

private class Step3 extends AbstractPipelineJob.Step {
@Override
public void execute() {
// 步骤 3 逻辑
}
}
}

---

四、Spring Boot 集成示例

4.1 完整配置示例

java
@Configuration
public class JobConfig {

@Bean
public RegistryCenterConfiguration registryCenterConfiguration() {
RegistryCenterConfiguration configuration =
new RegistryCenterConfiguration(“192.168.1.100:2181”,
“elastic-job-demo”);
configuration.setNamespace(“elastic-job-reg”);
configuration.setBaseSleepTimeMilliseconds(1000);
configuration.setMaxSleepTimeMilliseconds(3000);
return configuration;
}

@Bean
public JobConfiguration simpleJobConfiguration() {
JobConfiguration configuration =
new JobConfiguration(“simpleTask”,
new ServerConfiguration(“192.168.1.100:8080”));
configuration.setJobType(JobType.DATA_FLOW);
configuration.setShardingTotalCount(3);
configuration.setCron(“0 0/5 * * * ?”);
configuration.setDescription(“定时任务示例”);
return configuration;
}

@Bean
public SimpleJob simpleJob() {
return new SimpleTask();
}
}

4.2 Spring Boot 启动类

java
@SpringBootApplication
public class ElasticJobApplication {
public static void main(String[] args) {
new SpringApplicationBuilder(ElasticJobApplication.class)
.sources(springConfig)
.build()
.run(args);
}
}

---

五、最佳实践

5.1 任务设计原则


幂等性设计：任务可重复执行而不产生副作用
超时控制：设置合理的任务超时时间
异常处理：捕获并处理所有可能的异常
日志记录：详细记录任务执行过程
性能监控：及时监控任务执行状态


5.2 分片策略优化

java
// 推荐的分片参数配置
// 如果数据可以按 ID 分段

// 如果数据量不确定，可以使用均匀分片

5.3 容错处理

java
import org.apache.job.api.JobContext;

public class FaultTolerantJob implements SimpleJob {
@Override
public void execute(JobContext context) {
try {
// 执行任务
doWork();
} catch (Exception e) {
// 记录日志
logger.error(“任务执行失败：{}”, e.getMessage());

// 可以选择抛出异常让调度系统重试
throw new RuntimeException(“任务执行异常”, e);
}
}
}

5.4 性能监控

java
// 添加性能监控
long startTime = System.currentTimeMillis();
try {
process();
} finally {
long cost = System.currentTimeMillis() – startTime;
logger.info(“任务执行耗时：{}ms”, cost);

// 上报监控指标
monitor.report(“job.execution.time”, cost);
}

5.5 任务调度优化

| 配置项 | 推荐值 | 说明 |
|--------|--------|------|
| 分片数量 | 1-10 | 根据服务器数量调整 |
| 执行超时 | 300s | 设置合理超时防止阻塞 |
| 失败重试 | 3 次 | 平衡重试和性能 |
| 日志保留 | 7-30 天 | 根据业务需求调整 |

---

六、常见问题与解决

6.1 任务重复执行

问题：同一任务在多个节点同时执行

解决：确保 Zookeeper 连接正常，检查节点是否正常工作

6.2 任务执行失败

问题：任务执行过程中出现异常

解决：

查看任务日志
检查数据库连接
验证分片参数配置
确认业务逻辑正确性


6.3 调度中心失联

问题：Elastic-Job 调度中心无法连接

解决：

bash

检查 Zookeeper 状态

netstat -tulpn | grep 2181

测试连接

telnet 192.168.1.100 2181
“`

—

结语

Elastic-Job 作为一个成熟的分布式任务调度解决方案，提供了强大的任务管理能力。通过本文档，您应该已经掌握了：

1. 基础安装与配置 – 成功部署 Elastic-Job 环境
2. 核心功能使用 – 简单任务、分片广播、流水线任务
3. Spring Boot 集成 – 完整的项目集成示例
4. 最佳实践 – 任务设计、性能优化、容错处理

使用 Elastic-Job 时，建议：

• 遵循幂等性设计原则
• 合理配置分片策略
• 做好任务监控和日志记录
• 定期维护和优化系统

祝您的任务调度系统运行顺利！

—

*文档生成时间：2026 年 4 月 25 日*