简易DataX配置生成工具(postgresql导出csv)

项目上需要迁移华为云dws的数据到aws的redshift。华为的dws操作很类似与postgresql,本来说是正常使用psql连接后直接copy导出csv,然后再转移到aws,直接还原就完事了,但是不知道是我们的配置问题还是dws的本身的安全规则,不允许使用copy。那就只能自己jdbc连接dws导出了,但是又懒得写代码,就选择了阿里的DataX完成这件事情。DataX使用很方便,使用方法从项

- 阅读全文 -

简单的Spring Batch示例

目标1:程序随机生成字符串,经过Spring Batch后,统一在字符串后加入“----PROCESSED”,并输出目标2:程序读取txt文件,经过Spring Batch后,统一加入如上字段,并输出Spring Batch的流程读取数据----itemReader处理数据----itemProcess数据写入----itemWrite分析目标可知,两个目标的输入数据源不同,处理方式基本一致,数据

- 阅读全文 -

Flink小demo(读取csv并按列统计)

准备数据这次用到的数据,是一个csv文件,csv中总共有7列,最后一列为时间戳。统计目标以Hermes值为分组,统计每种Hermes的次数,和如下SQL一个效果select count(1) from csv group by Hermes;代码实现准备依赖 <dependency> <groupId>org.apache.flink</groupId

- 阅读全文 -

JPA进行insert操作时会首先select吗

分析一下代码,saveAll()@Transactional public <S extends T> List<S> saveAll(Iterable<S> entities) { Assert.notNull(entities, ""The given Iterable of entities not be null!&quo

- 阅读全文 -

Springboot2.x下JPA配置多数据源

本文同样适用于2.x版本下Mybatis的多数据源配置项目中经常会遇到一个项目需要访问多个数据源的情况,多数情况下可以参考这个教程进行配置。不过该教程适合springboot1.x版本,由于2.x版本修改默认连接池为Hikari,所以该教程中的配置需要进行一些修改才可适用于2.x。主要不同之处在于DataSource的初始化。所以可在每个数据源的config中,重新定义DataSource-Bea

- 阅读全文 -

Springboot 使用Quartz进行定时任务

添加依赖在POM.XML中添加quartz依赖<dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-quartz</artifactId> </dependency>Quartz关于任务相

- 阅读全文 -

springboot引入本地jar包,并使用maven打包

在项目跟路径下建立一个文件夹(随意命名)libsE:. ├─.idea │ └─libraries ├─.mvn │ └─wrapper ├─libs ├─src │ ├─main │ │ ├─java │ │ │ └─com │ │ │ └─haramasu │ │ │ └─myaspect │ │ │ ├─asp

- 阅读全文 -

Springboot 读取配置文件中文乱码

配置文件中有如下配置需要被使用myvalue=中文测试java代码中这样被使用@Value(""${myvalue}"") private String myvalue; public void test(){ System.out.println(myvalue); }输出结果时乱码。我的最终解决办法是:将配置文件修改为UTF-8编码将.pro

- 阅读全文 -