大数跨境
0
0

kettle插件-kettle数据清洗插件,轻松处理脏数据

kettle插件-kettle数据清洗插件,轻松处理脏数据 跨境人老刘
2025-09-14
6
导读:kettle 数据清洗插件使用教程。

关注我,一起变强~

想真正学习或者提升自己的ETL领域知识的朋友欢迎进群,一起学习,共同进步。由于群内人员较多无法直接扫描进入,公众号后台加我微信入群,备注申请进免费群/申请进专业群/申请进医疗高级陪伴群。

群分类:
《自媒体交流群》完全免费。
《ETL交流互助免费群》完全免费。
《ETL专业交流学习1群-已满》
《ETL专业交流学习2群》收费一元,以过滤广告为主。
《ETL专业交流学习3群》收费一元,以过滤广告为主。
《ETL医疗高级陪伴群》收费一元,以过滤广告为主。
《ETL专业陪跑VIP群》有意者加v咨询。

自我介绍:

大家好!我是Java小金刚,在互联网金融行业打拼了10年的老兵。如果你对Java编程、互联网金融、大数据以及软件开发领域感兴趣,那么快来关注我公众号【Java小金刚】,让我带你领略最新最炙手可热的技术动态和经验分享。


前面我们已经介绍了很多kettle插件,每个kettle插件都它的使用场景,我们在做数据同步ETL的过程中,势必要处理一些脏数据,把数据质量提高。今天我们一起来学习这这款数据清洗插件。

1、转换设计

1)生成记录 模拟数据输入

2)数据清洗 选择具体的数据清洗规则对数据进行清洗

3)写日志 输出清洗前和清洗后的数据

8125eb43-3fce-42f6-abed-1e65f707ffeb

 2、生成记录

简单填写三个字段,id,engName,chnName,如下图所示

a2f0457e-34c7-4ea4-b065-8038913a88a3

 3、清洗插件设置

1)选择待清洗的插件

2)设置规则

3)根据需求填写输出字段名

从图中可以看到,这里预设了20多个常用的清洗规则,根据需求自行选择,不满足需求,可以进行扩展。

截屏2025-09-14 22.07.57

 4、保存&运行

保存转换文件,点击运行按钮,运行正常。

1)id 字段,规则不做任何操作,原样输出。

2)engName=xiaojigang,规则单词首字母大写,输出Xiaojingang。

3)chnName=小金刚,规则汉子转手拼,输出XJG。


写在最后

截至今天,我们团队已经研发了将近100+款插件,360度无死角覆盖常见的业务场景,朋友们,老铁们,你们还缺什么功能的kettle插件,欢迎评论区留言探讨。


如何入群

所有群均开启邀请机制,防止广告人士。这点我很欣慰,截止目前群里没有一个乱发广告的,都是奔着学习涨薪来的。

加本人微信邀请入群

入群好处多多

a、只潜水也可以学到etl知识。

b、和大佬们探访方案,打开思维。

c、解决疑难问题,释放更多时间自由享受生活。

d、工作岗位内推,减少失业焦虑。

e、提供价值输出,挣点零花钱。

f、一个人可以走的很快,一群人可以走的更远,欢迎加入我们。

公开透明

从今日起(2024-11-14)凡是申请入群的小伙伴收取1元的社群管理费。

疑难问题解决路径:

1)专业群互助:详细描述场景+问题->群内大佬解答/腾讯会议远程协助/demo编写->请大佬喝杯茶(10/20/50/100等双方自行沟通)。

2)进VIP群:专业老师指导解决。



推荐阅读:

kettle插件

ETL工具之kettle系列课程

ETL工具之nifi系列课程

商务合作:

  • 免费答疑,付费咨询、欢迎技术投稿。

  • 远程协助解决疑难问题。

温馨提示:

加微信请填写备注,否则拒绝。


关注我,一起成长~

🌾🌾🌾


喜欢的话右下角点个【赞👍🏻】和【在看】吧

你的每个【点赞】和【在看】

我都当做鼓励❤️



【声明】内容源于网络
0
0
跨境人老刘
跨境分享录 | 长期输出专业干货
内容 40156
粉丝 3
跨境人老刘 跨境分享录 | 长期输出专业干货
总阅读218.6k
粉丝3
内容40.2k