博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
利用UDF对dataframe列数据进行修改
阅读量:6477 次
发布时间:2019-06-23

本文共 1235 字,大约阅读时间需要 4 分钟。

hot3.png

/*import org.apache.spark.sql.functions._val sqlContext = new org.apache.spark.sql.SQLContext(sc)import sqlContext.implicits._*//*https://stackoverflow.com/questions/34614239/how-to-apply-a-function-to-a-column-of-a-spark-dataframehttps://jaceklaskowski.gitbooks.io/mastering-spark-sql/spark-sql-Column.htmlhttps://www.jianshu.com/p/833b72adb2b6*/import org.apache.spark.sql.functions.udfval df = Seq((1, "jeden"), (2, "dwa"), (3, "jerry"), (0,"tom")).toDF("number", "polish")scala> df.show+------+------+|number|polish|+------+------+|     1| jeden||     2|   dwa||     3| jerry||     0|   tom|+------+------+val label_class = udf((x:Int) => if(x>0) 1 else 0)scala> df.withColumn("number", label_class($"number")).show+------+------+|number|polish|+------+------+|     1| jeden||     1|   dwa||     1| jerry||     0|   tom|+------+------+scala> val data = df.withColumn("number", label_class($"number"))data: org.apache.spark.sql.DataFrame = [number: int, polish: string]scala> datares3: org.apache.spark.sql.DataFrame = [number: int, polish: string]scala> data.show+------+------+|number|polish|+------+------+|     1| jeden||     1|   dwa||     1| jerry||     0|   tom|+------+------+

转载于:https://my.oschina.net/kyo4321/blog/2050690

你可能感兴趣的文章
百练 2742 统计字符数 解题报告
查看>>
Ubuntu搜狗输入法候选词乱码
查看>>
js中回调函数写法
查看>>
React native android 最常见的10个问题
查看>>
数据结构和算法
查看>>
.Net 项目代码风格要求
查看>>
[pat]1045 Favorite Color Stripe
查看>>
Immutable学习及 React 中的实践
查看>>
【转】性能测试步骤
查看>>
OSI与TCP/IP各层的结构与功能,都有哪些协议
查看>>
Android实例-程序切换到后台及从后台切换到前台
查看>>
spring boot启动定时任务
查看>>
值类型和引用类型
查看>>
[转]html5 Canvas画图教程(6)—canvas里画曲线之arcTo方法
查看>>
maven 常用插件
查看>>
算法 (二分查找算法)
查看>>
java Date 当天时间戳处理
查看>>
Python~迭代
查看>>
linux常用命令-关机、重启
查看>>
css布局 - 九宫格布局的方法汇总(更新中...)
查看>>