图文精华

About云-梭伦科技»专题 › 交流区 › 技术交流 › Spark › 求spark 查询 dataframe 截取字符串方法
分享

求spark 查询 dataframe 截取字符串方法

windowsgy 发表于 2016-5-3 16:35:06 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 2 34570
About云VIP帮助找工作和提升
  诸位大神，近期遇到一个问题，要截取字符串，首先判断字符串的位置，然后使用substr截取。使用spark sql 如何判断一个字符在字符串中第一次出现的位置？
字符串
回复

使用道具 举报

相关帖子

自定义广告语

已有(4)人评论

跳转到指定楼层
正序浏览
xuanxufeng 发表于 2016-5-3 18:30:00
spark有关于字符串的函数，如果没有的话，楼主也可以自定义udf

更多参考这个
Spark函数扩展功能介绍
http://www.aboutyun.com/forum.php?mod=viewthread&tid=18267


点评

windowsgy
是使用这个UDF进行查询时报错 16/05/03 20:13:03 WARN scheduler.TaskSetManager: Lost task 1.0 in stage 1.0 (TID 6, 10.255.255.182): java.lang.NullPointerException at $line41.$read$$iwC$$iwC$$i.   发表于 2016-5-3 21:19
windowsgy
请教大神，我自定义了一个UDF， def strIndex(fullStr: String):Int = {fullStr.length() } sqlContext.udf.register("strIndex", strIndex _) 执行报错 不知是什么原因？  发表于 2016-5-3 21:18
回复

使用道具 举报

bioger_hit 发表于 2016-5-4 07:38:13
xuanxufeng 发表于 2016-5-3 18:30
spark有关于字符串的函数，如果没有的话，楼主也可以自定义udf

更多参考这个

核实下是不是少了步骤或则打错字等等

这里有篇文章，楼主可以核实下，更多资料，楼主可以搜索下
Spark SQL UDF如何使用。步骤介绍
http://www.aboutyun.com/forum.php?mod=viewthread&tid=9336


回复

使用道具 举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

发表新帖
windowsgy

注册会员

关注

  • 4

    主题

  • 25

    帖子

  • 3

    粉丝

TA的主题
关闭

推荐上一条 /2 下一条

关于我们· 联系我们· 加入我们· 小黑屋· 合作伙伴   

Copyright © 2001-2024 About云-梭伦科技 Powered by Discuz! X3.4 Licensed Discuz Team.

简书 / Smrz 京ICP备2020039040号 Wxb 简书网举报电话：021-34700000