日志分析实战之清洗日志小实例2：导入日志清洗代码并打包

问题导读

1.通过什么菜单项可以导入源码？
2.打jar包需要哪些步骤?
3.如何找到jar生成路径？



上一篇：
about云日志分析实战之清洗日志1：使用spark&Scala分析Apache日志
http://www.aboutyun.com/forum.php?mod=viewthread&tid=22856

前面测试了一下spark，准备好环境，下面开始动工源码。分析清洗日志，这里面的代码还是比较复杂的。对于iis日志，可参考
about云日志分析项目准备10-3：Spark Local模式之Log文本清洗
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21135
对于Apache日志，国外已经实现。源码git地址
https://github.com/alvinj/ScalaApacheAccessLogParser

网盘下载地址
链接：http://pan.baidu.com/s/1jIj87wM 密码：p0zd

这里从上面下载下来，然后导入IntelliJ IDEA ，然后打包。

导入源码
首先file-》open



选择源码文件


导入之后看到下面内容



对于spark环境不熟悉或则不会操作可参考
spark开发环境详细教程1：IntelliJ IDEA使用详细说明
http://www.aboutyun.com/forum.php?mod=viewthread&tid=22320

spark开发环境详细教程3：IntelliJ IDEA创建项目
http://www.aboutyun.com/forum.php?mod=viewthread&tid=22410

打包

上面我们准备了源码，然后将源码打成jar包，供我们项目中使用。
首先打开project structure,




选择依赖






填写主类




点击确定




选择菜单 Build Artifacts






点击build









最后生成jar包，在terminal中会显示输出jar包路径



找到生成jar包。我们就可以使用了。




相关文章：

日志分析实战之清洗日志小实例1：使用spark&Scala分析Apache日志
http://www.aboutyun.com/forum.php?mod=viewthread&tid=22856

日志分析实战之清洗日志小实例2：导入日志清洗代码并打包
http://www.aboutyun.com/forum.php?mod=viewthread&tid=22862


日志分析实战之清洗日志小实例3：如何在spark shell中导入自定义包
http://www.aboutyun.com/forum.php?mod=viewthread&tid=22881



日志分析实战之清洗日志小实例4：统计网站相关信息
http://www.aboutyun.com/forum.php?mod=viewthread&tid=22900


日志分析实战之清洗日志小实例5：实现获取不能访问url
http://www.aboutyun.com/forum.php?mod=viewthread&tid=22911


日志分析实战之清洗日志小实例6：获取uri点击量排序并得到最高的url
http://www.aboutyun.com/forum.php?mod=viewthread&tid=22928


日志分析实战之清洗日志小实例7：查看样本数据，保存统计数据到文件
http://www.aboutyun.com/forum.php?mod=viewthread&tid=22953


链接：http://pan.baidu.com/s/1pKXn8Ob 密码：yndp

版主为什么不用maven打包？ 有什么弊端吗？

感谢分享

smile0198 发表于 2017-10-10 09:10
版主为什么不用maven打包？ 有什么弊端吗？

都可以的

学习中

楼主能把打包的jar重新分享一下吗，原链接已失效，本地打的包试了十几次 导入后一直报错 不能用

另外，楼主说把jar包导入到/spark/lib下，安装的spark并没有lib文件夹，这个lib文件夹是楼主另外建的吗[img][/img]

marguerite 发表于 2020-1-4 19:32
另外，楼主说把jar包导入到/spark/lib下，安装的spark并没有lib文件夹，这个lib文件夹是楼主另外建的吗[/im ...

lib是引入的jdk和Scala库，不需要创建，添加引用后自动会有的。
引入jar包，可参考这个链接

https://jingyan.baidu.com/article/ff42efa9f8161bc19e220225.html