分享

谁在spark下调用过中科院的ICTCLAS50分词器

lihy114 发表于 2016-6-7 10:38:41 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 2 7470
将写好的代码打包后放到spark集群中运行,一直报错
Exception in thread "main" java.lang.UnsatisfiedLinkError: ICTCLAS.I3S.AC.ICTCLAS50.ICTCLAS_Init([B)Z
        at ICTCLAS.I3S.AC.ICTCLAS50.ICTCLAS_Init(Native Method)


我看网上说是要将ICTCLAS50放在包名为ICTCLAS.I3S.AC的包中,我是这样设置的,而且通过eclipse连接远程的spark集群,运行是正常的
感觉很奇怪,是不是spark的参数设置的不正确




已有(2)人评论

跳转到指定楼层
easthome001 发表于 2016-6-7 13:01:39
如果spark开发环境下正常,集群环境下有问题。
很有可能是配置不同造成的。
开发环境中调用了哪些配置。
看代码中是否也做了修改
回复

使用道具 举报

lihy114 发表于 2016-6-8 08:56:40
easthome001 发表于 2016-6-7 13:01
如果spark开发环境下正常,集群环境下有问题。
很有可能是配置不同造成的。
开发环境中调用了哪些配置。
...

修改成了Ansj分词,可以在spark环境下跑通了,感觉分词效果没有中科院的这个分词效果好,后面在慢慢的调整
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条