图文精华

About云-梭伦科技»专题 › 技术学习(版主发帖区) › 大数据学习 › Nosql › 安装配置› R利剑NoSQL系列文章 之Cassandra
分享

R利剑NoSQL系列文章 之Cassandra

xioaxu790 2014-7-7 16:46:54 发表于 安装配置 [显示全部楼层] 只看大图 回帖奖励 阅读模式 关闭右栏 1 8339
本帖最后由 xioaxu790 于 2014-7-7 16:51 编辑
问题导读：
1、如何将R语言和Nosql数据库结合使用？
2、 什么是RCassandra函数库？





摘要:
R利剑NoSQL系列文章，主要介绍通过R语言连接使用nosql数据库。涉及的NoSQL产品，包括Redis, MongoDB, HBase, Hive, Cassandra, Neo4j。希望通过我的介绍让广大的R语言爱好者，有更多的开发选择，做出更多地激动人心的 ...
11.png


第三篇 R利剑Cassandra，分为7个章节。
Cassandra介绍
Cassandra安装
RCassandra安装
RCassandra函数库
RCassandra基本使用操作
RCassandra使用案例
Cassandra的没落

每一章节，都会分为”文字说明部分”和”代码部分”，保持文字说明与代码的连贯性。


1. Cassandra介绍
Apache Cassandra是一套开源分布式NoSQL数据库系统。它最初由Facebook开发，用于储存收件箱等简单格式数据，集Google BigTable的数据模型与Amazon Dynamo的完全分布式的架构于一身。Facebook于2008将 Cassandra 开源，此后，由于Cassandra良好的可扩放性，被Digg、Twitter等知名Web 2.0网站所采纳，成为了一种流行的分布式结构化数据存储方案。
Cassandra 的名称来源于希腊神话，是特洛伊的一位悲剧性的女先知的名字，因此项目的Logo是一只放光的眼睛。
Cassandra的数据会写入多个节点，来保证数据的可靠性，在一致性、可用性和网络分区耐受能力（CAP）的折衷问题上，Cassandra比 较灵活，用户在读取时可以指定要求所有副本一致（高一致性）、读到一个副本即可（高可用性）或是通过选举来确认多数副本一致即可（折衷）。这 样，Cassandra可以适用于有节点、网络失效，以及多数据中心的场景。

2. Cassandra安装
文字说明部分：
首先环境准备，这里我选择了Linux Ubuntu操作系统12.04的64位服务器版本，大家可以根据自己的使用习惯选择顺手的Linux。
JDK使用SUN官方版本JDK 1.6.0_29，请不要用Linux自带的openjdk。
手动下载并安装Cassandra。
Cassandra配置，需要提前初始化几个目录。
data_file_directories：为数据文件目录
commitlog_directory：为日志文件目录
saved_caches_directory：为缓存文件目录
下面将介绍单节点的安装，集群安装请参考：Cassandra单集群实验2个节点
代码部分：
单节点安装：系统环境 Linux Ubuntu 12.04 LTS 64bit server
  1. ~ uname -a

  2. Linux u1 3.5.0-23-generic #35~precise1-Ubuntu SMP Fri Jan 25 17:13:26 UTC 2013 x86_64 x86_64 x86_64 GNU/Linux

  3. 

  4. ~ cat /etc/issue

  5. Ubuntu 12.04.2 LTS \n \l
复制代码

JDK环境：SUN官方JDK 1.6.0_29
  1. ~ java -version

  2. 

  3. java version "1.6.0_29"

  4. Java(TM) SE Runtime Environment (build 1.6.0_29-b11)

  5. Java HotSpot(TM) 64-Bit Server VM (build 20.4-b02, mixed mode)
复制代码

下载Cassandra并解压
  1. ~ wget http://mirrors.tuna.tsinghua.edu.cn/apache/cassandra/1.2.5/apache-cassandra-1.2.5-bin.tar.gz

  2. 

  3. ~ tar xvf apache-cassandra-1.2.5-bin.tar.gz

  4. ~ mv apache-cassandra-1.2.5-bin cassandra125

  5. ~ mv cassandra125 /home/conan/toolkit/

  6. 

  7. ~ pwd

  8. /home/conan/toolkit

  9. 

  10. ~ ls -l

  11. drwxrwxr-x  9 conan conan 4096 Jun  1 06:10 cassandra125/

  12. drwxr-xr-x 10 conan conan  4096 Apr 23 14:36 jdk16
复制代码

初始化cassandra
  1. ~ cd /home/conan/toolkit/cassandra125
复制代码

#配置Cassandra数据文件目录
  1. ~ vi conf/cassandra.yaml

  2. 

  3. data_file_directories:

  4.     - /var/lib/cassandra/data

  5. commitlog_directory: /var/lib/cassandra/commitlog

  6. saved_caches_directory: /var/lib/cassandra/saved_caches
复制代码


目录的介绍：
data_file_directories：为数据文件目录

commitlog_directory：为日志文件目录

saved_caches_directory：为缓存文件目录

确认操作系统中，这几个目录已被创建。

同时确认/var/log/cassandra/目录，对于cassandra是可写的。
  1. ~ sudo mkdir -p /var/lib/cassandra/data

  2. ~ sudo mkdir -p /var/lib/cassandra/saved_caches

  3. ~ sudo mkdir -p /var/lib/cassandra/commitlog

  4. ~ sudo mkdir -p /var/log/cassandra/

  5. 

  6. ~ sudo chown -R conan:conan /var/lib/cassandra

  7. ~ sudo chown -R conan:conan /var/log/cassandra/

  8. 

  9. ~ ll /var/lib/cassandra

  10. drwxr-xr-x  2 conan conan 4096 Jun  1 06:21 commitlog/

  11. drwxr-xr-x  2 conan conan 4096 Jun  1 06:21 data/

  12. drwxr-xr-x  2 conan conan 4096 Jun  1 06:21 saved_caches/
复制代码

设置环境变量
  1. ~ sudo vi /etc/environment

  2. CASSANDRA_HOME=/home/conan/toolkit/cassandra125
复制代码

#让变量生效
  1. ~ . /etc/environment

复制代码

#查看环境变量
  1. ~ export |grep /home/conan/toolkit/cassandra125

  2. declare -x CASSANDRA_HOME="/home/conan/toolkit/cassandra125"

  3. declare -x OLDPWD="/home/conan/toolkit/cassandra125"

  4. declare -x PWD="/home/conan/toolkit/cassandra125/bin"
复制代码

启动cassandra
  1. ~ bin/cassandra -f

  2. #注：-f参数是绑定到console，不加-f则是后台启动。

  3. 

  4. ~ jps

  5. 19971 CassandraDaemon

  6. 20440 Jps
复制代码

打开客户端
  1. ~ bin/cassandra-cli

  2. 

  3. Connected to: "Test Cluster" on 127.0.0.1/9160

  4. Welcome to Cassandra CLI version 1.2.5

  5. 

  6. Type 'help;' or '?' for help.

  7. Type 'quit;' or 'exit;' to quit.

  8. 

  9. [default@unknown]

复制代码

单节的cassandra，我们已经成功能安装好了。

Cassandra的集群安装请参考：Cassandra单集群实验2个节点


3. RCassandra安装
文字说明部分：
R语言的版本请使用2.15.3，下面介绍如何安装R。
首先，增加一个软件源deb http://mirror.bjtu.edu.cn/cran/bin/linux/ubuntu precise/。
更新及指定安装2.15.3-1precise0precise1版本。
启动R程序，安装RCassandra包。
代码部分
测试环境R语言的版本是：2.15.3
安装R语言
  1. ~  sudo vi /etc/apt/sources.list

  2. deb http://mirrors.163.com/ubuntu/ precise main universe restricted multiverse

  3. deb-src http://mirrors.163.com/ubuntu/ precise main universe restricted multiverse

  4. deb http://mirrors.163.com/ubuntu/ precise-security universe main multiverse restricted

  5. deb-src http://mirrors.163.com/ubuntu/ precise-security universe main multiverse restricted

  6. deb http://mirrors.163.com/ubuntu/ precise-updates universe main multiverse restricted

  7. deb http://mirrors.163.com/ubuntu/ precise-proposed universe main multiverse restricted

  8. deb-src http://mirrors.163.com/ubuntu/ precise-proposed universe main multiverse restricted

  9. deb http://mirrors.163.com/ubuntu/ precise-backports universe main multiverse restricted

  10. deb-src http://mirrors.163.com/ubuntu/ precise-backports universe main multiverse restricted

  11. deb-src http://mirrors.163.com/ubuntu/ precise-updates universe main multiverse restricted

  12. deb http://mirror.bjtu.edu.cn/cran/bin/linux/ubuntu precise/
复制代码

更新apt-get源
  1. ~ sudo apt-get update
复制代码
  1. ~ sudo apt-get install r-base-core=2.15.3-1precise0precise1

  2. 

  3. #启动R

  4. ~ R

  5. R version 2.15.3 (2013-03-01) -- "Security Blanket"

  6. Copyright (C) 2013 The R Foundation for Statistical Computing

  7. ISBN 3-900051-07-0

  8. Platform: x86_64-pc-linux-gnu (64-bit)

  9. 

  10. R is free software and comes with ABSOLUTELY NO WARRANTY.

  11. You are welcome to redistribute it under certain conditions.

  12. Type 'license()' or 'licence()' for distribution details.

  13. 

  14.   Natural language support but running in an English locale

  15. 

  16. R is a collaborative project with many contributors.

  17. Type 'contributors()' for more information and

  18. 'citation()' on how to cite R or R packages in publications.

  19. 

  20. Type 'demo()' for some demos, 'help()' for on-line help, or

  21. 'help.start()' for an HTML browser interface to help.

  22. Type 'q()' to quit R.

复制代码

安装RCassandra
  1. > install.packages('RCassandra')

  2. > library(RCassandra)
复制代码


4. RCassandra函数库
文字说明部分
列出有的RCassandra支持的函数，只有17个。记得rredis有100个函数，rmongodb有153个函数。相比之下RCassandra太轻量了。

但是这17个函数，并没有覆盖Cassandra的所有操作，就连一些的基本的操作都没有函数支持，要在命令行处理。不知道是什么原因？！希望RCassandra能继续发展，完善没有实现的功能函数。

不支持的常用操作：

创建keyspaces,删除keyspaces

创建列族，删除列族

删除一行

删除一行的某列数据

下面列出了这17个函数，并与Cassandra的命令做了对比说明。

代码部分
  1. 共有17个函数

  2. 

  3. 

  4. RC.close               RC.insert

  5. RC.cluster.name        RC.login

  6. RC.connect             RC.mget.range

  7. RC.consistency         RC.mutate

  8. RC.describe.keyspace   RC.read.table

  9. RC.describe.keyspaces  RC.use

  10. RC.get                 RC.version

  11. RC.get.range           RC.write.table

  12. RC.get.range.slices

  13. 

  14. Cassandra和RCassandra的基本操作对比：

  15. 

  16. 

  17. #连接到集群

  18. Cassandra: connect 192.168.1.200/9160;

  19. RCassandra: conn<-RC.connect(host="192.168.1.200",port=9160)

  20. 

  21. #查看当前集群名字

  22. Cassandra: show cluster name;

  23. RCassandra: RC.cluster.name(conn)

  24. 

  25. #列出当前集群所有keyspaces

  26. Cassandra: show keyspaces;

  27. RCassandra: RC.describe.keyspaces(conn)

  28. 

  29. #查看DEMO的keyspace

  30. Cassandra: show schema DEMO;

  31. RCassandra: RC.describe.keyspace(conn,'DEMO')

  32. 

  33. #选择DEMO的keyspace

  34. Cassandra: use DEMO;

  35. RCassandra: RC.use(conn,'DEMO')

  36. 

  37. #设置一致性级别

  38. Cassandra: consistencylevel as ONE;

  39. RCassandra: RC.consistency(conn,level="one")

  40. 

  41. #插入数据

  42. Cassandra：set Users[1][name] = scott;

  43. RCassandra：RC.insert(conn,'Users','1', 'name', 'scott')

  44. 

  45. #插入数据框

  46. Cassandra：NA

  47. RCassandra：RC.write.table(conn, "Users", df)

  48. 

  49. #读取列族所有数据

  50. Cassandra: list Users;

  51. RCassandra： RC.read.table(conn,"Users")

  52. 

  53. #读取数据

  54. Cassandra: get Users[1]['name'];

  55. RCassandra：RC.get(conn,'Users','1', c('name'))

  56. 

  57. #退出连接

  58. Cassandra: exit; quit;

  59. RCassandra: RC.close(conn)
复制代码


5. RCassandra基本使用操作
文字说明部分
介绍RCassandra的基本函数操作，以iris的数据集为例，介绍了如何利用RCassandra操作Cassandra数据库。

代码部分
  1. 

  2. #安装RCassandra

  3. install.packages('RCassandra')

  4. 

  5. #加载RCassandra类库

  6. library(RCassandra)

  7. 

  8. #建立服务器连接

  9. conn<-RC.connect(host="192.168.1.200")

  10. 

  11. #当前集群的名字(2个节点集群的名字)

  12. RC.cluster.name(conn)

  13. [1] "case1"

  14. 

  15. #当前协议的版本

  16. RC.version(conn)

  17. [1] "19.36.0"

  18. 

  19. #列出所有keyspaces配置信息

  20. RC.describe.keyspaces(conn)

  21. 

  22. #列出叫的DEMO的keyspaces配置信息

  23. RC.describe.keyspace(conn, "DEMO")

  24. 

  25. #RCassandra是不能创建的列族的，提前通过Cassandra命令创建一个列族

  26. #[default@DEMO] create column family iris;
复制代码

#插入iris数据
  1. head(iris)

  2.   Sepal.Length Sepal.Width Petal.Length Petal.Width Species

  3.           5.1         3.5          1.4         0.2  setosa

  4.           4.9         3.0          1.4         0.2  setosa

  5.           4.7         3.2          1.3         0.2  setosa

  6.           4.6         3.1          1.5         0.2  setosa

  7.           5.0         3.6          1.4         0.2  setosa

  8.           5.4         3.9          1.7         0.4  setosa

  9. 

  10. #iris是一个data.frame

  11. RC.write.table(conn, "iris", iris)

  12. 

  13. attr(,"class")

  14. [1] "CassandraConnection"
复制代码

#查看第1行，Sepal.Length列和Species的值
  1. RC.get(conn, "iris", "1", c("Sepal.Length", "Species"))

  2.            key  value           ts

  3.  Sepal.Length    5.1 1.372881e+15

  4.      Species setosa 1.372881e+15

  5. #注：ts是时间戳
复制代码

#查看第1行
  1. RC.get.range(conn, "iris", "1")

  2.            key  value           ts

  3.  Petal.Length    1.4 1.372881e+15

  4.   Petal.Width    0.2 1.372881e+15

  5.  Sepal.Length    5.1 1.372881e+15

  6.   Sepal.Width    3.5 1.372881e+15

  7.       Species setosa 1.372881e+15
复制代码

#查看
  1. r <- RC.get.range.slices(conn, "iris")

  2. class(r)

  3. [1] "list"

  4. 

  5. r[[1]]

  6.            key  value           ts

  7.  Petal.Length    1.7 1.372881e+15

  8.   Petal.Width    0.4 1.372881e+15

  9.  Sepal.Length    5.4 1.372881e+15

  10.   Sepal.Width    3.9 1.372881e+15

  11.       Species setosa 1.372881e+15

  12. 

  13. rk <- RC.get.range.slices(conn, "iris", limit=0)

  14. y <- RC.read.table(conn, "iris")

  15. y <- y[order(as.integer(row.names(y))),]

  16. 

  17. head(y)

  18.   Petal.Length Petal.Width Sepal.Length Sepal.Width Species

  19.           1.4         0.2          5.1         3.5  setosa

  20.           1.4         0.2          4.9         3.0  setosa

  21.           1.3         0.2          4.7         3.2  setosa

  22.           1.5         0.2          4.6         3.1  setosa

  23.           1.4         0.2          5.0         3.6  setosa
复制代码

不支持的常用操作

创建keyspaces,删除keyspaces

创建列族，删除列族

删除一行

删除一行的某列数据


6. RCassandra使用案例
文字说明部分
通过一个业务需求的例子，加深我们对RCassandra的认识。下面是一个非常简单的业务场景。

业务需求：
1. 创建一个Users列族，包含name,password两列

2. 在已经数据的情况下，有动态增加一个新列age

代码部分
在Cassandra命令行，创建列族Users
  1. [default@DEMO] create column family Users

  2. ...     with key_validation_class = 'UTF8Type'

  3. ...     and comparator = 'UTF8Type'

  4. ...     and default_validation_class = 'UTF8Type';

  5. 

  6. 89a2fb75-f7d0-399e-b017-30a974b19f4a
复制代码

RCassandra插入数据，包含name,password两列
  1. > df<-data.frame(name=c('a1','a2'),password=c('a1','a2')) > print(df)

  2.   name password

  3.    a1       a1

  4.    a2       a2
复制代码

#插入数据
  1. > RC.write.table(conn, "Users", df)

  2. attr(,"class")

  3. [1] "CassandraConnection"

复制代码

#查看数据
  1. > RC.read.table(conn,"Users")

  2.      name password

  3.     a2       a2

  4.     a1       a1
复制代码

#新插入: 一行KEY=1234，并增加age列
  1. > RC.insert(conn,'Users','1234', 'name', 'scott')

  2. > RC.insert(conn,'Users','1234', 'password', 'tiger')

  3. > RC.insert(conn,'Users','1234', 'age', '20')
复制代码

#查看数据
  1. > RC.read.table(conn,"Users")

  2.      age  name password

  3. 1234  20 scott    tiger

  4.      NA    a2       a2

  5.      NA    a1       a1

复制代码

#修改: KEY=1的行中，name=a11, age=12
  1. > RC.insert(conn,'Users','1', 'name', 'a11')

  2. > RC.insert(conn,'Users','1', 'age', '12')
复制代码

#查看数据
  1. > RC.read.table(conn,"Users")

  2.      age  name password

  3. 1234  20 scott    tiger

  4. 2     NA    a2       a2

  5. 1     12   a11       a1
复制代码


7. Cassandra的没落
越来越多的基于cassandra构建的应用，开始向hbase迁移。
Cassandra的没落，在技术上可能存在的一些原因：

1. 读的性能太慢
无中心的设计，造成读数据时通过逆熵做计算，性能损耗很大，甚至会严重影响服务器运作。

2. 数据同步太慢（最终一致性延迟可能非常大）
由于无中心设计，要靠各节点传递信息。相互发通知告知状态，如果副本集有多份，其中又出现节点有宕机的情况，那么做到数据的一致性，延迟可能非常大，效率也很低的。

3. 用插入和更新代替查询，缺乏灵活性，所有查询都要求提前定义好。
与大多数数据库为读优化不同，Cassandra的写性能理论上是高于读性能的，因此非常适合流式的数据存储，尤其是写负载高于读负载的。与
HBase比起来，它的随机访问性能要高很多，但不是很擅长区间扫描，因此可以作为HBase的即时查询缓存，由HBase进行批量的大数据处理，由
Cassandra提供随机查询的接口

4. 不支持直接接入hadoop，不能实现MapReduce。
现在大数据的代名词就是hadoop，做为海量数据的框架不支持hadoop及MapReduce，就将被取代。除非Cassandra能够给出其
他的定位，或者海量数据解决方案。DataStax公司，正在用Cassandra重够HDFS的文件系统，不知道是否可以成功。

让我期待Cassandra未来的发展吧！


关注公众号，获取大数据、人工智能20套、区块链资源5阶段等资源，随时更新，获取最新技术资源
回复

使用道具 举报

自定义广告语

已有(1)人评论

跳转到指定楼层
正序浏览
gqx1984 发表于 2015-3-22 14:19:50
Cassandra，正好要用到，学习，
回复

使用道具 举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

发表新帖
xioaxu790

金牌会员

关注

  • 851

    主题

  • 1000

    帖子

  • 108

    粉丝

TA的主题
关闭

推荐上一条 /2 下一条

关于我们· 联系我们· 加入我们· 小黑屋· 合作伙伴   

Copyright © 2001-2024 About云-梭伦科技 Powered by Discuz! X3.4 Licensed Discuz Team.

简书 / Smrz 京ICP备2020039040号 Wxb 简书网举报电话：021-34700000