Linux系统部分：Linux系统命令总结
cp mapred-site.xml.template mapred-site.xml
vi mapred-site.xml配置
启动zookeeper集群的命令：zkServer start ,查看zookeeper集群的命令：zkServer status
启动namenode的命令：hadoop-daemon.sh start namenode或者hadoop-daemon.sh restart namenode
启动命令：start-dfs.sh
启动所有的命令：start-all.sh
监控的命令：tail -f hadoop-root-namenode-nod02.log或者：tail -f access.log
启动zkfc的命令：hadoop-daemon.sh start zkfc
启动journalnode的命令：hadoop-daemon.sh restart journalnod
启动Nginx的命令： service nginx restart，service nginx start
登录节点的命令： ssh 192.168.198.23
拷贝的命令：scp id_dsa.pub [email protected]:`pwd`/node02.pub；
scp -r ./sxt/ 192.168.198.22:/opt/
解压文件的命令：tar -zxvf 文件名
安装某一文件：yum install 文件名 -y
重定向的命令：cat node03.pub >> authorized_keys
登录某一节点，退出的命令;exit
打开或者编辑文件的命令：vi 文件名
查看某一文件：cat access.log（文件名）
删除某一文件：rm -r access.log
退出到上一节目录文件：cd -
退出到上一个目录：cd ..
退出到最初始的状态目录：cd
创建文件夹：mkdir 文件夹名
创建深层次的文件夹：mkdir -p /opt/sxt
执行监控的命令：telnet 192.168.198.22:44444（需要提前执行yum install telnet -y）
查询文件的位置：whereis access.log
删除某一文件：rm -rf 文件名
删除：rm -rf 文件名
2888是主从模型下的端口号
3888是无主模型下的端口号
Yy是复制，p是黏贴，dd是删除。
Pwd是指当前目录
配置完/etc/profile文件之后，记得要source ./etc/profile或者执行：. /etc/profile
解压，确定有gcc和tcl,安装
编译
make && make PREFIX=/opt/sxt/redis/
Make:编译
Make install:安装
安装：
gem install --local redis-3.3.0.gem
进行槽位的分发：
./redis-trib.rb create --replicas 1 127.0.0.1:7000 127.0.0.1:7001 \
127.0.0.1:7002 127.0.0.1:7003 127.0.0.1:7004 127.0.0.1:7005
编译和安装
make && make PREFIX=/opt/sxt/redis install
配置文档属性
Vi + /etc/profile
. /etc/profile
String支持的数据类型：
Set,get,
Help:查询帮助
Table:帮助把命令补全
Quit:退出
Group:
组与组之间是不通用的。
Help RPOP:列出当前目录
Help append:list位于哪一个组
Help set:string类型
设置：set k1 a
获取：Get k1
Mset k2 b k3 c
Get k2
Get k3
Key *
Setnx k2 abc
Get k2
Setnx k4 abc
Get k4
Nx not exists,实现的是创建功能
Get k4
Set k5 esw xx
Get k5
Set k2 esw xx
Get k2
Help set
Flushall:清空，表示所有的数据都不要了，
Set k1 abc 5
Set k1 abc ex 5
值，存在的时间
-1：表示不过期
Time：存活时间
Keys *:所有
Keys ?:没有
Keys ??:代表两个
Set key value
Keys k[k]3
Type k1
Set k4 5
OBJECT encoding k1:原始存储的类型
Strlin k1
Exist k4
1,0
Getset k4
Get k4
Getset:替换原来的
Set k1 中
Strline k1
3
Get k1
\xe4\xb8\xad
Redis --raw
Utf_8是三个字节
Gbk:是两个字节
Read_cli
Append:追加
Getrange k4 3 5
从索引为3的开始
Getrange
Set k1 100
Increase k1:增加步进
Decreasr k1:减少步进
Incr k1
Decr k1
Incrby k1 2
Incrbyfloat k1 2.5
多个数据向一个方向移动：要考虑线程安全。
Redis操作：允许使用bitmap（字节数组）
Create index
Create
Flushall
Setbit k1 1 1
Get k1
Setbit k1 7 1
Get k1
A
Help setbit
@ 64
7是2的6次方
Offset：偏移
跨字节进行比特位的设置
Getbit k1 1
Bitpos:bitposition
Help bitpos
Bitpos k1 1
Setbit k1 1 0
Bitpos k1 1
值的偏移量，位置
Operand:运算数
Operator;运算符
Operation：运算
| & 异或 非
Setbit k1 1 1
Setbit k2 7 1
Bitop and k3 k1 k2
Get k3
Help bittcount
Redis -cli -help
Redis -cli:默认为0号数据库
Flushdb:清空当前所属的数据库
Collect:无序不唯一
Set:无序唯一
List:有序不唯一
Linkedlist:增删快，底层是链表，两个节点之间的指向发生变化就行
Arraylist:查询慢，查询快，删减的话，后边的所有数据都需要变动，底层是数组
List：列表的索引
单项链表，双向链表
丛左至右，丛0开始
从右至左，从-1开始
操作list的方向：有左，也有右
List也有阻塞
Lpush:l:左侧，从左侧推送值
Lrange l1 0 -1
栈的特点，先进后出
Lpop l1f 从左边取
Rpop l1:从右边取
Lrange l1 3 3:取的范围，从start-end
Rpoprpush:RPOPLPUSH l1 l2
Remove the last element in a list, append it to another list and return it
Lindex l1 2:获取指定位置上的元素值
RPUSH listkey c abc c ab 123 ab b bj ab redis list
LRANGE listkey 0 -1：展示所有
LREM listkey -2 ab：删除重复，删除的是最后边的两位。
LTRIM listkey 0 -1：去除空格字段
LPUSH list2 a b d：复制
LINSERT list2 before d c：插入值
Push:加入
Pop:弹出
llenL:长度
Lrem listkey -2 ab
Lrem listkey
Ltrim:去除无用的
阻塞队列：
Blpop:没有该值阻塞住
Lpush list 0：接触阻塞
Blpop list 0:0代表一直阻塞，除非解除阻塞
Blpop list 5:阻塞5秒
Hash散列
Hset key field value
Hset mike name mickael
Hmset mike age 30 gender m cell 1391111
Hmget mike
Hmget mike name age 30
Hvals mike：获取所有值
HMGET mike name：获取某一属性值
Hkeys mike：获取所有的属性元素
HMGET mike name age cell：获取属性对应的值
Set pablo:name jiao
Set pablo:gender f：更新属性所对应的值
Set pablo:age 30
Get pablo:
get pablo:gender:获取该属性所对应的值
返回字段值：Hget key field
HINCRBY mike age 5:增加年龄
返回多个字段值：
Hmget key field [field...]
sadd friendsnew "peter" "jack" "tom" "john" "may" "ben"
SMEMBERS friendsnew:获取成员的属性
SRANDMEMBER friendsnew 3：随机弹出
SRANDMEMBER friendsnew -100：弹出绝对值
差集：different
交集：sinter
并集：sunion
Srandmember friendnew 0
Srandmember friendnew 4
Srandmember friendnew 100
Srandmember friendnew -100
Spop friendsnew
scard friendsnew
Setadd g a b c d ...
Srandmember g 100
Srandmember g1 -20
Intersection:交集
Sinter:并集
Sunion:差集
Sdifferent:是看谁放在前边，就保留谁
Sunion:并集
Sinter:交集
sadd num1 123 456 789
sadd num2 123 456 999
sdiff num1 num2:789
sdiff num2 num1:999
sunion num1 num2:并集
SINTER num1 num2：交集
Sortedset有序集合
redis-cli --raw：显示汉子的值
ZRANGE fruits 0 -1 withscores：显示属性的值和分值
ZREVRANGE fruits -3 -1 withscores：倒序打印出来
按照中文输出
Redis-cli --raw
输出所有
Zrange fruits 0 -1
Zrange fruits 0 -1 withscores
Zrange fruits -3 -1 withscores
最后一个为-1
Zrevrange fruits 0 -1 withscores
Reverse:反转，倒序
有序集合，会按照分值去排序
Zrevrank fruits 0 -1
Zrangebyscore fruits 3.2 4 withscores
Zrangebyscore fruits (3.2 4 withscores
Zrangebyscore fruits (3.2 (4 withscores
Infinity:正的无穷大
Zremrangebyrank key min max
Zremrangebyscore fruits 6 7
Zcare fruits
Zcount key min max
并集:
提升空间的复杂度，来换取时间的复杂度。
不进行磁盘一些：fsimage,adislog
Namenode
Hadcache
Redis:内存会丢失，
Redis持久化：
Rdb hdfs:fsimage
Aof hdfs:edit logs
Redis:持久化--RDB
Redis所做的rdb就是时点快照
flushall：刷新
redis-server --help查看
Ctr+C
或者shutdown
Quie退出
Exit:退出
在客户端执行server-shuldown
原主再一次启动，则只能作为从节点。
从节点的启动：
redis-server --port 6381 --slaveof 192.168.198.21 6380
主节点的启动：
redis-server --port 6380
解压，确定有gcc和tcl,安装
编译
make && make PREFIX=/opt/sxt/redis/
Make:编译
Make install:安装
安装：
gem install --local redis-3.3.0.gem
在conf下修改zoo.cfg
修改zoo.cfg的属性
添加：server.1=node06.2888:3888
环境变量配置之后可以分发：
Scp /etc/profile node07:/etc/
查看：cat /etc/p*
将整个sxt目录分发到对应文件夹的当前目录下：
Scp -r sxt/ node07:`pwd`
同时创建以下目录，用于存放持久化的数据：
Mkdir -p /var/sxt/zk
重定向追加myid（对应追加1,2,3）:
Echo 1 > /var/sxt/zk/myid
查看：
Cat /var/sxt/zk/myid
启动：zkServer.sh start
关掉：zkServer.sh stop
查看状态：zkServer.sh status
启动客户端：zkcli.sh
在客户端下查看：
Ls /
创建：create /sxt hello
一个节点创建了目录文件之后，其他节点也都能拿到。
可以启动另一台客户端来获取和查看当前状态。
Zkcli.sh ls /
创建深层目录文件：
create /sxt/sxt3 hello
删除文件：
rmr /sxt
创建临时节点：
create -e /tempnode temp
设置序列化节点：
Create -s /sxt
MySQL的一些命令的学习：
开机启动：
chkconfig mysqld on
Mysql的启动：
service mysqld start
Mysql的安装
拷贝分发：
scp jdk-7u67-linux-x64.rpm [email protected]:`pwd`
rpm -i /software/file/linux-basic/jdk-7u67-linux-x64.rpm
进入：
Mysql
切换到mysql
Mysql
显示所有表：
show tables
删除所有表：
delete from user;
赋予权限：
GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '123' WITH GRANT OPTION;
然后刷新权限：
flush privileges
退出mysql：
Exit
再次登录：
Mysql
进不来，
必须是：
mysql -uroot -p123
resourcemanager的启动命令：
yarn-daemon.sh start resourcemanager
查看历史：history
拷贝分发：
scp -r ./spark-1.6.0/ 192.168.198.23:$PWD
scp -r ./spark-1.6.0/ 192.168.198.22:`pwd`
hdfs的启动命令：
start-all.sh
namenode,datanode,journalnode的启动命令：
hadoop-daemon.sh start namenode
spark的启动命令：
在bin目录下：
./start-all.sh
修改spark的临时端口：
[[email protected] conf]# export SPARK_MASTER_WEBUI_PORT=9898
取消spark的临时端口：
[[email protected] conf]# export -n SPARK_MASTER_WEBUI_PORT
Start-all.sh是启动hdfs的
./start-all.sh是启动spark集群的
Time-out是指超时了，一般是集群时间不统一的问题造成的
spark基于standalone的client方式的提交：
./spark-submit --master spark://192.168.198.21:7077 --deploy-mode client --class org.apache.spark.examples.SparkPi ../lib/spark-examples-1.6.0-hadoop2.6.0.jar 100
客户端能看到执行的过程
spark基于standalone的cluster方式的提交的命令（只有这一种）：
./spark-submit --master spark://192.168.198.21:7077 --deploy-mode cluster --class org.apache.spark.examples.SparkPi ../lib/spark-examples-1.6.0-hadoop2.6.0.jar 100
spark基于yar客户端提交命令：
./spark-submit --master yarn --class org.apache.spark.examples.SparkPi ../lib/spark-examples-1.6.0-hadoop2.6.0.jar 100
或者：
./spark-submit --master yarn --deploy-mode client --class org.apache.spark.examples.SparkPi ../lib/spark-examples-1.6.0-hadoop2.6.0.jar 100
或者：
./spark-submit --master yarn client --class org.apache.spark.examples.SparkPi ../lib/spark-examples-1.6.0-hadoop2.6.0.jar 100
linux中常用命令大全：
1.显示日期：date
date
date +%Y/%m/%d
date +%H:%M
2.显示日历：cal
cal 2018
cal 10 2018
3.计算器：bc
4.按键：
[Tab]按键---具有『命令补全』不『档案补齐』的功能
[Ctrl]-c按键---让当前的程序『停掉』
[Ctrl]-d按键---通常代表着：『键盘输入结束(End Of File, EOF 戒 End OfInput)』的意思；
另外，他也可以用来取代exit
4.关机：
shutdown
5.修改权限：
chmod +x ad.sh
6.转换：
cd
7.显示当前目录：
pwd
8.建立新文件：
mkdir -p test1/test2/test3
9.删除（空）目录：
rmdir test
rmrdir -p test1/test2/test3
10.显示目录：
ls