自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

程序员成长史

不定期分享Java、大数据等技术,个人成长、知识变现等

原创 window 下PHP redis扩展插件

window 下PHP redis扩展插件地址:http://pecl.php.net/package/redis/2.2.7/windows

2015-12-29 10:57:51 596 0

原创 hive 报:java.net.NoRouteToHostException: 没有到主机的路由

这种没有到主机的路由问题屡见不鲜了,一般要么是namenode 与 datanode 主机名间本身互ping就ping不通,这个概率较小,因为都知道要保证master与slaves 节点是能正常通信,所以都会检查。那么最有可能就是防火墙没有关闭,或者因为查看不出防火墙状态,所以误以为防火墙关闭了。...

2015-12-21 15:33:59 5017 0

原创 Tcp 连接出现大量 ESTABLISHED 连接

问题描述: 在不考虑系统负载、CPU、内存等情况下,netstat监控大量ESTABLISHED连接与Time_Wait连接。 # netstat -n | awk '/^tcp/ {++y[$NF]} END {for(w in y) print w, y[w]}' C...

2015-12-14 16:31:53 57149 6

原创 Hive 设置map 和 reduce 的个数

一、    控制hive任务中的map数:  1.    通常情况下,作业会通过input的目录产生一个或者多个map任务。  主要的决定因素有: input的文件总个数,input的文件大小,集群设置的文件块大小(目前为128M, 可在hive中通过set dfs.block.size;...

2015-12-11 17:59:08 2617 0

原创 Hive命令的3种调用方式

方式1:hive –f  /root/shell/hive-script.sql(适合多语句) hive-script.sql类似于script一样,直接写查询命令就行 例如: [root@cloud4 shell]# vi hive_script3.sql selec...

2015-12-11 11:28:25 6930 0

原创 Hive的文件格式比较

Hive的三种文件格式:TEXTFILE、SEQUENCEFILE、RCFILE中,TEXTFILE和SEQUENCEFILE的存储格式都是基于行存储的,RCFILE是基于行列混合的思想,先按行把数据划分成N个row group,在row group中对每个列分别进行存储。另:Hive能支持自...

2015-12-10 18:13:56 2226 1

原创 Linux防火墙(iptables)设置

1、关闭所有的 INPUT FORWARD OUTPUT 只对某些端口开放。 下面是命令实现: iptables -P INPUT DROP iptables -P FORWARD DROP iptables -P OUTPUT DROP 再用命令 iptables -L -n 查看 是否设置...

2015-12-09 15:26:06 2254 0

原创 MySQL的 current_date()

竟然今天才知道,MySQL的 current_date()获取的是当天日期,如:2015-12-07

2015-12-07 16:33:22 17230 1

原创 shell读取文件的每一行

写法一: ---------------------------------------------------------------------------- #!/bin/bash   while read line do...

2015-12-04 10:39:23 2266 0

原创 Linux下批量修改文件后缀名及shell脚本中匹配文件名称变量写法

rename .txt.COMPLETED  .txt   *.txt.COMPLETED 详细:http://blog.csdn.net/longxibendi/article/details/6387732

2015-12-02 21:27:49 4261 0

原创 数据分析之UA在线转换工具

http://tool.lu/useragent http://www.atool.org/useragent.php http://www.useragentstring.com/index.php

2015-12-01 18:14:41 4355 0

提示
确定要删除当前文章?
取消 删除