张波的技术积累

原创 jdk命令积累

1：-verbose:gc：在虚拟机发生GC时在输出设备显示信息；2：-Xloggc:：指定GC日志记录输出的文件路径；3：-XX:+PrintGC:输出GC信息，类似于-verbose:gc参数；4：-XX:+PrintGCDetails：打印输出更多垃圾回收相关信息；5：-XX:+PrintGCTimeStamps：输出每次开始时间的时间戳，用于查看垃圾回收频率；6：-Xm

原创 HBase数据模型、概念视图和物理视图

1：数据模型   HBase是一个类似Bigtable的分布式数据库，它是一个稀疏的长期存储的（存储在硬盘上）、多维度的、排序的映射表，这张表的索引是行关键字、列关键字和时间戳，HBase中的数据都是字符串，没有类型。   用户在表格中存储数据，每一行都有一个可排序的主键和任意多的列。由于是稀疏存储，同一张里面的每一行数据都可以有截然不同的列。  列名字的格式是":"，都是由字符串

原创 hbase的shell操作

图：hbase支持的命令格式     图：通过hbase shell进入命令行模式      图：通过help命令查看各种命令组     图：通过help 'general'来查看命令general的作用

原创 非SPJ的优化

非SPJ的查询还包括Order by和distinct，由于group by导致语义发生了变化。

原创 zookeeper伪分布式安装

server.3=192.168.1.201:2990:3990以上是原理内容，以下是真正的配置    图：zoo1.cfg的配置    图：zoo2.cfg的配置（修改了clientPort和dataDir的值）    图：zoo3.cfg的配置   图：使用mkdir -p命令创建数据目录  图：创建myid文件，并写入值

原创 hbase-基础知识

•可以只对一行上“锁”•对行的写操作是始终是“原子”的

原创 mysql-数据库的约束规则与语义优化

实体完整性：实体与数据库中表的映射关系；        域完整性：实体的部分如何保证值是正确的；       参照完整性：实体与其他实体的关系，有主外键的关系；       用户自定义完整性：从用户的角度，如何保证实体或者实体的一部分是正确的；               主键是不允许空值，它唯一标识一个实体；                            

原创 zookeeper-java bings

转载 基于hive的日志数据统计实战

http://blog.csdn.net/sutine/article/details/5653137

转载 Hive文件存储格式的测试比较

http://yugouai.iteye.com/blog/1851606

原创 Hive-函数

1：使用show functions来显示所有的函数，      使用类似describe function   substr的命令来查看函数substr的定义     2：常见函数                       执行命令select array(1, 2, 3, 4) from dual；生成一行结果[1, 2, 3, 4]        

原创 Hive-自定义文件格式

前面在讲述创建表的语句时，省略了一些内容，更加完整的语法如下CREATE TABLE t1(...) STORED AS TEXTFILE;最后的STORED AS 子句，指的是Hive数据文件的存储格式，这里使用的是TEXTFILE，还有SEQUENCEFILE和RCFile，一共三种。TEXTFILE是最普通的文件存储格式，内容是可以直接查看。SEQUCENFILE是包

原创 Hive-表连接

Hive只支持等值连接，即ON子句中使用等号连接，不支持非等值连接。Hive内置的数据存储类型，TextFile, SequenceFile, ORC(列式存储)如果连接语句中有WHERE子句，会先执行JOIN子句，再执行WHERE子句。[吴超1] 假设有以下测试数据表user数据如下User_idname1张三

原创 Hive之压缩存储

压缩存储有时候可以获得更好的性能。 使用TextFile存储时，可以使用GZIP或者BZIP2进行压缩。操作如下CREATE TABLE raw (line STRING) ROW FORMAT DELIMITED FIELDSTERMINATED BY '\t' LINES TERMINATED BY '\n';LOAD DATA LOCAL INPATH '/tmp/weblo

原创 Hive之复合类型

hive array、map、struct使用hive提供了复合数据类型：Structs： structs内部的数据可以通过DOT（.）来存取，例如，表中一列c的类型为STRUCT{a INT; b INT}，我们可以通过c.a来访问域aMaps（K-V对）：访问指定域可以通过["指定域名称"]进行，例如，一个Map M包含了一个group-》gid的kv对，gid的值可以通过