自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(16)
  • 资源 (5)
  • 论坛 (1)
  • 收藏
  • 关注

原创 MySQL的优化技术总结

如果Cache很大,把数据放入内存中的话,那么瓶颈可能是CPU瓶颈或者CPU和内存不匹配的瓶颈;seek定位的速度,read/write即读写速度;硬件的提升是最有效的方式;innodb_buffer_pool_size:配置innodb的数据缓冲池的大小来提高整体效率,可用内存即除去系统软件等内存后的内存大小;innodb_buffer_pool_instances:

2015-03-30 23:18:21 588

原创 关系代数对于数据库的查询优化的指导意义

利用上面的规则,我们就可以求出不同的连接次序,从而求出最优的一个连接次序。(1)多次投影操作转化为一次投影操作;在一个条件上的多次操作可以转化为一个操作;

2015-03-25 22:18:24 2322

原创 TPC-H

图:TPC-H官网   QphH:表示每小时查询的个数;                                   图:100G和300G的数据测试结果      注意SF*200000中的SF是一个动态的值  S_NATIONKEY表示该供货商来自

2015-03-18 23:48:33 3021

原创 搭建Storm集群与Storm的并发概念简介

图:storm集群搭建

2015-03-15 13:31:01 663

原创 storm入门

hadoop,  批处理,通过磁盘IO处理,吞吐量大;strom,实时,通过内存处理,吞吐量小;高频:高频率;生产者和消费者之间使用Message Queue,有Kafka, Active MessageQ和Rabbit Mq                             图:Hadoop与Storm的比较   

2015-03-15 00:23:02 780

原创 flume-ng应用场景分析

图:FLUME的配置,把控制台的输出命令写出到avro这种格式;This sets up a source that runs "tail" and sinksthat data via Avro RPC to 10.1.1.100 on port 10000.The collecting Flume agent on the Hadoop cluster willneed a

2015-03-14 12:24:27 2688

原创 hadoop项目架构

1:日志采集;2:传输日志;3:将日志写入HDFS;4:从HDFS中将日志装载入数据仓库中;5:对装载的数据进行分析;6:调用Hadoop集群的M/R执行并行计算,并返回结果;7:将结果中有价值的数据写入HBASE数据库;8:报表系统&应用程序端通过HBASE查询数据并展现;备注:1:HBASE主要是和前端用户打交道的,因为HBASE的速度快;2:原始数据如果要被变

2015-03-14 11:51:05 1499 1

原创 1.flume简介

Event:每条数据的统称;Client:客户端,Agent: 代理,即谁去采集数据,部署的工具,包括很多组件,如Sources, Channels和Sinks等;Source:用来接收数据,数据来源可以定制;Sink:用来把数据写出;Channel:把Source和Sink连接在一起的管道;     使用Agent来实现负载均衡;容错性高一些;使源地址

2015-03-12 23:44:51 539

原创 Mysql索引优化

(1)InnoDB存储引擎的索引为主键索引;(2)从多个索引选择最优的执行计划时需要花费时间;(3)如果存在大量的更新,插入或者删除,那么索引需要实时的维护;(4)在数据库内核实现索引是非常复杂的,如何最大程度的满足并发,以及如何需要慎重使用索引,而不是盲目的使用索引。(1)单表扫描的花费为C1,使用索引扫描的花费为C2,进一步判断C1和C2的关系,如果C2小,

2015-03-11 23:39:07 565

原创 Pig自定义功能

user.data:第1列是用户id,第2列是用户名;role.data:第1列是角色id,第2列是角色名,第三列是用户id;比如想在PIG中过滤id为3的记录:使用自定义函数的方式来解决:                                                        图:在exec函数中判断id的值是

2015-03-10 23:16:47 613

原创 Pig简单入门

Pig专门用来处理来自于HDFS的数据,它提供了一套流式的数据处理语言,转化为Map-Reduce来处理HDFS的数据;Pig包括用来描述数据分析程序的高级程序设计语言,以及对这些程序进行评估的基础结构。Pig突出的特点就是它的结构经得起大量并行任务的检验,这使得它能够处理大规模数据集。   使用pig命令直接进入命令行模式;   在命令行模式照样可以使用hadoo

2015-03-08 23:22:34 1373

原创 Mysql物理查询技术

逻辑查询优化主要基于代数理论与启发式规则。    (1):是全盘扫描最优,还是基于索引的扫描最优;对于单表扫描,主要还是看磁盘IO;   (2):不同表的连接方式,有不同的消耗;块嵌套循环连接算法,基于Hash的连接,排序归并连接;   (3):考虑哪一种连接的花费是最少的;          图:物理查询优化技术   如果选择率低于10%,

2015-03-05 23:28:14 1153

原创 Hbase与MapReduce

注意:HBase的行键的设计必须和业务有关,在这里我们用手机号加时间戳的组合来定义主键。  注意继承的类变为了TableReducer,该类属于HBase范畴,研究TableMapper的使用方法。            SPLITS=>['a', 'b', 'c'],创建的分区以a, b, c作为划分。        创建的Region的情

2015-03-05 22:49:24 652

原创 HBase的java操作

package com.ccse.hbase;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.HBaseConfiguration;import org.apache.hadoop.hbase.HColumnDescriptor;

2015-03-04 23:35:00 503

原创 NoSQL数据库之Redis数据库管理二(string类型和hash类型)

如果有一个键没有设置成功,那么所有的键都不会设置成功!

2015-03-03 23:30:10 646

原创 NoSQL数据库之Redis数据库管理一(Redis的介绍与安装部署)

在NoSql中,类似于insert,select,delete和update的sql语句是不起作用的;ACID属性表示事务特性,NoSql对此的支持比较弱;NoSql中没有一个固定的表结构;

2015-03-03 22:48:47 707

网络五子棋程序基于socket实现

此例为用vc++开发的一个基于socket的网络五子棋程序。可以作为相关方面的课程设计。分为客户端和服务器端,客户端可以相互选择下棋的对象。

2010-04-25

Android手机端调用webservice来获得手机归属地号码

在android端使用了soap协议来调用网上的webservice接口,来获得手机号码的归属地信息

2011-07-29

网络五子棋程序用vc++实现

此例为用vc++开发的一个基于socket的网络五子棋程序。可以作为相关方面的课程设计。分为客户端和服务器端,客户端可以相互选择下棋的对象,此程序为服务器端的程序,前一个为客户端的程序

2010-04-25

Hibernate 3.2核心包

这些包为Hibernate3的核心包,开发相关的程序时只需要把这些包加载到项目的lib目录下即可。

2010-08-21

局域网聊天程序用VC++实现

此例为用VC++加socket,并结合多线程的知识开发的一个局域网聊天程序,可以作为操作系统课程设计或者毕业设计的参考。

2010-04-27

梦想者的奋斗的留言板

发表于 2020-01-02 最后回复 2020-01-02

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除