ITeye博客

yunfei

秦时明月黑 · 共 87 篇文章

如何读源码一点心得

使用hive发现一个,只好翻源码解决,记下读源码心得 该软件标志性历史,特性,最好能把svn提交记录翻一遍 该软件核心步骤 带着思考,反问,如何自己写这个源码,如何写 画流程图,debug

2013-09-29 14:38 · 评论(0)

Hive代码组织及架构简单介绍

说明 hive三个主要组件 Serialzers/Deserialzers(trunk/serde) 此组件允许用户自己开发自定义序列化、反序列化文件解析器,hive自身也内置了一些序列化解析类。 MetaStore(trunk/metastore) 此组件是hive的元数据服务器,用来存放数据仓库中所有表和分区的信息,hive元数据建表sql、升级sql脚本都存放在此目录下。 Query Processor(trunk/ql) 此组件用于解析sql生成map/reduce作业,并按照先后顺序执行他们(hive核心包,熟读此包,可了解hive执行流程核心)。 其他组件 Command Lin…

2013-09-29 14:31 · 评论(0)

hive常用资料整理

hive基本wiki FaceBook 镜像(被墙): http://mirror.facebook.com/facebook/hive Wiki 页面: http://wiki.apache.org/hadoop/Hive 入门指南: http://wiki.apache.org/hadoop/Hive/GettingStarted 查询语言指南: http://wiki.apache.org/hadoop/Hive/HiveQL 演示文稿: http://wiki.apache.org/hadoop/Hive/Presentations 蓝图: http://wiki.apache.or…

2013-09-22 10:28 · 软件工程 · 评论(0)

hive0.11多表join countI(distinct )bug

hive0.11测试过程中,发现如下bug select count(distinct t2.user_id),t1.app_id,t2.from_id from t1 join t2 on t1.app_id=t2.app_id join t3 on t2.from_id=t3.flag group by t1.app_id,t2.from_id 查询过程报如下错误:FAILED: NullPointerException null 2013-09-16 20:20:59,611 ERROR ql.Driver (SessionState.java:printError(386)) - F…

2013-09-16 20:25 · 项目错误及解决办法 · 评论(0)

shell编程快速入门

准备工作 一颗希望通过工具快速解放自己的心,一台装有linux操作系统的电脑。 基础知识 例子,欢迎来到shell的世界 #!/bin/sh echo "hello girl,welcom to the world of shell!" 保存为hello.sh,执行 $ sh hello.sh hello girl,welcom to the world of shell! $ chmod +x hello.sh $ ./hello.sh hello girl,welcom to the world of shell! 引号 无引号:字符串,不允许特殊字符,不允许变量替换; 单引号 '' :…

2013-09-14 14:44 · 编程语言 · 评论(0)

StringUtils字符串操作处理

org.apache.commons.lang.StringUtils字符串切割注意事项 String str="a|b|c|||" StringUtils.split(str, separatorChar) String[] arr = StringUtils.split(str, "\\|"); print arr length(arr) 3 0:a 1:b 2:c StringUtils.splitByWholeSeparatorPreserveAllTokens(str, separator) String[] arr = StringUtils.splitByWholeSepara…

2013-09-06 10:43 · 编程语言 · 评论(1)

hive常用命令

日常用到hive sql做个总结 hive创建表 create table if not exists register ( user_id bigint, type string, s1 string, s2 string, s3 string, s4 string, stage int, from_id bigint )partitioned by(dt string) row format delimited fields terminated by '\t' lines terminated by '\n'; 删除表 drop table register_daily 通过本地文件添…

2013-08-23 23:55 · 编程语言 · 评论(0)

spring源码学习_IOC

spring之ioc探索

2013-04-17 11:00 · 编程语言 · 评论(0)

Java虚拟机深入研究

文章来自:http://www.qqread.com/java/w872354600.html Java技术与Java虚拟机 说起Java,人们首先想到的是 Java编程 语言,然而事实上,Java是一种技术,它由四方面组成:Java编程语言、Java类 文件格式 、Java虚拟机和Java应用程序接口(Java API)。它们的关系如下图所示: 图1 Java四个方面的关系 运行期环境代表着Java平台,开发人员编写Java代码(.java文件),然后将之编译成字节码(.class文件)。最后字节码被装入内存,一旦字节码进入虚拟机,它就会被解释器解释执行,或者是被即时代码发生器有选择的转换…

2013-04-13 14:47 · 编程语言 · 评论(0)

java虚拟机垃圾回收机制

一、相关概念 基本回收算法 引用计数( Reference Counting ) 比较古老的回收算法。原理是此对象有一个引用,即增加一个计数,删除一个引用则减少一个计数。垃 圾回收时,只用收集计数为 0 的对象。 此算法最致命的是无法处理循环引用的问题。 标记 - 清除( Mark-Sweep ) 此算法执行分两阶段。第一阶段从引用根节点开始标记所有被引用的对象,第二阶段遍历整 个堆,把未标记的对象清除。此算法需要暂停整个应用,同时,会产生内存碎片。 复制( Copying ) 此算法把内存空间划为两个相等的区域,每次只使用其中一个区域。垃圾回收时,遍历当前使用区域,把 正在使用中的对象复制…

2013-04-13 14:46 · 编程语言 · 评论(0)

[高可用性] 负载均衡,会话保持,session同步

一,什么负载均衡 一个新网站是不要做负载均衡的,因为访问量不大,流量也不大,所以没有必要搞这些东西。但是随着网站访问量和流量的快速增长,单台服务器受自身硬件条件的限制,很难承受这么大的访问量。在这种情况下,有二种方案可以选择: 1,对单台服务器的硬件进行更新,由双核的变成四核的,内存加大等。 2,增加服务器的台数,来分担服务器的负担。以实现增加网络带宽,增加服务器的处理能力的目的。 第一种方法可以理解为纵向发展,这种方法总是有限。第二种方法才是解决问题的正确选择 实现负载均衡的方法,大至分为二个方向,一种是用软件来实现负载均衡,另一种是硬件实现负载均衡(包括结合硬件和软件) 用软件来实现负载…

2013-04-12 13:06 · 评论(0)

一步步构建大型网站架构

一步步构建大型网站架构 之前我简单向大家介绍了各个知名大型网站的架构, MySpace的五个里程碑 、 Flickr的架构 、 YouTube的架构 、 PlentyOfFish的架构 、 WikiPedia的架构 。这几个都很典型,我们可以从中获取很多有关网站架构方面的知识,看了之后你会发现你原来的想法很可能是狭隘的。 今天我们来谈谈一个网站一般是如何一步步来构建起系统架构的,虽然我们希望网站一开始就能有一个很好的架构,但马克si告诉我们事物是在发展中不断前进的,网站架构也是随着业务的扩大、用户的需求不断完善的,下面是一个网站架构逐步发展的基本过程,读完后,请思考,你现在在哪个阶段。 架构…

2013-04-12 13:01 · 软件工程 · 评论(0)

ZooKeeper典型应用场景一览

值得注意的是,ZK并非天生就是为这些应用场景设计的,都是后来众多开发者根据其框架的特性,利用其提供的一系列API接口(或者称为原语集),摸索出来的典型使用方法。因此,也非常欢迎读者分享你在ZK使用上的奇技淫巧。 数据发布与订阅(配置中心) 发布与订阅模型,即所谓的配置中心,顾名思义就是发布者将数据发布到ZK节点上,供订阅者动态获取数据,实现配置信息的集中式管理和动态更新。例如全局的配置信息,服务式服务框架的服务地址列表等就非常适合使用。 应用中用到的一些配置信息放到ZK上进行集中管理。这类场景通常是这样:应用在启动的时候会主动来获取一次配置,同时,在节点上注册一个Watcher,这样一来,以…

2013-04-01 18:51 · 软件工程 · 评论(0)

救火必备linux命令小结(一)------查问题

系统参数 cat /proc/cpuinfo cpu相关参数 cat /proc/loadavg 负载情况 性能参数 1)top P:按CPU占用排序 k:kill进程 回车:刷新数据 2)ulimit ulimit -a:显示本用户的系统限制参数 ulimit -Sn :更改最大Soft open file数 3)vmstat vmstat 5 -S m:以5秒的数据刷新vmstat数据(单位为m) 进程 1)ps ps aux:显示所有用户进程详情 如果显示不全可以通过-w加宽,如ps aux -www 网络 1)netstat netstat -na:显示所有网络连接 netstat …

2013-03-27 19:42 · 评论(0)

ios消息推送机制调研

苹果官方网站消息推送:http://developer.apple.com/library/mac/#documentation/NetworkingInternet/Conceptual/RemoteNotificationsPG/ApplePushService/ApplePushService.html 苹果推送服务指南教程:http://www.cnblogs.com/gpwzw/archive/2012/03/31/Apple_Push_Notification_Services_Tutorial_Part_1-2.html

2013-01-18 17:34 · 评论(0)