hbase的jdbc驱动phoenix该应用什么持久层框架?

        最近公司因为业务需求,需要用到大数据框架,目前已经配置好了hadoop+hbase的集群.刚好看到phoenix这个可以像hbase执行标准SQL的插件,所以也用上了.         那么问题来了:以前我们用mysql或者Oracle,可以用mybatis或者hibernate这样的持久层框架,那么phoenix可以用么?phoenix也有自己的驱动,main方法测试也可以连接上,但是如果用以前Spring+mybatis的方式来管理的,死活是连不上的,不知道有没有人尝试过?或

使用phoenix插入数据时报错,create和drop都没问题,只有upsert不行

[[email protected] bin]# ./sqlline.sh p01:2181 40/40 (100%) Done 0: jdbc:phoenix:p01:2181> upsert into student_test(stuid, name, age, score, classid) values (0,'test',15,90,3); Error: org.apache.hadoop.hbase.client.RetriesExhaustedWithDetailsException: Failed

hbase为表建索引

在hbase里面建立一张表,给表中一些字段可以建立索引么?怎样建索引? 菜鸟求大神教导. 当然可以 0.92版本后,用hbase coprocessor 的 observer解决 没插一条数据往二级索引表中加入对应的索引数据 假设某张表上有3个列需要建立二级索引,那么就需要3个二级索引表 以上方法是实时的二级索引建立 最新版的phoenix on hbase就是这么处理的 还有一种异步方法,就是用mapreduce,只对新数据或者修改过的数据建立二级索引 这个不用多说了吧.

hbase 创建表间歇性失灵

hadoop jps启动状态 [email protected]:~$ jps 2641 NameNode 3232 ResourceManager 5193 Jps 3076 SecondaryNameNode 3364 NodeManager 2773 DataNode 4921 Main 4664 HMaster 创建表到异常代码如下:(有的时候好好的.重启之后就会出现以下错误,网上方法都试了!使用hadoop2.2 hbase0.96.2.使用单机模拟集群) hbase(main):006:0> 

三台iPhone5等你拿 VMware邀您免费参加Spring和Cloud Foundry两大热门技术的开发者大会

开源框架领域的著名技术大会SpringOne首次落户中国,与热门PaaS平台Cloud Foundry携手为开发者呈现两天的精彩课程!    本次大会由VMware中国主办,联合Spring框架和Cloud Foundry两大热门技术,为进行商业应用程序.跨设备互联网应用.云计算架构和高性能基础平台开发的企业应用开发者.互联网开发者.解决方案架构师和IT团队度身定做.超过30多场的精彩技术演讲包括Spring框架的最新发展,Spring在互联网.移动设备.企业集成和大数据领域的实战应用和开发架构

在Eclipse和STS集成Cloud Foundry开发环境,spring + MongoDB 示例代码演示部署(一)

按照cloud foundry官方的介绍,一般我们是在本地先开发好了apps, 然后通过VMC命令行工具来进行部署到CF上面,这里介绍一个Eclipse 插件,使得我们可以直接在Eclipse里面进行应用的部署,这样,开发和部署都只需要Eclipse. 首先安装Eclipse插件,打开Eclipse或者STS, 点击Help->Dashboard, 然后点击Extensions, 找到Server and Clouds,选择Cloud Foundry Integration for Eclips

Spring Batch Cloud Sample

由于本人一直是C like(C++, C# )语言拥护者,对于Java及其一些框架不是很熟悉,所以难免描述不是很准确,这个例子是基于Spring MVC的一个例子,刚看到题目,对于Spring Batch 一概不知,以为是自己随便起的一个名字,后来才知道这是一个开源项目,网址在这里,http://static.springsource.org/spring-batch-admin/trunk/spring-batch-admin-sample/source-repository.html  首先

完全分布式hadoop下Hbase和MSSQL的数据传输问题

我做的完全分布式hadoop,昨天用hadoop的HDFS和MSSQL利用Sqoop相互传送数据库中的表没有任何问题,今天用Hbase和MSSQL传送数据就出问题了.我将MSSQL的数据import到Hbase中,我发现主要有问题的地方是: 一:INFO client.ZooKeeperSaslClient:Client will not SASL-authenticate, because the default JAAS configuration section 'Client' coul

hbase单机模式下,使用java API远程连接hbase的问题。

最近需要使用hbase作为数据库,所以想自己研究下hbase.不过最近遇到一个问题,很多天也没找到答案. 首先描述一下我的机子.普通的PC机,系统为win7,在win7里装了个虚拟机,运行ubuntu10,虚拟机里装了hadoop和hbase,两者全部运行成功,使用hbase shell和在虚拟机里使用JAVA API操作hbase都没问题. 但是问题就是我想直接使用PC机中的JAVA API(也就是win7)直接操作虚拟机里的hbase,就怎么都不行了. 贴上我的配置. hbase-site.

HBase大批量写入报错~~

刚刚开始学习用JAVA写HBASE,小批量写入没问题. 大批量写的时候就报错,HBASE的配置和代码都是以前同事写的,现在两眼一抹黑,不知道怎么弄. 下面是错误日志 java.util.concurrent.ExecutionException: java.net.SocketTimeoutException: Call to 11.124.1.120:60020 failed on socket timeout exception: java.net.SocketTimeoutExceptio

mapreduce入库hbase报responseTooSlow

2015-05-17 16:15:21,064 WARN  [B.DefaultRpcServer.handler=10,queue=2,port=60020] ipc.RpcServer: (responseTooSlow): {"processingtimems":12016,"call":"Multi(org.apache.hadoop.hbase.protobuf.generated.ClientProtos$MultiRequest)"

HIVE和HBASE数据对接

在Hbase中有一张表TB_1 FNAME:"C1 随后,在Hive中创建了一张映射表TB_1 当HBASE的数据发生改变时,Hive可以读取到 但我往HIVE里插入新数据后,HBASE里却看不到,求解~~ HIVE的映射表无法更新HBASE中已存在的数据表 创建映射表,同时创建HBASE对接表 --Hive SHELL --创建HIVE和HBASE表单 CREATE TABLE hbase_table(key int, value string)   STORED BY 'org.apache

Hbase的Join问题

有2张表 TBA ROWKEY:datetime_userid TBB ROWKEY:userid //帐号id cf:username//用户帐号 只对TBA的ROWKEY进行SCAN 但返回数据时,希望得到datetime_username的数据结构 请教各位高手,求个高效的join算法 hbase做JOIN比较麻烦 如果SCAN出来的数据不多可以参考RDBMS的Merge方法 我的思路: 1.定义一个String array对象 TBA_ARR 2.把SCAN TBA的数据扔进TBA_AR

配置hbase,主节点HMaster启动不起来。

具体状况是开机以后 HMaster启动了一下.然后就down掉了.然后再也启动不起来.关闭hbase时候.子节点只能关闭zookeeper守护进程,不能关闭存储进程. 日志文件如下(节选部分):错误没有在网上找到过,求指导.pipe坏了该怎么弄啊. 2012-04-11 02:32:57,914 INFO org.apache.hadoop.ipc.HBaseServer: IPC Server Responder: starting 2012-04-11 02:32:57,917 INFO o

亲们,如果设置HBase数据的有效期?

我在hbase中有一个表,想让表里的数据超过1年的自动清理,请问我需要怎么设置? 注:这个时间是要以最后修改时间为准. 设置cf的TTL值,单位秒 disable 'test' alter 'test',{NAME=>'info',TTL=>'100000'} enable 'test'

Hbase 入库优化 求大神帮忙看看我的代码如何改进

集群是 17+1的架构 有3个zookeeper 向Hbase入库数据为 2500W行 一行有46个字段,以|分隔,其中第10个字段作为行健 hbase表结构是 行健+一个列族 一个列族下45个列  入库代码为: package com.ericsson.andromeda.put; import java.io.BufferedReader; import java.io.File; import java.io.FileReader; import java.text.SimpleDateF

springmvc+myibatis+spring整合示例(仅供参考)

闲来无事,为了学习easyui+ztree,于是写了一个demo, 服务端使用springmvc+myibatis+spring实现, 界面截图 登录: home页面: 列表页面: tree页面: 添加页面: 服务器代码部分截图: spring配置: <?xml version="1.0" encoding="UTF-8"?> <beans xmlns="http://www.springframework.org/schema/bean

面试时被问到spring是如何控制事务的?你是怎么回答的?

几次面试都遇到这样的问题,解释不出来. 就知道如何使用spring这框架,却说不来其原理,惭愧. 小弟诚心求教! spring有两种事务配置方式,一种是配置的事务管理器,另一种的是代码控制的事务 配置的事务管理器的方式是我们经常用到的经常会用到在配置文件中.代码控制的事务分为jdbc模板的和事务管理器的,jdbc默认自动提交,事务管理器的和咱们通常的一样会有commit  rollback等操作.闲 的时候看一下开发指南吧

spring IOC如何降低了耦合度

spring框架的核心IOC如何降低了代码耦合度,内部实现机制是什么? 该回复于2015-07-15 10:04:19被管理员删除

Spring MVC的Controller是线程安全的么?

  众所周知,Struts2的Action因为每次请求都会创建一个实例,所以不存在线程不安全的问题..   但是Sprng MVC的Controller我是用的扫描的方式,在servletname-servlet.xml配置的,Spring IOC搞的Bean默认是单例模式吧? 我这么扫描Controller是不是就是单例的,会不会出现跟Servlet一样使用成员变量的线程安全问题???? 如果加@Scope("prototype")其实可以解决,工作中大家都是怎么解决的?会不会影响性

分页: