- 浏览: 349435 次
- 性别:
- 来自: 杭州
最新评论
-
penkee:
为何我启动 zookKeeper bookie 10 不能创 ...
bookkeeper安装及测试体验 -
Golden-jin:
1楼也好时髦呀
bookkeeper简单分析 -
xGss2000:
要是减少到300个 region,block就0.04s了。话 ...
多region下的hbase写入问题 -
brandom520:
请问lz,我从hbase0.94版本上的数据导入到0.96.1 ...
在不同版本hdfs集群之间转移数据 -
huanghaifeng1990:
您好,我想请问一下,我执行了会发生OOM溢出的Deflater ...
perftools查看堆外内存并解决hbase内存溢出
bulk-load的作用是用mapreduce的方式将hdfs上的文件装载到hbase中,对于海量数据装载入hbase非常有用,参考http://hbase.apache.org/docs/r0.89.20100621/bulk-loads.html:
hbase提供了现成的程序将hdfs上的文件导入hbase,即bulk-load方式。它包括两个步骤(也可以一次完成):
1 将文件包装成hfile,hadoop jar /path/to/hbase.jar importtsv -Dimporttsv.columns=a,b,c <tablename> <inputdir>
比如:
执行
将会启动mapreduce程序在hdfs上生成t8这张表,它的rowkey分别为1 3 5 7,对应的value为2 4 6 8
注意,源文件默认以"\t"为分割符,如果需要换成其它分割符,在执行时加上-Dimporttsv.separator=",",则变成了以","分割
2 在上一步中,如果设置了输出目录,如
那么t8表还暂时不会生成,只是将hfile输出到tmp文件夹下,我们可以查看tmp:
然后执行hadoop jar hbase-VERSION.jar completebulkload /user/todd/myoutput mytable将这个输出目录中的hfile转移到对应的region中,这一步因为只是mv,所以相当快。如:
hadoop jar ~/hbase/hbase-0.90.2.jar completebulkload tmp t8
然后
此时己经生成了表t8
注意,如果数据特别大,而表中原来就有region,那么会执行切分工作,查找数据对应的region并装载
程序使用中注意:
1 因为是执行hadoop程序,不会自动查找hbase的config路径,也就找不到hbase的环境变量。因此需要将hbase-site.xml加入到hadoop-conf变量中
2 还需要将hbase/lib中的jar包放入classpath中
3 执行以上的步骤2时需要将zookeeper的配置写入core-site.xml中,因为在那一步时甚至不会读取hbase-site.xml,否则会连不上zookeeper
我运行提示如下错误
ERROR mapreduce.LoadIncrementalHFiles: Encountered unrecoverable error from region server
org.apache.hadoop.hbase.client.RetriesExhaustedException: Failed after attempts=10, exceptions:
Sat Apr 13 10:02:27 CST 2013, org.apache.hadoop.hbase.mapreduce.LoadIncrementalHFiles$3@34b23d12, java.net.SocketTimeoutException: Call to slave01/192.168.1.11:60020 failed on socket timeout exception: java.net.SocketTimeoutException: 60000 millis timeout while waiting for channel to be ready for read. ch : java.nio.channels.SocketChannel[connected local=/192.168.1.10:60938 remote=slave01/192.168.1.11:60020]
Sat Apr 13 10:12:12 CST 2013, org.apache.hadoop.hbase.mapreduce.LoadIncrementalHFiles$3@34b23d12, java.net.SocketTimeoutException: Call to slave01/192.168.1.11:60020 failed on socket timeout exception: java.net.SocketTimeoutException: 60000 millis timeout while waiting for channel to be ready for read. ch : java.nio.channels.SocketChannel[connected local=/192.168.1.10:60974 remote=slave01/192.168.1.11:60020]
at org.apache.hadoop.hbase.client.ServerCallable.withRetries(ServerCallable.java:183)
at org.apache.hadoop.hbase.mapreduce.LoadIncrementalHFiles.tryAtomicRegionLoad(LoadIncrementalHFiles.java:491)
at org.apache.hadoop.hbase.mapreduce.LoadIncrementalHFiles$1.call(LoadIncrementalHFiles.java:279)
at org.apache.hadoop.hbase.mapreduce.LoadIncrementalHFiles$1.call(LoadIncrementalHFiles.java:277)
at java.util.concurrent.FutureTask$Sync.innerRun(FutureTask.java:303)
at java.util.concurrent.FutureTask.run(FutureTask.java:138)
at java.util.concurrent.ThreadPoolExecutor$Worker.runTask(ThreadPoolExecutor.java:886)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:908)
at java.lang.Thread.run(Thread.java:662)
whlamost@master:/usr/local/hadoop/bin$ ERROR mapreduce.LoadIncrementalHFiles: Encountered unrecoverable error from region server
ERROR: command not found
试一下,flush 'hs'
1 确认你下载的jar包上有这个类
2 确认是每台机器的环境变量里都有这个jar包
1.我下载的是包含com.google.appengine.repackaged.com.google.common.base.Splitter类的jar,这样的话splitter类还可以找到么?还是必须得是com.google.common.base.Splitter呀?
2. 我是在一台机器上伪分布进行的~
1 确认你下载的jar包上有这个类
2 确认是每台机器的环境变量里都有这个jar包
直接将hbase.zookeeper.quorum信息写入core-site.xml即可。
从你这个错误log看不出更详细的原因
如下是错误log片段:
....
2011-06-24 12:08:52,810 INFO org.apache.hadoop.mapred.JobInProgress: Choosing data-local task task_201106241206_0001_m_000003
2011-06-24 12:08:55,516 INFO org.apache.hadoop.mapred.TaskInProgress: Error from attempt_201106241206_0001_m_000000_0: Error: org/apache/zookeeper/Watcher
2011-06-24 12:08:55,516 INFO org.apache.hadoop.mapred.TaskInProgress: Error from attempt_201106241206_0001_m_000001_0: Error: org/apache/zookeeper/Watcher
2011-06-24 12:08:55,519 INFO org.apache.hadoop.mapred.JobTracker: Adding task (cleanup)'attempt_201106241206_0001_m_000000_0' to tip task_201106241206_0001_m
_000000, for tracker 'tracker_TJSJHL212-220.opi.com:TJSJHL212-220/127.0.0.1:39629'
2011-06-24 12:08:58,526 INFO org.apache.hadoop.mapred.JobTracker: Adding task (cleanup)'attempt_201106241206_0001_m_000001_0' to tip task_201106241206_0001_m
_000001, for tracker 'tracker_TJSJHL212-220.opi.com:TJSJHL212-220/127.0.0.1:39629'
2011-06-24 12:08:58,526 INFO org.apache.hadoop.mapred.JobTracker: Removed completed task 'attempt_201106241206_0001_m_000000_0' from 'tracker_TJSJHL212-220.o
pi.com:TJSJHL212-220/127.0.0.1:39629'
.......
前面还有个错误信息:
FATAL org.apache.hadoop.mapred.TaskTracker: Task: attempt_201106241206_0002_m_000003_0 - Killed : org/apache/zookeeper/Watche
r
直接将hbase.zookeeper.quorum信息写入core-site.xml即可。
从你这个错误log看不出更详细的原因
如下是错误log片段:
....
2011-06-24 12:08:52,810 INFO org.apache.hadoop.mapred.JobInProgress: Choosing data-local task task_201106241206_0001_m_000003
2011-06-24 12:08:55,516 INFO org.apache.hadoop.mapred.TaskInProgress: Error from attempt_201106241206_0001_m_000000_0: Error: org/apache/zookeeper/Watcher
2011-06-24 12:08:55,516 INFO org.apache.hadoop.mapred.TaskInProgress: Error from attempt_201106241206_0001_m_000001_0: Error: org/apache/zookeeper/Watcher
2011-06-24 12:08:55,519 INFO org.apache.hadoop.mapred.JobTracker: Adding task (cleanup)'attempt_201106241206_0001_m_000000_0' to tip task_201106241206_0001_m
_000000, for tracker 'tracker_TJSJHL212-220.opi.com:TJSJHL212-220/127.0.0.1:39629'
2011-06-24 12:08:58,526 INFO org.apache.hadoop.mapred.JobTracker: Adding task (cleanup)'attempt_201106241206_0001_m_000001_0' to tip task_201106241206_0001_m
_000001, for tracker 'tracker_TJSJHL212-220.opi.com:TJSJHL212-220/127.0.0.1:39629'
2011-06-24 12:08:58,526 INFO org.apache.hadoop.mapred.JobTracker: Removed completed task 'attempt_201106241206_0001_m_000000_0' from 'tracker_TJSJHL212-220.o
pi.com:TJSJHL212-220/127.0.0.1:39629'
.......
前面还有个错误信息:
FATAL org.apache.hadoop.mapred.TaskTracker: Task: attempt_201106241206_0002_m_000003_0 - Killed : org/apache/zookeeper/Watche
r
你写的都是INFO,不是出错的关键
直接将hbase.zookeeper.quorum信息写入core-site.xml即可。
从你这个错误log看不出更详细的原因
如下是错误log片段:
....
2011-06-24 12:08:52,810 INFO org.apache.hadoop.mapred.JobInProgress: Choosing data-local task task_201106241206_0001_m_000003
2011-06-24 12:08:55,516 INFO org.apache.hadoop.mapred.TaskInProgress: Error from attempt_201106241206_0001_m_000000_0: Error: org/apache/zookeeper/Watcher
2011-06-24 12:08:55,516 INFO org.apache.hadoop.mapred.TaskInProgress: Error from attempt_201106241206_0001_m_000001_0: Error: org/apache/zookeeper/Watcher
2011-06-24 12:08:55,519 INFO org.apache.hadoop.mapred.JobTracker: Adding task (cleanup)'attempt_201106241206_0001_m_000000_0' to tip task_201106241206_0001_m
_000000, for tracker 'tracker_TJSJHL212-220.opi.com:TJSJHL212-220/127.0.0.1:39629'
2011-06-24 12:08:58,526 INFO org.apache.hadoop.mapred.JobTracker: Adding task (cleanup)'attempt_201106241206_0001_m_000001_0' to tip task_201106241206_0001_m
_000001, for tracker 'tracker_TJSJHL212-220.opi.com:TJSJHL212-220/127.0.0.1:39629'
2011-06-24 12:08:58,526 INFO org.apache.hadoop.mapred.JobTracker: Removed completed task 'attempt_201106241206_0001_m_000000_0' from 'tracker_TJSJHL212-220.o
pi.com:TJSJHL212-220/127.0.0.1:39629'
.......
前面还有个错误信息:
FATAL org.apache.hadoop.mapred.TaskTracker: Task: attempt_201106241206_0002_m_000003_0 - Killed : org/apache/zookeeper/Watche
r
直接将hbase.zookeeper.quorum信息写入core-site.xml即可。
从你这个错误log看不出更详细的原因
如下是错误log片段:
....
2011-06-24 12:08:52,810 INFO org.apache.hadoop.mapred.JobInProgress: Choosing data-local task task_201106241206_0001_m_000003
2011-06-24 12:08:55,516 INFO org.apache.hadoop.mapred.TaskInProgress: Error from attempt_201106241206_0001_m_000000_0: Error: org/apache/zookeeper/Watcher
2011-06-24 12:08:55,516 INFO org.apache.hadoop.mapred.TaskInProgress: Error from attempt_201106241206_0001_m_000001_0: Error: org/apache/zookeeper/Watcher
2011-06-24 12:08:55,519 INFO org.apache.hadoop.mapred.JobTracker: Adding task (cleanup)'attempt_201106241206_0001_m_000000_0' to tip task_201106241206_0001_m
_000000, for tracker 'tracker_TJSJHL212-220.opi.com:TJSJHL212-220/127.0.0.1:39629'
2011-06-24 12:08:58,526 INFO org.apache.hadoop.mapred.JobTracker: Adding task (cleanup)'attempt_201106241206_0001_m_000001_0' to tip task_201106241206_0001_m
_000001, for tracker 'tracker_TJSJHL212-220.opi.com:TJSJHL212-220/127.0.0.1:39629'
2011-06-24 12:08:58,526 INFO org.apache.hadoop.mapred.JobTracker: Removed completed task 'attempt_201106241206_0001_m_000000_0' from 'tracker_TJSJHL212-220.o
pi.com:TJSJHL212-220/127.0.0.1:39629'
.......
直接将hbase.zookeeper.quorum信息写入core-site.xml即可。
从你这个错误log看不出更详细的原因
hbase提供了现成的程序将hdfs上的文件导入hbase,即bulk-load方式。它包括两个步骤(也可以一次完成):
1 将文件包装成hfile,hadoop jar /path/to/hbase.jar importtsv -Dimporttsv.columns=a,b,c <tablename> <inputdir>
比如:
hadoop dfs -cat test/1 1 2 3 4 5 6 7 8
执行
hadoop jar ~/hbase/hbase-0.90.2.jar importtsv -Dimporttsv.columns=HBASE_ROW_KEY,f1 t8 test
将会启动mapreduce程序在hdfs上生成t8这张表,它的rowkey分别为1 3 5 7,对应的value为2 4 6 8
注意,源文件默认以"\t"为分割符,如果需要换成其它分割符,在执行时加上-Dimporttsv.separator=",",则变成了以","分割
2 在上一步中,如果设置了输出目录,如
hadoop jar ~/hbase/hbase-0.90.2.jar importtsv -Dimporttsv.bulk.output=tmp -Dimporttsv.columns=HBASE_ROW_KEY,f1 t8 test
那么t8表还暂时不会生成,只是将hfile输出到tmp文件夹下,我们可以查看tmp:
hadoop dfs -du tmp Found 3 items 0 hdfs://namenode:9000/user/test/tmp/_SUCCESS 65254 hdfs://namenode:9000/user/test/tmp/_logs 462 hdfs://namenode:9000/user/test/tmp/f1
然后执行hadoop jar hbase-VERSION.jar completebulkload /user/todd/myoutput mytable将这个输出目录中的hfile转移到对应的region中,这一步因为只是mv,所以相当快。如:
hadoop jar ~/hbase/hbase-0.90.2.jar completebulkload tmp t8
然后
hadoop dfs -du /hbase/t8/c408963c084d328490cc2f809ade9428 Found 4 items 124 hdfs://namenode:9000/hbase/t8/c408963c084d328490cc2f809ade9428/.oldlogs 692 hdfs://namenode:9000/hbase/t8/c408963c084d328490cc2f809ade9428/.regioninfo 0 hdfs://namenode:9000/hbase/t8/c408963c084d328490cc2f809ade9428/.tmp 462 hdfs://namenode:9000/hbase/t8/c408963c084d328490cc2f809ade9428/f1
此时己经生成了表t8
注意,如果数据特别大,而表中原来就有region,那么会执行切分工作,查找数据对应的region并装载
程序使用中注意:
1 因为是执行hadoop程序,不会自动查找hbase的config路径,也就找不到hbase的环境变量。因此需要将hbase-site.xml加入到hadoop-conf变量中
2 还需要将hbase/lib中的jar包放入classpath中
3 执行以上的步骤2时需要将zookeeper的配置写入core-site.xml中,因为在那一步时甚至不会读取hbase-site.xml,否则会连不上zookeeper
评论
15 楼
asd51731
2013-04-13
asd51731 写道
请问一下,我在生成hfile时没有遇到问题,但是当load hfile到hbase的时候就过不去,会不会是您说的注意中的第三点啊,我在添加上再测试还是一样,我的hadoop有四台机器,一个master三个slave,同时master充当hmaster,没有zookeeper,三个slave充当regionserver都有zookeeper,zookeeper是用hbase自带的
我运行提示如下错误
ERROR mapreduce.LoadIncrementalHFiles: Encountered unrecoverable error from region server
org.apache.hadoop.hbase.client.RetriesExhaustedException: Failed after attempts=10, exceptions:
Sat Apr 13 10:02:27 CST 2013, org.apache.hadoop.hbase.mapreduce.LoadIncrementalHFiles$3@34b23d12, java.net.SocketTimeoutException: Call to slave01/192.168.1.11:60020 failed on socket timeout exception: java.net.SocketTimeoutException: 60000 millis timeout while waiting for channel to be ready for read. ch : java.nio.channels.SocketChannel[connected local=/192.168.1.10:60938 remote=slave01/192.168.1.11:60020]
Sat Apr 13 10:12:12 CST 2013, org.apache.hadoop.hbase.mapreduce.LoadIncrementalHFiles$3@34b23d12, java.net.SocketTimeoutException: Call to slave01/192.168.1.11:60020 failed on socket timeout exception: java.net.SocketTimeoutException: 60000 millis timeout while waiting for channel to be ready for read. ch : java.nio.channels.SocketChannel[connected local=/192.168.1.10:60974 remote=slave01/192.168.1.11:60020]
at org.apache.hadoop.hbase.client.ServerCallable.withRetries(ServerCallable.java:183)
at org.apache.hadoop.hbase.mapreduce.LoadIncrementalHFiles.tryAtomicRegionLoad(LoadIncrementalHFiles.java:491)
at org.apache.hadoop.hbase.mapreduce.LoadIncrementalHFiles$1.call(LoadIncrementalHFiles.java:279)
at org.apache.hadoop.hbase.mapreduce.LoadIncrementalHFiles$1.call(LoadIncrementalHFiles.java:277)
at java.util.concurrent.FutureTask$Sync.innerRun(FutureTask.java:303)
at java.util.concurrent.FutureTask.run(FutureTask.java:138)
at java.util.concurrent.ThreadPoolExecutor$Worker.runTask(ThreadPoolExecutor.java:886)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:908)
at java.lang.Thread.run(Thread.java:662)
whlamost@master:/usr/local/hadoop/bin$ ERROR mapreduce.LoadIncrementalHFiles: Encountered unrecoverable error from region server
ERROR: command not found
14 楼
asd51731
2013-04-13
请问一下,我在生成hfile时没有遇到问题,但是当load hfile到hbase的时候就过不去,会不会是您说的注意中的第三点啊,我在添加上再测试还是一样,我的hadoop有四台机器,一个master三个slave,同时master充当hmaster,没有zookeeper,三个slave充当regionserver都有zookeeper,zookeeper是用hbase自带的
13 楼
kedaya
2013-01-06
请问 多个值做key的话,指令应该怎么执行
12 楼
xiaobai1023
2012-10-31
hello_yunyun 写道
你好,看你的博客上对hadoop有系统的了解,
我这个有问题 不知道楼主有没有遇到过,
我使用sqoop导oracle数据到hbase。
./sqoop import --connect jdbc:oracle:thin:@192.168.8.131:1521:dcsh
--username User_data2 --password yhdtest123qa --query "select * from so_ext t where \$CONDITIONS" -m 4 --hbase-create-table --hbase-table hso --column-family so --hbase-row-key id --split-by id
12/05/28 11:18:20 INFO mapreduce.ImportJobBase: Transferred 0 bytes in 161.2344 seconds (0 bytes/sec)
12/05/28 11:18:20 INFO mapreduce.ImportJobBase: Retrieved 5011540 records.
一切都顺利,登录到hbase中查看,表已经生成了
可是却没有数据
hbase(main):028:0> scan 'hs'
ROW COLUMN+CELL
0 row(s) in 0.0260 seconds
提点建议吧 谢谢
我这个有问题 不知道楼主有没有遇到过,
我使用sqoop导oracle数据到hbase。
./sqoop import --connect jdbc:oracle:thin:@192.168.8.131:1521:dcsh
--username User_data2 --password yhdtest123qa --query "select * from so_ext t where \$CONDITIONS" -m 4 --hbase-create-table --hbase-table hso --column-family so --hbase-row-key id --split-by id
12/05/28 11:18:20 INFO mapreduce.ImportJobBase: Transferred 0 bytes in 161.2344 seconds (0 bytes/sec)
12/05/28 11:18:20 INFO mapreduce.ImportJobBase: Retrieved 5011540 records.
一切都顺利,登录到hbase中查看,表已经生成了
可是却没有数据
hbase(main):028:0> scan 'hs'
ROW COLUMN+CELL
0 row(s) in 0.0260 seconds
提点建议吧 谢谢
试一下,flush 'hs'
11 楼
hello_yunyun
2012-05-28
你好,看你的博客上对hadoop有系统的了解,
我这个有问题 不知道楼主有没有遇到过,
我使用sqoop导oracle数据到hbase。
./sqoop import --connect jdbc:oracle:thin:@192.168.8.131:1521:dcsh
--username User_data2 --password yhdtest123qa --query "select * from so_ext t where \$CONDITIONS" -m 4 --hbase-create-table --hbase-table hso --column-family so --hbase-row-key id --split-by id
12/05/28 11:18:20 INFO mapreduce.ImportJobBase: Transferred 0 bytes in 161.2344 seconds (0 bytes/sec)
12/05/28 11:18:20 INFO mapreduce.ImportJobBase: Retrieved 5011540 records.
一切都顺利,登录到hbase中查看,表已经生成了
可是却没有数据
hbase(main):028:0> scan 'hs'
ROW COLUMN+CELL
0 row(s) in 0.0260 seconds
提点建议吧 谢谢
我这个有问题 不知道楼主有没有遇到过,
我使用sqoop导oracle数据到hbase。
./sqoop import --connect jdbc:oracle:thin:@192.168.8.131:1521:dcsh
--username User_data2 --password yhdtest123qa --query "select * from so_ext t where \$CONDITIONS" -m 4 --hbase-create-table --hbase-table hso --column-family so --hbase-row-key id --split-by id
12/05/28 11:18:20 INFO mapreduce.ImportJobBase: Transferred 0 bytes in 161.2344 seconds (0 bytes/sec)
12/05/28 11:18:20 INFO mapreduce.ImportJobBase: Retrieved 5011540 records.
一切都顺利,登录到hbase中查看,表已经生成了
可是却没有数据
hbase(main):028:0> scan 'hs'
ROW COLUMN+CELL
0 row(s) in 0.0260 seconds
提点建议吧 谢谢
10 楼
moudaen
2012-02-14
楼主,我按你的方法没有成功,能否加我Q下,急求帮助指导,谢谢!我的Q:304145723
9 楼
leeyok
2011-10-31
lc_koven 写道
leeyok 写道
您好呀,我最近才开始看hbase~按照本文的步骤一步步做下去,出现了以下的错误。
11/10/31 09:20:16 INFO mapred.JobClient: Task Id : attempt_201110310819_0002_m_000000_0, Status : FAILED
Error: java.lang.ClassNotFoundException: com.google.common.base.Splitter
有点不理解为什么会缺少google的类呢?
于是我下载了包含Splitter的包,放入$HADOOP_HOME/lib目录中,但是还是不识别。
11/10/31 09:20:16 INFO mapred.JobClient: Task Id : attempt_201110310819_0002_m_000000_0, Status : FAILED
Error: java.lang.ClassNotFoundException: com.google.common.base.Splitter
有点不理解为什么会缺少google的类呢?
于是我下载了包含Splitter的包,放入$HADOOP_HOME/lib目录中,但是还是不识别。
1 确认你下载的jar包上有这个类
2 确认是每台机器的环境变量里都有这个jar包
1.我下载的是包含com.google.appengine.repackaged.com.google.common.base.Splitter类的jar,这样的话splitter类还可以找到么?还是必须得是com.google.common.base.Splitter呀?
2. 我是在一台机器上伪分布进行的~
8 楼
lc_koven
2011-10-31
leeyok 写道
您好呀,我最近才开始看hbase~按照本文的步骤一步步做下去,出现了以下的错误。
11/10/31 09:20:16 INFO mapred.JobClient: Task Id : attempt_201110310819_0002_m_000000_0, Status : FAILED
Error: java.lang.ClassNotFoundException: com.google.common.base.Splitter
有点不理解为什么会缺少google的类呢?
于是我下载了包含Splitter的包,放入$HADOOP_HOME/lib目录中,但是还是不识别。
11/10/31 09:20:16 INFO mapred.JobClient: Task Id : attempt_201110310819_0002_m_000000_0, Status : FAILED
Error: java.lang.ClassNotFoundException: com.google.common.base.Splitter
有点不理解为什么会缺少google的类呢?
于是我下载了包含Splitter的包,放入$HADOOP_HOME/lib目录中,但是还是不识别。
1 确认你下载的jar包上有这个类
2 确认是每台机器的环境变量里都有这个jar包
7 楼
leeyok
2011-10-31
您好呀,我最近才开始看hbase~按照本文的步骤一步步做下去,出现了以下的错误。
11/10/31 09:20:16 INFO mapred.JobClient: Task Id : attempt_201110310819_0002_m_000000_0, Status : FAILED
Error: java.lang.ClassNotFoundException: com.google.common.base.Splitter
有点不理解为什么会缺少google的类呢?
于是我下载了包含Splitter的包,放入$HADOOP_HOME/lib目录中,但是还是不识别。
11/10/31 09:20:16 INFO mapred.JobClient: Task Id : attempt_201110310819_0002_m_000000_0, Status : FAILED
Error: java.lang.ClassNotFoundException: com.google.common.base.Splitter
有点不理解为什么会缺少google的类呢?
于是我下载了包含Splitter的包,放入$HADOOP_HOME/lib目录中,但是还是不识别。
6 楼
lc_koven
2011-06-26
260832291 写道
260832291 写道
lc_koven 写道
260832291 写道
3 执行以上的步骤2时需要将zookeeper的配置写入core-site.xml中, 如何配置?
我的程序现在报错:
Error: org/apache/zookeeper/Watcher
11/06/22 17:45:22 INFO mapred.JobClient: Task Id : attempt_201106171832_0008_m_000001_0, Status : FAILED
是不是第3步zk没配置好??
我的程序现在报错:
Error: org/apache/zookeeper/Watcher
11/06/22 17:45:22 INFO mapred.JobClient: Task Id : attempt_201106171832_0008_m_000001_0, Status : FAILED
是不是第3步zk没配置好??
直接将hbase.zookeeper.quorum信息写入core-site.xml即可。
从你这个错误log看不出更详细的原因
如下是错误log片段:
....
2011-06-24 12:08:52,810 INFO org.apache.hadoop.mapred.JobInProgress: Choosing data-local task task_201106241206_0001_m_000003
2011-06-24 12:08:55,516 INFO org.apache.hadoop.mapred.TaskInProgress: Error from attempt_201106241206_0001_m_000000_0: Error: org/apache/zookeeper/Watcher
2011-06-24 12:08:55,516 INFO org.apache.hadoop.mapred.TaskInProgress: Error from attempt_201106241206_0001_m_000001_0: Error: org/apache/zookeeper/Watcher
2011-06-24 12:08:55,519 INFO org.apache.hadoop.mapred.JobTracker: Adding task (cleanup)'attempt_201106241206_0001_m_000000_0' to tip task_201106241206_0001_m
_000000, for tracker 'tracker_TJSJHL212-220.opi.com:TJSJHL212-220/127.0.0.1:39629'
2011-06-24 12:08:58,526 INFO org.apache.hadoop.mapred.JobTracker: Adding task (cleanup)'attempt_201106241206_0001_m_000001_0' to tip task_201106241206_0001_m
_000001, for tracker 'tracker_TJSJHL212-220.opi.com:TJSJHL212-220/127.0.0.1:39629'
2011-06-24 12:08:58,526 INFO org.apache.hadoop.mapred.JobTracker: Removed completed task 'attempt_201106241206_0001_m_000000_0' from 'tracker_TJSJHL212-220.o
pi.com:TJSJHL212-220/127.0.0.1:39629'
.......
前面还有个错误信息:
FATAL org.apache.hadoop.mapred.TaskTracker: Task: attempt_201106241206_0002_m_000003_0 - Killed : org/apache/zookeeper/Watche
r
260832291 写道
260832291 写道
lc_koven 写道
260832291 写道
3 执行以上的步骤2时需要将zookeeper的配置写入core-site.xml中, 如何配置?
我的程序现在报错:
Error: org/apache/zookeeper/Watcher
11/06/22 17:45:22 INFO mapred.JobClient: Task Id : attempt_201106171832_0008_m_000001_0, Status : FAILED
是不是第3步zk没配置好??
我的程序现在报错:
Error: org/apache/zookeeper/Watcher
11/06/22 17:45:22 INFO mapred.JobClient: Task Id : attempt_201106171832_0008_m_000001_0, Status : FAILED
是不是第3步zk没配置好??
直接将hbase.zookeeper.quorum信息写入core-site.xml即可。
从你这个错误log看不出更详细的原因
如下是错误log片段:
....
2011-06-24 12:08:52,810 INFO org.apache.hadoop.mapred.JobInProgress: Choosing data-local task task_201106241206_0001_m_000003
2011-06-24 12:08:55,516 INFO org.apache.hadoop.mapred.TaskInProgress: Error from attempt_201106241206_0001_m_000000_0: Error: org/apache/zookeeper/Watcher
2011-06-24 12:08:55,516 INFO org.apache.hadoop.mapred.TaskInProgress: Error from attempt_201106241206_0001_m_000001_0: Error: org/apache/zookeeper/Watcher
2011-06-24 12:08:55,519 INFO org.apache.hadoop.mapred.JobTracker: Adding task (cleanup)'attempt_201106241206_0001_m_000000_0' to tip task_201106241206_0001_m
_000000, for tracker 'tracker_TJSJHL212-220.opi.com:TJSJHL212-220/127.0.0.1:39629'
2011-06-24 12:08:58,526 INFO org.apache.hadoop.mapred.JobTracker: Adding task (cleanup)'attempt_201106241206_0001_m_000001_0' to tip task_201106241206_0001_m
_000001, for tracker 'tracker_TJSJHL212-220.opi.com:TJSJHL212-220/127.0.0.1:39629'
2011-06-24 12:08:58,526 INFO org.apache.hadoop.mapred.JobTracker: Removed completed task 'attempt_201106241206_0001_m_000000_0' from 'tracker_TJSJHL212-220.o
pi.com:TJSJHL212-220/127.0.0.1:39629'
.......
前面还有个错误信息:
FATAL org.apache.hadoop.mapred.TaskTracker: Task: attempt_201106241206_0002_m_000003_0 - Killed : org/apache/zookeeper/Watche
r
你写的都是INFO,不是出错的关键
5 楼
260832291
2011-06-24
260832291 写道
lc_koven 写道
260832291 写道
3 执行以上的步骤2时需要将zookeeper的配置写入core-site.xml中, 如何配置?
我的程序现在报错:
Error: org/apache/zookeeper/Watcher
11/06/22 17:45:22 INFO mapred.JobClient: Task Id : attempt_201106171832_0008_m_000001_0, Status : FAILED
是不是第3步zk没配置好??
我的程序现在报错:
Error: org/apache/zookeeper/Watcher
11/06/22 17:45:22 INFO mapred.JobClient: Task Id : attempt_201106171832_0008_m_000001_0, Status : FAILED
是不是第3步zk没配置好??
直接将hbase.zookeeper.quorum信息写入core-site.xml即可。
从你这个错误log看不出更详细的原因
如下是错误log片段:
....
2011-06-24 12:08:52,810 INFO org.apache.hadoop.mapred.JobInProgress: Choosing data-local task task_201106241206_0001_m_000003
2011-06-24 12:08:55,516 INFO org.apache.hadoop.mapred.TaskInProgress: Error from attempt_201106241206_0001_m_000000_0: Error: org/apache/zookeeper/Watcher
2011-06-24 12:08:55,516 INFO org.apache.hadoop.mapred.TaskInProgress: Error from attempt_201106241206_0001_m_000001_0: Error: org/apache/zookeeper/Watcher
2011-06-24 12:08:55,519 INFO org.apache.hadoop.mapred.JobTracker: Adding task (cleanup)'attempt_201106241206_0001_m_000000_0' to tip task_201106241206_0001_m
_000000, for tracker 'tracker_TJSJHL212-220.opi.com:TJSJHL212-220/127.0.0.1:39629'
2011-06-24 12:08:58,526 INFO org.apache.hadoop.mapred.JobTracker: Adding task (cleanup)'attempt_201106241206_0001_m_000001_0' to tip task_201106241206_0001_m
_000001, for tracker 'tracker_TJSJHL212-220.opi.com:TJSJHL212-220/127.0.0.1:39629'
2011-06-24 12:08:58,526 INFO org.apache.hadoop.mapred.JobTracker: Removed completed task 'attempt_201106241206_0001_m_000000_0' from 'tracker_TJSJHL212-220.o
pi.com:TJSJHL212-220/127.0.0.1:39629'
.......
前面还有个错误信息:
FATAL org.apache.hadoop.mapred.TaskTracker: Task: attempt_201106241206_0002_m_000003_0 - Killed : org/apache/zookeeper/Watche
r
4 楼
260832291
2011-06-24
lc_koven 写道
260832291 写道
3 执行以上的步骤2时需要将zookeeper的配置写入core-site.xml中, 如何配置?
我的程序现在报错:
Error: org/apache/zookeeper/Watcher
11/06/22 17:45:22 INFO mapred.JobClient: Task Id : attempt_201106171832_0008_m_000001_0, Status : FAILED
是不是第3步zk没配置好??
我的程序现在报错:
Error: org/apache/zookeeper/Watcher
11/06/22 17:45:22 INFO mapred.JobClient: Task Id : attempt_201106171832_0008_m_000001_0, Status : FAILED
是不是第3步zk没配置好??
直接将hbase.zookeeper.quorum信息写入core-site.xml即可。
从你这个错误log看不出更详细的原因
如下是错误log片段:
....
2011-06-24 12:08:52,810 INFO org.apache.hadoop.mapred.JobInProgress: Choosing data-local task task_201106241206_0001_m_000003
2011-06-24 12:08:55,516 INFO org.apache.hadoop.mapred.TaskInProgress: Error from attempt_201106241206_0001_m_000000_0: Error: org/apache/zookeeper/Watcher
2011-06-24 12:08:55,516 INFO org.apache.hadoop.mapred.TaskInProgress: Error from attempt_201106241206_0001_m_000001_0: Error: org/apache/zookeeper/Watcher
2011-06-24 12:08:55,519 INFO org.apache.hadoop.mapred.JobTracker: Adding task (cleanup)'attempt_201106241206_0001_m_000000_0' to tip task_201106241206_0001_m
_000000, for tracker 'tracker_TJSJHL212-220.opi.com:TJSJHL212-220/127.0.0.1:39629'
2011-06-24 12:08:58,526 INFO org.apache.hadoop.mapred.JobTracker: Adding task (cleanup)'attempt_201106241206_0001_m_000001_0' to tip task_201106241206_0001_m
_000001, for tracker 'tracker_TJSJHL212-220.opi.com:TJSJHL212-220/127.0.0.1:39629'
2011-06-24 12:08:58,526 INFO org.apache.hadoop.mapred.JobTracker: Removed completed task 'attempt_201106241206_0001_m_000000_0' from 'tracker_TJSJHL212-220.o
pi.com:TJSJHL212-220/127.0.0.1:39629'
.......
3 楼
lc_koven
2011-06-23
260832291 写道
3 执行以上的步骤2时需要将zookeeper的配置写入core-site.xml中, 如何配置?
我的程序现在报错:
Error: org/apache/zookeeper/Watcher
11/06/22 17:45:22 INFO mapred.JobClient: Task Id : attempt_201106171832_0008_m_000001_0, Status : FAILED
是不是第3步zk没配置好??
我的程序现在报错:
Error: org/apache/zookeeper/Watcher
11/06/22 17:45:22 INFO mapred.JobClient: Task Id : attempt_201106171832_0008_m_000001_0, Status : FAILED
是不是第3步zk没配置好??
直接将hbase.zookeeper.quorum信息写入core-site.xml即可。
从你这个错误log看不出更详细的原因
2 楼
260832291
2011-06-22
3 执行以上的步骤2时需要将zookeeper的配置写入core-site.xml中, 如何配置?
我的程序现在报错:
Error: org/apache/zookeeper/Watcher
11/06/22 17:45:22 INFO mapred.JobClient: Task Id : attempt_201106171832_0008_m_000001_0, Status : FAILED
是不是第3步zk没配置好??
我的程序现在报错:
Error: org/apache/zookeeper/Watcher
11/06/22 17:45:22 INFO mapred.JobClient: Task Id : attempt_201106171832_0008_m_000001_0, Status : FAILED
是不是第3步zk没配置好??
1 楼
hehe3000
2011-04-22
写成hfile都是两步了,一步的方式是直接插入hbase了
发表评论
-
lease引发的血案
2011-12-19 23:01 6106今天线上出现了一个故障惊出一身冷汗,经过查明原来是lease引 ... -
hbase写被block住的典型案例分析
2011-11-10 22:32 5873今天一个线上集群出现莫名奇妙不能写入数据的bug,lo ... -
在不同版本hdfs集群之间转移数据
2011-10-26 18:56 7135本文仅供记录一下程序心得: 很多人会有这样一个需求:将 ... -
hbase中的deleteColumn
2011-10-26 16:59 5101Delete类的接口有两个方法:deleteColum ... -
splitlog期间丢失数据的问题
2011-10-18 22:26 3647splitlog是保证在重启或rs挂掉后,恢复hlog ... -
hbase中多次加载root及meta的bug
2011-10-18 22:24 3111执行以下case可以见到root或meta被加载两次: ... -
两次hbase丢失数据的故障及原因分析
2011-10-18 18:12 16566hbase的稳定性是近期社区的重要关注点,毕竟稳定的系 ... -
hbase中regionserver常见的oom原因分析
2011-09-15 10:40 8962首先要清楚reginserver中内存是如何使用的。 ... -
hbase的export与import工具
2011-09-01 08:01 11229hbase提供了导出表的方案,将指定的表导出到HDFS ... -
disable table失败的处理
2011-08-30 20:02 4278相信每一个维护hbase集群的运维人员一定碰到过dis ... -
使用zookeeper管理多个hbase集群
2011-08-16 15:30 18060zookeeper是hbase集群的"协调器 ... -
一次奇异的getRegionInfo异常定位
2011-08-10 19:55 2470今天在线上环境的 ... -
多region下的hbase写入问题
2011-08-10 13:13 9189最近在集群上发现hbase写入性能受到较大下降,测试环 ... -
hbase上应用lucene创建索引及检索
2011-07-21 17:14 11520hbasene(https://github.com/ ... -
hbase-0.90.4的主要更新
2011-07-15 22:15 2765apache邮件列表中提 ... -
hbase中缓存的优先级
2011-06-15 16:30 4071今天同事问到hbase中in-memory属性的作用, ... -
hbase交流记录
2011-06-02 10:34 3485前几天和公司的同事杨传辉(http://www.nosqlno ... -
secondary index for hbase
2011-05-07 23:05 5735最近因为业务需求 ... -
hdfs上的append测试
2011-05-04 23:42 6473hbase在写入数据之前会先写hlog,hlog目前是se ... -
hbase写入性能影响续
2011-04-18 15:28 10545今天发现hbase在写入一张新表时,写入过程中时常会出 ...
相关推荐
3、Druid的load data 示例(实时kafka数据和离线-本地或hdfs数据) 网页地址:https://blog.csdn.net/chenwewi520feng/article/details/130801752 本文介绍了Druid摄取离线与实时数据的过程,离线数据包括本地文件和...
Hadoop 3.x(HDFS)----【HDFS 的 API 操作】---- 代码 Hadoop 3.x(HDFS)----【HDFS 的 API 操作】---- 代码 Hadoop 3.x(HDFS)----【HDFS 的 API 操作】---- 代码 Hadoop 3.x(HDFS)----【HDFS 的 API 操作】--...
Hadoop-0.20.0-HDFS+MapReduce+Hive+HBase十分钟快速入门
09.hbase的核心特性--基于hdfs-分布式数据管理--表结构.mp4
ranger-2.0.0-SNAPSHOT-hdfs-plugin.tar.gz 配合ranger-admin使用
它提供了具体资源(如HBase中的具体表)权限管控、访问监控、数据加密的功能。ranger-1.2.0官方没有编译后的二进制tar包,而且编译的时间有点长,依赖的第三方库多,特意提供linux版本ranger-1.2.0的hdfs插件。
HBase 元数据修复工具包。 ①修改 jar 包中的application....②将core-site.xml、hdfs-site.xml添加到BOOT-INF/classes 下; ③开始修复 `java -jar -Drepair.tableName=表名 hbase-meta-repair-hbase-2.0.2.jar`
Hadoop数据迁移--从Hadoop向HBase
3、通过datax同步oracle相关-oracle到hdfs 网址:https://blog.csdn.net/chenwewi520feng/article/details/130508968 介绍oracle的相关同步,oracle同步到hdfs中示例以及验证
4、datax同步sybase相关-sybase到hdfs 网址:https://blog.csdn.net/chenwewi520feng/article/details/130508988 介绍sybase的相关同步,sybase到hdfs同步的示例及验证
毕业设计-基于java+HBase实现的手机数据备份系统(短信、联系人、重要文件).zip 基于HBase实现的手机数据备份系统,实现了手机关键信息的备份,如短信、联系人等。 包括服务器端(Server)和客户端(Client) Server...
13.hbase的工作机制补充--regionserver数据管理--内存缓存热数据--持久化到hdfs的观
云帆大数据-hadoop1.2.1---PPT-----03 HDFS体系结构、Shell操作和Java API使用
Hadoop-2.8.0-HA-Hive安装部署与HQL12.hive的基本语法--数据导入--从本地--从hdfs.mp4
java操作Hbase之从Hbase中读取数据写入hdfs中源码,附带全部所需jar包,欢迎下载学习。
福建师范大学精品大数据导论课程系列 (4.2.1)--3.2 《大数据采集》课件PPT.pdf 福建师范大学精品大数据导论课程系列 (4.3.1)--3.3 《大数据预处理》课件PPT.pdf 福建师范大学精品大数据导论课程系列 (4.4.1)--3.4 ...
赠送jar包:hadoop-hdfs-client-2.9.1.jar; 赠送原API文档:hadoop-hdfs-client-2.9.1-javadoc.jar; 赠送源代码:hadoop-hdfs-client-2.9.1-sources.jar; 赠送Maven依赖信息文件:hadoop-hdfs-client-2.9.1.pom;...
福建师范大学精品大数据导论课程系列 (4.2.1)--3.2 《大数据采集》课件PPT.pdf 福建师范大学精品大数据导论课程系列 (4.3.1)--3.3 《大数据预处理》课件PPT.pdf 福建师范大学精品大数据导论课程系列 (4.4.1)--3.4 ...
福建师范大学精品大数据导论课程系列 (4.2.1)--3.2 《大数据采集》课件PPT.pdf 福建师范大学精品大数据导论课程系列 (4.3.1)--3.3 《大数据预处理》课件PPT.pdf 福建师范大学精品大数据导论课程系列 (4.4.1)--3.4 ...