lc_koven
- 浏览: 350014 次
- 性别:
- 来自: 杭州
-
最新评论
-
penkee：
为何我启动 zookKeeper bookie 10 不能创 ...
bookkeeper安装及测试体验 -
Golden-jin：
1楼也好时髦呀
bookkeeper简单分析 -
xGss2000：
要是减少到300个 region，block就0.04s了。话 ...
多region下的hbase写入问题 -
brandom520：
请问lz,我从hbase0.94版本上的数据导入到0.96.1 ...
在不同版本hdfs集群之间转移数据 -
huanghaifeng1990：
您好，我想请问一下，我执行了会发生OOM溢出的Deflater ...
perftools查看堆外内存并解决hbase内存溢出
文章列表
mysql热备
1 查看mysql版本，保证主库低于等于从库
2 主库配置：
A 需要打开支持日志功能：log-bin=mysql-bin
B 提供server-id:server-id=1
C 重启mysql，进入后，分配复制从库的帐号
GRANT REPLICATION SLAVE ON *.* TO 'repuser'@'backip' IDENTIFIED BY 'repuser';
D show master status;能看到二进制日志文件目前的Position
E mysqldump --all-databases --single-transaction - ...
血的代价换来的对apache性能的理解：
简单来说，这次遇到两个问题：
1 mpm工作模式：目前最流行的模式是perfork(非线程)模式和worker(线程)模式
因为线程自身的问题，自然perfork比worker模式要安全，并且在简单的情况下具有更快的速度(减少了线程的开销)，但是对于繁忙的应用，worker模式由于具有更低的内存消耗，所以能支撑更多的请求。
编译：
--with-mpm=work
httpd.conf:
<IfModule worker.c>
StartServers 32
MaxClients 6400
ServerL ...
如果大批量的操作能够通过一系列的select语句产生，那么理论上就能对这些结果批量处理。
但是mysql并没用提供eval这样的对结果集进行分析操作的功能。所以只能现将select结果保存到临时文件中，然后再执行临时文件中的指令。
具体过程如下：
mysql> SELECT concat('KILL ',id,';') FROM information_schema.processlist WHERE user='root';
+------------------------+
| concat('KILL ',id,';')
+------------------------+
| ...
- 2009-09-09 13:31
- 浏览 6418
- 评论(0)
需求：linux下多台机器布置分布式调度程序，因为调度程序、脚本以及其它配置文件需要同步反复修改，仅靠scp己经不能满足需求了。因此进行如下调整
1 每台机器上配置一个环境变量文件，如config.sh，然后所有脚本source config.sh
2 所有相同文件用rsync来进行同步，具体配置如下：
vi /etc/xinetd.d/rsync，将disable那行改为no
vi /etc/rsyncd.conf，加入：
secrets file = /etc/rsyncd.secrets
motd file = /etc/rsyncd.motd
read only = yes
list ...
- 2009-08-12 08:24
- 浏览 1460
- 评论(0)
工作中遇到需要将hdfs上的文件导入数据库的问题
之前的解决办法是：将文件getmerge到本地目录，然后再用sqlr工具导入oracle
如果oracle和hadoop分属不同的机器，这样就需要一次本地文件写，一次远程拷贝，一次文件读的时间
管道也是一种文件
但是管道很好地用了内存，因此可以节约一次文件读写的时间
方法：
1 mknod xxx p:建立xxx管道文件
2 hadoop dfs -cat /user/a1 > xxx
hadoop dfs -cat /user/a2 > xxx
hadoop dfs -cat /user/a3 > xxx
3 s ...
- 2009-07-16 16:43
- 浏览 1159
- 评论(0)
以前用脚本scp文件时，都是以.ssh打通为基础的。今天需要在知道用户名密码但没打通机器的情况下传送文件，用到了expect，脚本如下：
#! /usr/bin/expect -f
spawn scp 1 koven@192.168.0.2:
expect "*password:"
send "koven\r"
expect eof
当然不只是scp，其它命令也可以用expect自动化
循环处理：
spawn scp 1 koven@192.168.0.2:
for { set i 1 } {$i<500} {incr i} {
expect { ...
问题1：
如何插入10w行数据？相比较用脚本的
for i in {1..100000};do
mysql ... -e "insert ..."
done
快速的方法是在mysql中insert ;insert ... select * from;
...
again
问题2:
重置auto_increment
alter table t drop column id;
alter table t add column id int auto_increment primary key first;
- 2009-06-15 15:43
- 浏览 1313
- 评论(0)
http://www.sysomos.com/insidetwitter/
数据相当有说服力
- 2009-06-13 13:54
- 浏览 1363
- 评论(0)
PATH中找不到sbin的原因
- 博客分类：
- 工作积累
昨天遇到一个问题，很奇怪为什么我在root下仍无法在PATH中搜索到sbin下的命令，如/sbin,/usr/sbin，/usr/local/sbin
翻看/etc/profile：
if [ "$EUID" = "0" ]; then
pathmunge /sbin
pathmunge /usr/sbin
pathmunge /usr/local/sbin
fi
然后echo $EUID,发现确实是0，但是默认情况下仍找不到fdisk等命令
后来才想起，su root 和su - root的区别就是要 ...
- 2009-06-05 10:18
- 浏览 1687
- 评论(0)
今天是儿童节，我像小盆友一样发现了php和html混合的时候如何进行参数传递：
<?php $idate=date('Ymd');include("./check_job_detail.php");?>
这样，php里就认识了$idate
另：php里字符串作时间加法，一个好办法是通过时间来中转，如
$idate=20090601;
$idate_end=date("Ymd",strtotime($idate)+24*3600);
那么idate_end就等于了20090602
下午写了个java执行程序的脚本，因为要引用外部包，比如执行ja ...
- 2009-06-02 01:15
- 浏览 1177
- 评论(0)
学习php，试着拿php搭个监控界面
画图？rrc？据说jpgraph这玩意儿更好用
官网手册：http://doc.async.com.br/jpgraph/html/index.html
注：安装它需要支持gd2的php，在phpinfo()中查找php.ini
打开extension=php_gd2.dll的选项
在httpd.conf中加入DocumentRoot "/var/www/html"
然后在该目录下建立monitor文件夹
安装完jpgraph，为方便起见，将src文件夹拷到monitor下
Example下有各种示例，慢慢研究下，源代码在src下
...
- 2009-05-31 23:29
- 浏览 1933
- 评论(0)