斐 - 斐儿 - 网易博客

2012-5-10 17:11:45 阅读8 评论1 102012/05 May10

原文： http://adit.io/posts/2012-04-18-I_guess_Im_not_a_501_Developer.html

When I started reading the

作者 | 2012-5-10 17:11:45 | 阅读(8) |评论(1) | 阅读全文>>

Child Error

2012-5-7 19:48:33 阅读11 评论0 72012/05 May7

-------------------------------------------------错误信息-----------------------------------------------------------------java.lang.Throwable: Child Error at org.apache.hadoop.mapred.TaskRunner.run(TaskRunner.java:242) Caused by: java.io.IOException: Task process exit with nonzero status of 1. at org.apache.hadoop.mapred.TaskRunner.run(TaskRunner.java:229)

作者 | 2012-5-7 19:48:33 | 阅读(11) |评论(0) | 阅读全文>>

hadoop不能reduce，卡在map 100% reduce 0%

2012-5-7 19:40:45 阅读13 评论0 72012/05 May7

Map 100%, Reduce 一直为 0%

由于在/etc/hosts文件里给机器加了一个alias，结果原来的访问方式（reduce需要从各个节点拿回map的数据）无法通过slaves中的机器名字中拿到对应的数据。显示的效果是：ssh XXX（机器全名）会提示机器找不到。

The authenticity of host 'datanode52 (172.16.27.52)' can't be established.

更正方法：修改机器的hosts文件，将alias去掉即可。

作者 | 2012-5-7 19:40:45 | 阅读(13) |评论(0) | 阅读全文>>

could only be replicated to 0 nodes, instead of 1

2012-5-3 15:11:31 阅读36 评论0 32012/05 May3

Hadoop启动报错：

2012-05-04 15:11:13,025 ERROR org.apache.hadoop.security.UserGroupInformation: PriviledgedActionException as:hadoop (auth:SIMPLE) cause:java.io.IOException: File /opt/hadoop-0.20.2-cdh3u3/hadoop-hadoop/mapred/system/jobtracker.info could only be replicated to 0 nodes, instead of 1

作者 | 2012-5-3 15:11:31 | 阅读(36) |评论(0) | 阅读全文>>

淘宝【查看物流】bug

2012-4-27 11:13:14 阅读21 评论0 272012/04 Apr27

刚在淘宝发现的bug，工作人员实在疏忽，就这样上线了。

第一步：在“已买到的宝贝”中点击【查看物流】

作者 | 2012-4-27 11:13:14 | 阅读(21) |评论(0) | 阅读全文>>

hadoop的grep类示例

2012-4-26 21:08:32 阅读7 评论0 262012/04 Apr26

http://hadoop.apache.org/common/docs/r0.20.0/cn/quickstart.html

执行

格式化一个新的分布式文件系统：
$ bin/hadoop namenode -format

启动Hadoop守护进程：
$ bin/start-all.sh

Hadoop守护进程的日志写入到 ${HADOOP_LOG_DIR} 目录 (默认是 ${HADOOP_HOME}/logs).

浏览NameNode和JobTracker的网络接口，它们的地址默认为：

作者 | 2012-4-26 21:08:32 | 阅读(7) |评论(0) | 阅读全文>>

Hadoop开启关闭调试信息

2012-4-26 17:22:39 阅读8 评论0 262012/04 Apr26

修改$HADOOP_CONF_DIR/log4j.properties文件 hadoop.root.logger=ALL,console

作者 | 2012-4-26 17:22:39 | 阅读(8) |评论(0) | 阅读全文>>

4.26-4.27 hadoop环境折腾日记

2012-4-26 17:22:03 阅读18 评论0 262012/04 Apr26

不多说了，真佩服我的同事整天能把环境弄出各种问题

datanode没有启动起来

2012-04-27 10:17:18,058 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Incompatible namespaceIDs in /opt/hadoop-0.20.2-cdh3u3/hadoop-hadoop/dfs/data: namenode namespaceID = 1054628024; datanode namespaceID = 552522479

作者 | 2012-4-26 17:22:03 | 阅读(18) |评论(0) | 阅读全文>>

sendfile为什么比readwrite快（转）

2012-4-25 17:24:21 阅读5 评论0 252012/04 Apr25

原文： http://www.yanyufly.com/2010/10/22/sendfile%E4%B8%BA%E4%BB%80%E4%B9%88%E6%AF%94readwrite%E5%BF%AB/

在看关于文件IO优化资料时，其中提到了sendfile，man了一下，原理是: 由于cp都执行在内核态中，避免用户多次调用的切换以及内存cp, 因此性能要高于read()+write(). 适用于从一个文件读出写到另一个文件(网络Fd也可)
#include <sys/sendfile.h>
ssize_t sendfile(int out_fd, int in_fd, off_t *offset, size_t count);

作者 | 2012-4-25 17:24:21 | 阅读(5) |评论(0) | 阅读全文>>

2012年04月24日

2012-4-24 16:54:18 阅读10 评论0 242012/04 Apr24

同事又说hive执行报错，搞不懂为什么不是先学习学习在折腾啊整天把配置文件改来改去的。工作不是先以上手为主吗什么时候变成学习了？

报错信息如下：

hive> select * from dummy;

FAILED: Hive Internal Error: java.lang.RuntimeException(Error while making MR scratch directory - check filesystem config (null))

java.lang.RuntimeException: Error while making MR scratch directory - check filesystem config (null)

作者 | 2012-4-24 16:54:18 | 阅读(10) |评论(0) | 阅读全文>>

查看所有日志>>

下载音乐盒曲目表歌词秀

页脚

公司简介 - 联系方法 - 招聘信息 - 客户服务 - 隐私政策 - 博客风格 - 手机博客 - VIP博客 - 订阅此博客

斐

导航

日志

I Guess Im Not A 501 Developer（转）