llystar的博客
llystar · 共 57 篇文章
Linux 下正确关机方法
1 关机前准备 1.1 观察系统使用状态 1.2 通知在线使用者关机时间 2 关机命令 2.1 sync 2.2 shutdown 2.3 reboot 2.4 halt 2.5 poweroff 3 执行等级 3.1 等级划分 3.2 等级切换 1 关机前准备 1.1 观察系统使用状态 谁在线:who 联网状态:netstat -a 后台执行的程序:ps -aux 1.2 通知在线使用者关机时间 shutdown +2 "The machine will shutdown" # 2min 后关机,并通知在线者 2 关机命令 2.1 sync 将内存中未写入硬盘的数据写入硬盘 2.2 shu…
2013-09-13 13:05 · linux · 评论(0)
linux 文件打开数设置 (转)
修改下Linux的配置: 修改 /etc/sysctl.conf,增加fs.file-max = 8061540 修改 /etc/security/limit.conf,增加 * soft 8192 和 * hard 16384 ulimit -n 4096 也就是限制用户的最大文件打开数为4096个 当前设置最大打开文件数可以通过如下命令查看。 ulimit -n 这个数字说明了一个普通用户能够在一个单独会话中所能打开最大的文件数目。注意。如果是root,以下操作不能使ulimit -n的输出增加。因为用户root用户不受这个ulimit限制。只有普通用户才会受这个限制。 为了提高最大打开…
2013-09-06 14:32 · 评论(0)
程序开过多线程,导致hadoop作业无法运行成功
Exception in thread "Thread-20" java .io.IOException: Call to /.....:8020 failed on local exception: java .io.IOException: Couldn't set up IO streams at org. apache .hadoop.ipc.Client.wrapException(Client.java:1107) at org.apache.hadoop.ipc.Client.call(Client.java:1075) at org.apache.hadoop.ipc.RPC…
2013-09-06 08:30 · 评论(0)
Misunderstanding the Law of Demeter
http://www.dan-manges.com/blog/37 The Law of Demeter is not easy to understand when reading it for the first time. Quoting the definition from Wikipedia : More formally, the Law of Demeter for functions requires that a method M of an object O may only invoke the methods of the following kinds of ob…
2013-09-05 17:11 · 评论(0)
Law of Demeter
Researchers have formulated a rule called the “Law of Demeter” (Lieberherr and Holland 1989) which essentially states that Object A can call any of its own routines. If Object A instantiates an Object B, it can call any of Object B’s routines. But it should avoid calling routines on objects provide…
2013-09-05 17:04 · 评论(0)
Linux中find常见用法示例(转)
·find path -option [ -print ] [ -exec -ok command ] {} \; find命令的参数; pathname: find命令所查找的目录路径。例如用.来表示当前目录,用/来表示系统根目录。 -print: find命令将匹配的文件输出到标准输出。 -exec: find命令对匹配的文件执行该参数所给出的shell命令。相应命令的形式为'command' { } \;,注意{ }和\;之间的空格。 -ok: 和-exec的作用相同,只不过以一种更为安全的模式来执行该参数所给出的shell命令,在执行每一个命令之前,都会给出提示,让用户来确定是否执行…
2013-09-03 14:18 · linux · 评论(0)
Linux 任务控制(bg job fg nohup &)
Linux 任务控制(bg job fg nohup &) 一、 简介 Linux/Unix 区别于微软平台最大的优点就是真正的多用户,多任务。因此在任务管理上也有别具特色的管理思想。 我 们知道,在 Windows 上面,我们要么让一个程序作为服务在后台一直运行,要么停止这个服务。而不能让程序在前台后台之间切换。而 Linux 提供了 fg 和bg 命令,让你轻松调度正在运行的任务。假设你发现前台运行的一个程序需要很长的时间,但是需要干其他的事情,你就可以用 Ctrl-Z ,挂起这个程序,然后可以看到系统提示: [1]+ Stopped /root/bin/rsync.sh 然后我们可以把…
2013-08-30 14:27 · 评论(0)
Hadoop客户端的命令别名配置
由于hadoop的一些管理命令相对较长,所以为了使用的方便下面把一些命令创建别名的方式来使用! 1. 安装客户端(通过端用户可以方便的和集群交互) 2. 修改客户端~/.bashrc alias hadoop='/home/work/hadoop/client/hadoop-client/hadoop/bin/hadoop' #hadoop 可执行文件位置 alias hls='hadoop fs -ls' alias hlsr='hadoop fs -lsr' alias hcp='hadoop fs -cp ' alias hmv='hadoop fs -mv' alias hget='…
2013-08-22 14:32 · 评论(0)
Linux下Fork与Exec使用(转)
一、引言 对于没有接触过Unix/Linux操作系统的人来说,fork是最难理解的概念之一:它执 行一次却返回两个值。fork函数是Unix系统最杰出的成就之一,它是七十年代UNIX早期的开发者经过长期在理论和实践上的艰苦探索后取得的成果,一 方面,它使操作系统在进程管理上付出了最小的代价,另一方面,又为程序员提供了一个简洁明了的多进程方法。与DOS和早期的Windows不 同,Unix/Linux系统是真正实现多任务操作的系统,可以说,不使用多进程编程,就不能算是真正的Linux环境下编程。 多线程程序设计的概念早在六十年代就被提出,但直到八十年代中期,Unix系统中才引入多线程机制,如今…
2013-08-14 13:17 · 评论(0)
Linux shell创建空文件(0字节大小)文件方法
echo>fileName创建的文件是1个字节的。 学习后发现创建空文件(0字节大小)的文件有以下几个方法 一、file不存在时,touch file可以创建空文件 二、**:>**file可以创建空文件,如果file存在,则把file截断为0字节 三、>file可以在bash下完成和**:>**file相同的功能,但是tcsh下不能使用 四、&>file和>file一样,在bash完成**:>**file相同的功能,但是tcsh下不能使用 可以理解**& 和 :**为占位符,在这里不输出任何内容。 五、cat /dev/null > file 六、 mktemp
2013-08-14 11:14 · 评论(0)
Linux shell逐行读取文件的方法(转)
在Linux中有很多方法逐行读取一个文件的方法,其中最常用的就是下面的脚本里的方法,而且是效率最高,使用最多的方法。为了给大家一个直观的感受,我们将通过生成一个大的文件的方式来检验各种方法的执行效率。 方法1:while循环中执行效率最高,最常用的方法。 function while_read_LINE_bottm(){ While read LINE do echo $LINE done < $FILENAME } 注释:我习惯把这种方式叫做read釜底抽薪,因为这种方式在结束的时候需要执行文件,就好像是执行完的时候再把文件读进去一样。 方法2 : 重定向法;管道法: cat $FILEN…
2013-08-14 10:55 · linux · 评论(0)
java 泛型详解(转)
普通泛型 Java代码 class Point<T>{ // 此处可以随便写标识符号,T是type的简称 private T var ; // var的类型由T指定,即:由外部指定 public T getVar(){ // 返回值的类型由外部决定 return var ; } public void setVar(T var){ // 设置的类型也由外部决定 this.var = var ; } }; public class GenericsDemo06{ public static void main(String args[]){ Point<String> p = new Poin…
2013-07-16 17:14 · 评论(0)
TF-IDF与余弦相似性的应用(三):自动摘要 (转)
原文: http://www.ruanyifeng.com/blog/2013/03/automatic_summarization.html 有时候,很简单的数学方法,就可以完成很复杂的任务。 这个系列的前两部分就是很好的例子。仅仅依靠统计词频,就能找出 关键词 和 相似文章 。虽然它们算不上效果最好的方法,但肯定是最简便易行的方法。 今天,依然继续这个主题。讨论如何通过词频,对文章进行 自动摘要 (Automatic summarization)。 如果能从3000字的文章,提炼出150字的摘要,就可以为读者节省大量阅读时间。由人完成的摘要叫"人工摘要",由机器完成的就叫"自动摘要"。许…
2013-07-10 14:57 · 评论(0)
TF-IDF与余弦相似性的应用(二):找出相似文章 (转)
原文:http://www.ruanyifeng.com/blog/2013/03/cosine_similarity.html 上一次,我用 TF-IDF算法 自动提取关键词。 今天,我们再来研究另一个相关的问题。有些时候,除了找到关键词,我们还希望找到与原文章相似的其他文章。比如,"Google新闻"在主新闻下方,还提供多条相似的新闻。 为了找出相似的文章,需要用到 "余弦相似性" (cosine similiarity)。下面,我举一个例子来说明,什么是"余弦相似性"。 为了简单起见,我们先从句子着手。 句子A:我喜欢看电视,不喜欢看电影。 句子B:我不喜欢看电视,也不喜欢看电影。 请…
2013-07-10 14:56 · 评论(0)
TF-IDF与余弦相似性的应用(一):自动提取关键词 (转)
原文: http://www.ruanyifeng.com/blog/2013/03/tf-idf.html 这个标题看上去好像很复杂,其实我要谈的是一个很简单的问题。 有一篇很长的文章,我要用计算机提取它的关键词(Automatic Keyphrase extraction),完全不加以人工干预,请问怎样才能正确做到? 这个问题涉及到数据挖掘、文本处理、信息检索等很多计算机前沿领域,但是出乎意料的是,有一个非常简单的经典算法,可以给出令人相当满意的结果。它简单到都不需要高等数学,普通人只用10分钟就可以理解,这就是我今天想要介绍的 TF-IDF 算法。 让我们从一个实例开始讲起。假定现在有…
2013-07-10 14:55 · 评论(0)