defungo的博客
defungo · 共 83 篇文章
solr调优
基于Lucene的SOLR一直以稳定、高性能著称,虽然其在高并发下对CPU要求较高,但能解决复杂的查询并能以如此快的速度内返回搜索结果,实在是开发搜索的一大利器。公司部署在Linux服务器上的Master-Slave架构的SOLR在过去1年多以来运行都比较稳定。 最近一周,有开发人员反馈索引更新速度非常慢,造成一大堆数据还未等待索引操作,客户端提交索引的逻辑优化很多遍都没有效果。对于索引性能的检查,主要是从客户端和服务端两个地方入手: 1、客户端,检查结果发现多线程并未出现死锁,通过solrj发送索引命令因为执行速度太慢一直被阻塞在线程池中,客户端使用的是官方推荐的ConcurrentUpd…
FAB利益销售法(转)
FAB利益销售法 FAB利益销售法(特征—优点—利益) 目录 [ 隐藏] 1 什么是FAB利益销售法? 2 FAB法操作实务 3 用FAB法进行商品推介 4 FAB法使用原则 5 FAB利益销售法商品推介的技巧 [ 编辑 ] 什么是FAB利益销售法? FAB法,是 推销员 向顾客分析产品利益的好方法。FAB销售陈述:即在进行产品介绍、 销售政策 (进货政策)、销售细节等表述的时候,针对客户需求意向,进行有选择、有目的的逐条理由的说服。 F指属性或功效(Feature或Fact),即自己的产品有哪些特点和属性,例如:“在功效相同的产品中,它是最轻的电子发动机,只有10磅重,” A是优点或优势(…
2013-12-09 09:24 · 评论(0)
Java偏向锁实现原理(Biased Locking)
转: http://kenwublog.com/theory-of-java-biased-locking 阅读本文的读者,需要对Java轻量级锁有一定的了解,知道lock record, mark word之类的名词。可以参考我的一篇博文: Java轻量级锁原理详解(Lightweight Locking) Java偏向锁(Biased Locking)是Java6引入的一项多线程优化。它通过消除资源无竞争情况下的同步原语,进一步提高了程序的运行性能。 轻量级锁也是一种多线程优化,它与偏向锁的区别在于,轻量级锁是通过CAS来避免进入开销较大的互斥操作,而偏向锁是在无竞争场景下完全消除同步,…
2013-11-29 09:32 · jvm · 评论(0)
nutch源代码阅读心得
主要类分析: 一、 org.apache.nutch.crawl.Injector: 1,注入url.txt 2,url标准化 3,拦截url,进行正则校验(regex-urlfilter.txt) 4,对符URL标准的url进行map对构造<url, CrawlDatum>,在构造过程中给CrawlDatum初始化得分,分数可影响url host的搜索排序,和采集优先级! 5,reduce只做一件事,判断url是不是在crawldb中已经存在,如果存在则直接读取原来CrawlDatum,如果是新host,则把相应状态存储到里边(STATUS_DB_UNFETCHED(状态意思为没有采集过)…
2013-06-26 13:33 · 评论(0)
nutch源码阅读(10)-Fetch
private static class QueueFeeder extends Thread { private RecordReader<Text, CrawlDatum> reader; private FetchItemQueues queues; //生产者和消费者的共享序列,分层,一层对应一个host private int size; private long timelimit = -1; public QueueFeeder(RecordReader<Text, CrawlDatum> reader, FetchItemQueues queues, int size) { …
2013-06-26 09:44 · nutch · 评论(0)
nutch源码阅读(9)-Fetch
Fetcher这个模块在Nutch中有单独一个包在实现,在org.apache.nutch.fetcher,其中有Fetcher.java, FetcherOutput 和FetcherOutputFormat来组成,看上去很简单,但其中使用到了多线程,多线程的生产者与消费者模型,MapReduce的多路径输出等方法。 下面我们来看一下Fetcher的注释,从中我们可以得到很多有用的信息。 首先,这是一种基于队列的fetcher方法,它使用了一种经典的线程模型,生产者(a-QueueFeeder)与消费者(many-FetcherThread)模型,注意,这里有多个消费者。生产者从Gener…
2013-06-25 16:52 · nutch · 评论(0)
(转)hadoop/mapred 优化方法
谭东的空间: http://thethethethethethe.spaces.live.com/default.aspx 从三个方面着手优化 : 1. hadoop配置 2. 设计mapred/job 3. 代码级别. 4. 改造hadoop 一. conf/hadoop-site.xml配置. 经验要求高, 特别需要结合实际情况. 典型参数如 复制因子, mapred.child.java.opts, mapred.tasktracker.map.tasks.maximum, mapred.tasktracker.reduce.tasks.maximum, mapred.map.task…
2013-06-25 16:42 · hadoop · 评论(0)
nutch源码阅读(8)-Generator
接着看下最后一个Job ................... ................... ................... //判断是否更新 if (getConf().getBoolean(GENERATE_UPDATE_CRAWLDB, false)) { // update the db from tempDir // 产生临时目录 Path tempDir2 = new Path(getConf().get("mapred.temp.dir", ".") + "/generate-temp-" + System.currentTimeMillis()); job …
2013-06-25 07:12 · nutch · 评论(0)
nutch源码阅读(7)-Generator
继续向下看,第二个Job .................... .................... .................... // read the subdirectories generated in the temp // output and turn them into segments List<Path> generatedSegments = new ArrayList<Path>(); //读取上个job生成的多个fetchlist的segment FileStatus[] status = fs.listStatus(tempDir); try …
2013-06-25 07:01 · nutch · 评论(0)
nutch源码阅读(6)-Generator
for (i = 0; i < depth; i++) { // generate new segment //根据传入参数depth来决定循环次数,生成segment Path[] segs = generator.generate(crawlDb, segments, -1, topN, System .currentTimeMillis()); if (segs == null) { LOG.info("Stopping at depth=" + i + " - no more URLs to fetch."); break; } fetcher.fetch(segs[0], thre…
2013-06-25 06:40 · nutch · 评论(0)
Centos6.3上编译OpenJDK7源码
转: http://www.cnblogs.com/xleequ/archive/2013/01/07/2849449.html 本文包括4部分内容: 1.基本流程(阅读README和README-builds.html) 2.安装基础软件包 3.配置变量 4.检查环境是否配置ok与编译jdk源码 下载源码openjdk-7u6-fcs-src-b24-28_aug_2012.zip,解压 1.基本流程(阅读README和README-builds.html) README-builds.html中包含有详细的安装信息,最好能完整的阅读一下。 ---------README-------- …
Hadoop重温(4)--ipc
依赖于Hadoop Writable类型的支持。Hadoop Writable接口要求每个实现类都得确保将本类的对象正确序列化(writeObject)与反序列化(readObject)。因此,Hadoop RPC使用Java动态代理与反射实现对象调用方式,客户端到服务器数据的序列化与反序列化由Hadoop框架或用户自己来实现,也就是数据组装是定制的。 Hadoop IPC在org.apache.hadoop.ipc RemoteException:远程异常,表示远程调用过程中的错误。 Status:枚举类,包括 SUCCESS (0) 成功, ERROR (1)一般错误, FATAL (-…
2013-06-07 17:11 · hadoop · 评论(0)
重温hadoop(3)--序列化
Hadoop的序列化机制特征: 紧凑:带宽是hadoop集群中最稀缺的资源,一个紧凑的序列化机制可以充分利用带宽。 快速:mapreduce会大量的使用序列化机制。因此,要尽可能减少序列化开销。 可扩张:序列化机制需要可定制 互操作:可以支持不同开发语言间的通信。 java本身的序列化,将要序列化的类,类签名、类的所有非暂态和非静态成员的值,以及所有的父类都要写入,导致序列化的对象过于充实。可能比原来扩大了几十上百倍。 由上面的条件,hadoop自定义了序列化机制,引入org.apache.hadoop.io.Writable /** * A serializable object whic…
2013-06-04 16:12 · hadoop · 评论(0)
nutch源码阅读(5)-Injector总结
nutch的inject 有二个job 第一个job 如下图 map :InjectMapper 功能如下 1 url是否有tab分割的k-v 对如果有记录下来, 2 如果配置了过滤使用 URLNormalizers和 URLFilters 对url 进行格式化和过滤, 3 如果过滤的url 不为空则创建CrawlDatum对象,状态 STATUS_INJECTED,设置fetcher 间隔时间从fetchdb.fetch.interval.default 配置中取,如果没有默认2592000s 为30 天 4 设置fectchtime 为当前时间 datum.setFetchTime(cu…
2013-05-30 09:10 · nutch · 评论(0)
nutch源码阅读(4)-Injector的第二个MapReduce
JobConf mergeJob = CrawlDb.createJob(getConf(), crawlDb); //可以看到上一个MP的输出tempDir,就是这个MP的输入 FileInputFormat.addInputPath(mergeJob, tempDir); mergeJob.setReducerClass(InjectReducer.class); JobClient.runJob(mergeJob); CrawlDb.install(mergeJob, crawlDb); public void configure(JobConf job) { interval = j…
2013-05-28 09:48 · nutch · 评论(0)