安科网

在eclipse中通过local的模式可以正确的调试hadoop2.2

蜀川居

蜀川居

2016-10-18

关注 关注

已经在eclipse中通过local的模式可以正确的调试hadoop2.2，那么本篇，散仙将重点叙述下，如何在eclipse中，真真正正的提交作业到yarn上，开启分布式模式的调试，通过在eclipse上调试，hadoop的MapReduce程序，可以使我们学习Hadoop更加容易，清晰。


如果没有看过，散仙的如何在eclipse中使用local模式调试hadoop的文章，可以先看下上篇，熟悉下基本的问题的解决。

下面进入正题，由于散仙在上篇中，已经使用eclipse成功的使用了local模式的调试，所以本次改成分布式模式的调试，也不算太困难。使用eclipse作为客户端像yarn集群上提交作业，需要将整个项目打包成一个jar，散仙在这里使用的是一个ant脚本，文章最后，散仙会附上来，直接遇到的最大的一个问题如下异常： 

2014-06-11 17:32:19,761 WARN org.apache.hadoop.yarn.server.nodemanager.DefaultContainerExecutor: Exception from container-launch with container ID: container_1401177251807_0034_01_000001 and exit code: 1    
org.apache.hadoop.util.Shell$ExitCodeException: /bin/bash: line 0: fg: no job control    
    
    at org.apache.hadoop.util.Shell.runCommand(Shell.java:505)    
    at org.apache.hadoop.util.Shell.run(Shell.java:418)    
    at org.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java:650)    
    at org.apache.hadoop.yarn.server.nodemanager.DefaultContainerExecutor.launchContainer(DefaultContainerExecutor.java:195)    
    at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:300)    
    at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:81)    
    at java.util.concurrent.FutureTask.run(FutureTask.java:262)    
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145)    
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615)    
    at java.lang.Thread.run(Thread.java:744)    
2014-06-11 17:32:19,761 WARN org.apache.hadoop.yarn.server.nodemanager.DefaultContainerExecutor: Exception from container-launch with container ID: container_1401177251807_0034_01_000001 and exit code: 1  
org.apache.hadoop.util.Shell$ExitCodeException: /bin/bash: line 0: fg: no job control  
  
    at org.apache.hadoop.util.Shell.runCommand(Shell.java:505)  
    at org.apache.hadoop.util.Shell.run(Shell.java:418)  
    at org.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java:650)  
    at org.apache.hadoop.yarn.server.nodemanager.DefaultContainerExecutor.launchContainer(DefaultContainerExecutor.java:195)  
    at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:300)  
    at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:81)  
    at java.util.concurrent.FutureTask.run(FutureTask.java:262)  
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145)  
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615)  
    at java.lang.Thread.run(Thread.java:744)


这个问题，在网上已经得到解决，需要下2个patch包，进行打补丁，比较繁琐，散仙，在参考了这位兄弟的文章后，http://blog.csdn.net/fansy1990/article/details/27526167
感觉使用方法解决，比较简洁方便。引起上述异常的主要原因就是，Linux和Windows的环境变量符号不一致导致的问题win上是%而linux上是$所以直接导致了上述原因，当然这个问题再linux上的eclipse是不存在，只有在win上的eclipse中，才会出现，所以我们要做的就是，改变org.apache.hadoop.mapred.YARNRunner类里面的一些方法，来消除此异常。


具体步骤，改写YARNRunner源码中的一些方法（YARNRunner.java源码类在hadoop-mapreduce-client-jobclient的maven项目中的org.apache.hadoop.mapred包下）需要在src下建同样的包名，类名，覆盖原来jar包里面自带的类。

YarnRunner.java的390行 （Apache Hadoop2.2的源码） 



// Setup the command to run the AM    
    List<String> vargs = new ArrayList<String>(8);    
    vargs.add(Environment.JAVA_HOME.$() + "/bin/java");    
// Setup the command to run the AM  
    List<String> vargs = new ArrayList<String>(8);  
    vargs.add(Environment.JAVA_HOME.$() + "/bin/java");



改为

vargs.add("$JAVA_HOME/bin/java");    
vargs.add("$JAVA_HOME/bin/java");


在YarnRunner.java类中，新增一个路径转换的方法

private void replaceEnvironment(Map<String, String> environment) {    
      String tmpClassPath = environment.get("CLASSPATH");    
      tmpClassPath=tmpClassPath.replaceAll(";", ":");    
      tmpClassPath=tmpClassPath.replaceAll("%PWD%", "\\$PWD");    
      tmpClassPath=tmpClassPath.replaceAll("%HADOOP_MAPRED_HOME%", "\\$HADOOP_MAPRED_HOME");    
      tmpClassPath= tmpClassPath.replaceAll("\\\\", "/" );    
      environment.put("CLASSPATH",tmpClassPath);    
}    
private void replaceEnvironment(Map<String, String> environment) {  
      String tmpClassPath = environment.get("CLASSPATH");  
      tmpClassPath=tmpClassPath.replaceAll(";", ":");  
      tmpClassPath=tmpClassPath.replaceAll("%PWD%", "\\$PWD");  
      tmpClassPath=tmpClassPath.replaceAll("%HADOOP_MAPRED_HOME%", "\\$HADOOP_MAPRED_HOME");  
      tmpClassPath= tmpClassPath.replaceAll("\\\\", "/" );  
      environment.put("CLASSPATH",tmpClassPath);  
}




在YarnRunner.java的在466行添加：

replaceEnvironment(environment);    
replaceEnvironment(environment);


通过，这样设置后，原来的异常就得到解决了，散仙在这里分布式测试的例子依旧是hellow world，源码如下：

package com.qin.wordcount;  
  
import java.io.IOException;  
  
import org.apache.hadoop.conf.Configuration;  
import org.apache.hadoop.fs.FileSystem;  
import org.apache.hadoop.fs.Path;  
import org.apache.hadoop.io.IntWritable;  
import org.apache.hadoop.io.LongWritable;  
import org.apache.hadoop.io.Text;  
import org.apache.hadoop.mapred.JobConf;  
import org.apache.hadoop.mapred.YARNRunner;  
import org.apache.hadoop.mapreduce.Job;  
import org.apache.hadoop.mapreduce.Mapper;  
import org.apache.hadoop.mapreduce.Reducer;  
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;  
import org.apache.hadoop.mapreduce.lib.input.TextInputFormat;  
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;  
import org.apache.hadoop.mapreduce.lib.output.TextOutputFormat;  
  
/*** 
 *  
 * Hadoop2.2.0完全分布式测试 
 * 放WordCount的例子 
 *  
 * @author qindongliang 
 *  
 * hadoop技术交流群：  376932160 
 *  
 *  
 * */  
public class MyWordCount {  
      
      
    /** 
     * Mapper 
     *  
     * **/  
    private static class WMapper extends Mapper<LongWritable, Text, Text, IntWritable>{  
          
          
        private IntWritable count=new IntWritable(1);  
        private Text text=new Text();  
        @Override  
        protected void map(LongWritable key, Text value,Context context)  
                throws IOException, InterruptedException {  
            String values[]=value.toString().split("#");  
            //System.out.println(values[0]+"========"+values[1]);  
            count.set(Integer.parseInt(values[1]));  
            text.set(values[0]);  
            context.write(text,count);  
              
        }  
          
    }  
      
    /** 
     * Reducer 
     *  
     * **/  
    private static class WReducer extends Reducer<Text, IntWritable, Text, Text>{  
          
        private Text t=new Text();  
        @Override  
        protected void reduce(Text key, Iterable<IntWritable> value,Context context)  
                throws IOException, InterruptedException {  
            int count=0;  
            for(IntWritable i:value){  
                count+=i.get();  
            }  
            t.set(count+"");  
            context.write(key,t);  
              
        }  
          
    }  
      
      
    /** 
     * 改动一 
     * (1)shell源码里添加checkHadoopHome的路径 
     * (2)974行，FileUtils里面 
     * **/  
      
    public static void main(String[] args) throws Exception{  
          
          
        Configuration conf=new Configuration();  
          
        conf.set("mapreduce.job.jar", "myjob.jar");  
        conf.set("fs.defaultFS","hdfs://192.168.46.28:9000");  
        conf.set("mapreduce.framework.name", "yarn");    
        conf.set("yarn.resourcemanager.address", "192.168.46.28:8032");   
        /**Job任务**/  
       //Job job=new Job(conf, "testwordcount");//废弃此API  
       Job job=Job.getInstance(conf, "new api");  
        job.setJarByClass(MyWordCount.class);  
        System.out.println("模式：  "+conf.get("mapreduce.jobtracker.address"));;  
        // job.setCombinerClass(PCombine.class);  
      
           
           
        // job.setNumReduceTasks(3);//设置为3  
         job.setMapperClass(WMapper.class);  
         job.setReducerClass(WReducer.class);  
         job.setInputFormatClass(TextInputFormat.class);  
         job.setOutputFormatClass(TextOutputFormat.class);  
   
       
          
         job.setMapOutputKeyClass(Text.class);  
         job.setMapOutputValueClass(IntWritable.class);  
         job.setOutputKeyClass(Text.class);  
         job.setOutputValueClass(Text.class);  
      
            String path="hdfs://192.168.46.28:9000/qin/output";  
            FileSystem fs=FileSystem.get(conf);  
            Path p=new Path(path);  
            if(fs.exists(p)){  
                fs.delete(p, true);  
                System.out.println("输出路径存在，已删除！");  
            }  
        FileInputFormat.setInputPaths(job, "hdfs://192.168.46.28:9000/qin/input");  
        FileOutputFormat.setOutputPath(job,p );  
        System.exit(job.waitForCompletion(true) ? 0 : 1);    
          
          
          
          
    }  
      
  
}  
package com.qin.wordcount;

import java.io.IOException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapred.JobConf;
import org.apache.hadoop.mapred.YARNRunner;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.input.TextInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.mapreduce.lib.output.TextOutputFormat;

/***
 * 
 * Hadoop2.2.0完全分布式测试
 * 放WordCount的例子
 * 
 * @author qindongliang
 * 
 * hadoop技术交流群：  376932160
 * 
 * 
 * */
public class MyWordCount {
	
	
	/**
	 * Mapper
	 * 
	 * **/
	private static class WMapper extends Mapper<LongWritable, Text, Text, IntWritable>{
		
		
		private IntWritable count=new IntWritable(1);
		private Text text=new Text();
		@Override
		protected void map(LongWritable key, Text value,Context context)
				throws IOException, InterruptedException {
			String values[]=value.toString().split("#");
			//System.out.println(values[0]+"========"+values[1]);
			count.set(Integer.parseInt(values[1]));
			text.set(values[0]);
			context.write(text,count);
			
		}
		
	}
	
	/**
	 * Reducer
	 * 
	 * **/
	private static class WReducer extends Reducer<Text, IntWritable, Text, Text>{
		
		private Text t=new Text();
		@Override
		protected void reduce(Text key, Iterable<IntWritable> value,Context context)
				throws IOException, InterruptedException {
			int count=0;
			for(IntWritable i:value){
				count+=i.get();
			}
			t.set(count+"");
			context.write(key,t);
			
		}
		
	}
	
	
	/**
	 * 改动一
	 * (1)shell源码里添加checkHadoopHome的路径
	 * (2)974行，FileUtils里面
	 * **/
	
	public static void main(String[] args) throws Exception{
		
		
		Configuration conf=new Configuration();
		
	    conf.set("mapreduce.job.jar", "myjob.jar");
		conf.set("fs.defaultFS","hdfs://192.168.46.28:9000");
		conf.set("mapreduce.framework.name", "yarn");  
		conf.set("yarn.resourcemanager.address", "192.168.46.28:8032"); 
		/**Job任务**/
	   //Job job=new Job(conf, "testwordcount");//废弃此API
	   Job job=Job.getInstance(conf, "new api");
		job.setJarByClass(MyWordCount.class);
		System.out.println("模式：  "+conf.get("mapreduce.jobtracker.address"));;
		// job.setCombinerClass(PCombine.class);
	
		 
		 
		// job.setNumReduceTasks(3);//设置为3
		 job.setMapperClass(WMapper.class);
		 job.setReducerClass(WReducer.class);
		 job.setInputFormatClass(TextInputFormat.class);
		 job.setOutputFormatClass(TextOutputFormat.class);
 
	 
		
		 job.setMapOutputKeyClass(Text.class);
		 job.setMapOutputValueClass(IntWritable.class);
		 job.setOutputKeyClass(Text.class);
		 job.setOutputValueClass(Text.class);
	
			String path="hdfs://192.168.46.28:9000/qin/output";
			FileSystem fs=FileSystem.get(conf);
			Path p=new Path(path);
			if(fs.exists(p)){
				fs.delete(p, true);
				System.out.println("输出路径存在，已删除！");
			}
		FileInputFormat.setInputPaths(job, "hdfs://192.168.46.28:9000/qin/input");
		FileOutputFormat.setOutputPath(job,p );
		System.exit(job.waitForCompletion(true) ? 0 : 1);  
		
		
		
		
	}
	

}


在运行的时候，需要注意把，hadoop集群上的配置文件core-site.xml,hdfs-site.xml,mapred-site.xml,yarn-site.xml文件拷贝到src的根目录下，最好也放一个log4j.xml方便查看日志。并在mapred-site.xml里面，添加如下属性：

模式：  hp1:8021  
输出路径存在，已删除！  
INFO - RMProxy.createRMProxy(56) | Connecting to ResourceManager at /192.168.46.28:8032  
WARN - JobSubmitter.copyAndConfigureFiles(149) | Hadoop command-line option parsing not performed. Implement the Tool interface and execute your application with ToolRunner to remedy this.  
INFO - FileInputFormat.listStatus(287) | Total input paths to process : 1  
INFO - JobSubmitter.submitJobInternal(394) | number of splits:1  
INFO - Configuration.warnOnceIfDeprecated(840) | user.name is deprecated. Instead, use mapreduce.job.user.name  
INFO - Configuration.warnOnceIfDeprecated(840) | mapred.jar is deprecated. Instead, use mapreduce.job.jar  
INFO - Configuration.warnOnceIfDeprecated(840) | fs.default.name is deprecated. Instead, use fs.defaultFS  
INFO - Configuration.warnOnceIfDeprecated(840) | mapred.output.value.class is deprecated. Instead, use mapreduce.job.output.value.class  
INFO - Configuration.warnOnceIfDeprecated(840) | mapred.mapoutput.value.class is deprecated. Instead, use mapreduce.map.output.value.class  
INFO - Configuration.warnOnceIfDeprecated(840) | mapreduce.map.class is deprecated. Instead, use mapreduce.job.map.class  
INFO - Configuration.warnOnceIfDeprecated(840) | mapred.job.name is deprecated. Instead, use mapreduce.job.name  
INFO - Configuration.warnOnceIfDeprecated(840) | mapreduce.reduce.class is deprecated. Instead, use mapreduce.job.reduce.class  
INFO - Configuration.warnOnceIfDeprecated(840) | mapreduce.inputformat.class is deprecated. Instead, use mapreduce.job.inputformat.class  
INFO - Configuration.warnOnceIfDeprecated(840) | mapred.input.dir is deprecated. Instead, use mapreduce.input.fileinputformat.inputdir  
INFO - Configuration.warnOnceIfDeprecated(840) | mapred.output.dir is deprecated. Instead, use mapreduce.output.fileoutputformat.outputdir  
INFO - Configuration.warnOnceIfDeprecated(840) | mapreduce.outputformat.class is deprecated. Instead, use mapreduce.job.outputformat.class  
INFO - Configuration.warnOnceIfDeprecated(840) | mapred.map.tasks is deprecated. Instead, use mapreduce.job.maps  
INFO - Configuration.warnOnceIfDeprecated(840) | mapred.output.key.class is deprecated. Instead, use mapreduce.job.output.key.class  
INFO - Configuration.warnOnceIfDeprecated(840) | mapred.mapoutput.key.class is deprecated. Instead, use mapreduce.map.output.key.class  
INFO - Configuration.warnOnceIfDeprecated(840) | mapred.working.dir is deprecated. Instead, use mapreduce.job.working.dir  
INFO - JobSubmitter.printTokens(477) | Submitting tokens for job: job_1402492118962_0004  
INFO - YarnClientImpl.submitApplication(174) | Submitted application application_1402492118962_0004 to ResourceManager at /192.168.46.28:8032  
INFO - Job.submit(1272) | The url to track the job: http://hp1:8088/proxy/application_1402492118962_0004/  
INFO - Job.monitorAndPrintJob(1317) | Running job: job_1402492118962_0004  
INFO - Job.monitorAndPrintJob(1338) | Job job_1402492118962_0004 running in uber mode : false  
INFO - Job.monitorAndPrintJob(1345) |  map 0% reduce 0%  
INFO - Job.monitorAndPrintJob(1345) |  map 100% reduce 0%  
INFO - Job.monitorAndPrintJob(1345) |  map 100% reduce 100%  
INFO - Job.monitorAndPrintJob(1356) | Job job_1402492118962_0004 completed successfully  
INFO - Job.monitorAndPrintJob(1363) | Counters: 43  
    File System Counters  
        FILE: Number of bytes read=58  
        FILE: Number of bytes written=159667  
        FILE: Number of read operations=0  
        FILE: Number of large read operations=0  
        FILE: Number of write operations=0  
        HDFS: Number of bytes read=147  
        HDFS: Number of bytes written=27  
        HDFS: Number of read operations=6  
        HDFS: Number of large read operations=0  
        HDFS: Number of write operations=2  
    Job Counters   
        Launched map tasks=1  
        Launched reduce tasks=1  
        Data-local map tasks=1  
        Total time spent by all maps in occupied slots (ms)=6155  
        Total time spent by all reduces in occupied slots (ms)=4929  
    Map-Reduce Framework  
        Map input records=4  
        Map output records=4  
        Map output bytes=44  
        Map output materialized bytes=58  
        Input split bytes=109  
        Combine input records=0  
        Combine output records=0  
        Reduce input groups=3  
        Reduce shuffle bytes=58  
        Reduce input records=4  
        Reduce output records=3  
        Spilled Records=8  
        Shuffled Maps =1  
        Failed Shuffles=0  
        Merged Map outputs=1  
        GC time elapsed (ms)=99  
        CPU time spent (ms)=1060  
        Physical memory (bytes) snapshot=309071872  
        Virtual memory (bytes) snapshot=1680531456  
        Total committed heap usage (bytes)=136450048  
    Shuffle Errors  
        BAD_ID=0  
        CONNECTION=0  
        IO_ERROR=0  
        WRONG_LENGTH=0  
        WRONG_MAP=0  
        WRONG_REDUCE=0  
    File Input Format Counters   
        Bytes Read=38  
    File Output Format Counters   
        Bytes Written=27  
模式：  hp1:8021
输出路径存在，已删除！
INFO - RMProxy.createRMProxy(56) | Connecting to ResourceManager at /192.168.46.28:8032
WARN - JobSubmitter.copyAndConfigureFiles(149) | Hadoop command-line option parsing not performed. Implement the Tool interface and execute your application with ToolRunner to remedy this.
INFO - FileInputFormat.listStatus(287) | Total input paths to process : 1
INFO - JobSubmitter.submitJobInternal(394) | number of splits:1
INFO - Configuration.warnOnceIfDeprecated(840) | user.name is deprecated. Instead, use mapreduce.job.user.name
INFO - Configuration.warnOnceIfDeprecated(840) | mapred.jar is deprecated. Instead, use mapreduce.job.jar
INFO - Configuration.warnOnceIfDeprecated(840) | fs.default.name is deprecated. Instead, use fs.defaultFS
INFO - Configuration.warnOnceIfDeprecated(840) | mapred.output.value.class is deprecated. Instead, use mapreduce.job.output.value.class
INFO - Configuration.warnOnceIfDeprecated(840) | mapred.mapoutput.value.class is deprecated. Instead, use mapreduce.map.output.value.class
INFO - Configuration.warnOnceIfDeprecated(840) | mapreduce.map.class is deprecated. Instead, use mapreduce.job.map.class
INFO - Configuration.warnOnceIfDeprecated(840) | mapred.job.name is deprecated. Instead, use mapreduce.job.name
INFO - Configuration.warnOnceIfDeprecated(840) | mapreduce.reduce.class is deprecated. Instead, use mapreduce.job.reduce.class
INFO - Configuration.warnOnceIfDeprecated(840) | mapreduce.inputformat.class is deprecated. Instead, use mapreduce.job.inputformat.class
INFO - Configuration.warnOnceIfDeprecated(840) | mapred.input.dir is deprecated. Instead, use mapreduce.input.fileinputformat.inputdir
INFO - Configuration.warnOnceIfDeprecated(840) | mapred.output.dir is deprecated. Instead, use mapreduce.output.fileoutputformat.outputdir
INFO - Configuration.warnOnceIfDeprecated(840) | mapreduce.outputformat.class is deprecated. Instead, use mapreduce.job.outputformat.class
INFO - Configuration.warnOnceIfDeprecated(840) | mapred.map.tasks is deprecated. Instead, use mapreduce.job.maps
INFO - Configuration.warnOnceIfDeprecated(840) | mapred.output.key.class is deprecated. Instead, use mapreduce.job.output.key.class
INFO - Configuration.warnOnceIfDeprecated(840) | mapred.mapoutput.key.class is deprecated. Instead, use mapreduce.map.output.key.class
INFO - Configuration.warnOnceIfDeprecated(840) | mapred.working.dir is deprecated. Instead, use mapreduce.job.working.dir
INFO - JobSubmitter.printTokens(477) | Submitting tokens for job: job_1402492118962_0004
INFO - YarnClientImpl.submitApplication(174) | Submitted application application_1402492118962_0004 to ResourceManager at /192.168.46.28:8032
INFO - Job.submit(1272) | The url to track the job: http://hp1:8088/proxy/application_1402492118962_0004/
INFO - Job.monitorAndPrintJob(1317) | Running job: job_1402492118962_0004
INFO - Job.monitorAndPrintJob(1338) | Job job_1402492118962_0004 running in uber mode : false
INFO - Job.monitorAndPrintJob(1345) |  map 0% reduce 0%
INFO - Job.monitorAndPrintJob(1345) |  map 100% reduce 0%
INFO - Job.monitorAndPrintJob(1345) |  map 100% reduce 100%
INFO - Job.monitorAndPrintJob(1356) | Job job_1402492118962_0004 completed successfully
INFO - Job.monitorAndPrintJob(1363) | Counters: 43
	File System Counters
		FILE: Number of bytes read=58
		FILE: Number of bytes written=159667
		FILE: Number of read operations=0
		FILE: Number of large read operations=0
		FILE: Number of write operations=0
		HDFS: Number of bytes read=147
		HDFS: Number of bytes written=27
		HDFS: Number of read operations=6
		HDFS: Number of large read operations=0
		HDFS: Number of write operations=2
	Job Counters 
		Launched map tasks=1
		Launched reduce tasks=1
		Data-local map tasks=1
		Total time spent by all maps in occupied slots (ms)=6155
		Total time spent by all reduces in occupied slots (ms)=4929
	Map-Reduce Framework
		Map input records=4
		Map output records=4
		Map output bytes=44
		Map output materialized bytes=58
		Input split bytes=109
		Combine input records=0
		Combine output records=0
		Reduce input groups=3
		Reduce shuffle bytes=58
		Reduce input records=4
		Reduce output records=3
		Spilled Records=8
		Shuffled Maps =1
		Failed Shuffles=0
		Merged Map outputs=1
		GC time elapsed (ms)=99
		CPU time spent (ms)=1060
		Physical memory (bytes) snapshot=309071872
		Virtual memory (bytes) snapshot=1680531456
		Total committed heap usage (bytes)=136450048
	Shuffle Errors
		BAD_ID=0
		CONNECTION=0
		IO_ERROR=0
		WRONG_LENGTH=0
		WRONG_MAP=0
		WRONG_REDUCE=0
	File Input Format Counters 
		Bytes Read=38
	File Output Format Counters 
		Bytes Written=27



作业在8088界面上显示情况如下：


在eclipse中通过local的模式可以正确的调试hadoop2.2
wordcount的执行结果，也正确，至此，我们的eclipse调试hadoop2.2分布式集群，已经成功了

程序调试 shell apache

蜀川居

蜀川居

0 关注 0 粉丝 0 动态

关注 关注

相关推荐

vscode 调试 node.js的方法步骤

作为前端工程师经常打交道的开发工具无非 IDE 编辑器 和 Chrome，在 Chrome 中调试是非常方便的，直接在 开发者工具的 source 栏打断点就可以了。那么，如果遇到需要写 node 相关的代码，比如 webpack 配置项，应该怎么调试来实

Yvettre 2020-09-15

在 Linux 上创建并调试转储文件

崩溃转储、内存转储、核心转储、系统转储……这些全都会产生同样的产物：一个包含了当应用崩溃时，在那个特定时刻应用的内存状态的文件。信号是操作系统和用户应用之间的进程间通讯。Linux 使用 POSIX 标准中定义的信号。简单地说，Linux 基于预期的或意外

ChasingChasing 2020-08-31

Node.js 深度调试方法解析

在 Node.js 项目开发过程中，随着项目的发展，调用关系越来越复杂，调试工具的重要性日益凸显。Node集成了方便好用 V8 Inspect 调试器，允许我们通过 Chrome DevTools 进行图形化的调试和性能分析。同时，我们也可以使用 VS C

yidaizongshi 2020-08-16

解决VScode配置远程调试Linux程序的问题

最近在Linux上调程序，但是gdb使用属于入门阶段，主要是没有图形化界面直观。在网上查找了有两个方案可选，一个是通过VisualStudio2019的远程调试功能，因为最近一直在用VScode，所以没有试，之后有时间了可以试一下。本文介绍下这个方案。虽然

gsl 2020-08-15

Python Debug(调试)的终极指南

即使您编写了清晰可读的代码，即使您是非常有经验的开发人员，奇怪的bug也不可避免地会出现，您将需要以某种方式调试它们。很多人使用一堆print语句来查看代码中发生了什么。这种方法远不是理想的，有更好的方法可以找出代码的错误所在，本文将探讨其中一些问题和应对

上海滩 2020-07-19

你知道python常见的库有哪些吗？五大python库

大家都知道，现在python是一门非常不错的编程，各行各业都开始使用python进行编程，而且python每个功能模块，都有对应的python库，那么你知道python常见的库有哪些吗?　　3、Click：现在几乎所有的框架都有自己的命令行脚手架，pyth

AndesStay 2020-07-04

为什么我放弃使用 Kotlin 中的协程？

实不相瞒，我对 Kotlin 这门编程语言非常喜欢，尽管它有一些缺点和奇怪的设计选择。我曾经参与过一个使用 Kotlin、Kotlin 协程和基于协程的服务器框架 KTOR 的中型项目。这个技术组合提供了很多优点，但是我也发现，与常规的 Spring B

hohohogetitup 2020-06-19

Linux如何调试内存泄漏

内存泄漏是指由于疏忽或错误造成程序未能释放已经不再使用的内存。内存泄漏并非指内存在物理上的消失，而是应用程序分配某段内存后，由于设计错误，导致在释放该段内存之前就失去了对该段内存的控制，从而造成了内存的浪费。我们平时开发过程中不可避免的会遇到内存泄漏问题，

ITlover00 2020-05-26

[cdn 数据库同步]CDN缓存不同步：一次线上调试的经历

　　这是大概3个月之前的一次线上调试过程，最后排查到的原因很简单，但调试过程让我认识了所谓“线上环境复杂”是什么意思。　　这是入职后接手的第一个H5页面需求，也是比较重要内部项目，几乎所有公司部门都参与了此项目。项目完成后获得了公司的内部奖励，当然这是后话

lcyangcss 2020-04-21

安卓逆向11.IDA以Debug模式调试APK SO

有时候，我们需要调试APK启动过程中的SO文件里的函数，使用附加的方法显然时机已经晚了！比如想要调试SO库的JNI_Onload函数，很多时候需要在程序启动的时候就附加并且调试！

xilove0 2020-04-20

windows下用vscode调试rust

选择C++时， 会出现如下配置信息，自己修改program，设置要调试的程序。"program":"输入程序名称，例如${workspaceFolder}/a.exe","description"

始终不够 2020-04-15

掌握 Linux 调试技术

在第 1 种情况中，我们使用了两个有内存分配问题的样本程序，使用 MEMWATCH 和 Yet Another Malloc Debugger工具来调试它们。在第 2 种情况中，我们使用了 Linux 中的 strace 实用程序，它能够跟踪系统调用和信号

LUOPING0 2020-04-07

adb安卓调试桥测试应用

Android 调试桥 是Android SDK里的一个工具。可看成一个客户端-服务器程序，其中客户端是用来操作的电脑，服务器端是android设备。使用ADB可以直接操作管理android模拟器或者真实的android设备，说白了ADB就是安卓的deb

安辉 2020-03-28

调试JDK源码时可编辑操作的实现

因主要目的是调试源码，了解其功能的实现过程，所以在IDEA中创建一个java项目，在 src 文件夹下分别创建两个文件夹resource 和 test. 因为将全部的源码文件夹放到项目的 resource 目录中，运行程序时在构建程序阶段会报错，且构建时间

xzkjgw 2020-03-27

myEclipse调试快捷键汇总

DroptoFrame返回到当前方法的第一行，Terminate终止虚拟机，程序就结束了。1，断点调试完成后，要在BreakPoints视图中清除所有断点；或者在菜单栏中 单击Run选择Remove All BreakPoints即可。或者直接关闭程序，重

xnuzfm 2020-03-07

vim编程与调试

> //保存并退出. <:wq!> //不保存退出. <:x> //保存退出.　　:vim工作模式:存在三种工作模式:编辑模式，插入模式，命令模式。　　　1:编辑模式：。例如，在一个文件中查找swap单词，首先按“Esc”键，

gcong 2020-03-01

Qt Creator调试命令行参数

Qt Creator是开发Qt程序官方推荐的IDE，当然也可以使用VS来开发，对于习惯于VS环境的人来说，需要慢慢熟悉这个IDE。有时候程序需要传入命令行参数来解析，如：。程序运行需要传入一个命令行参数：文件名Qt Creator 4.9.0设置运行调试命

站在高处眺望 2020-02-20

简单实现Android手机“全局可调试”（ro.debuggable = 1）的方法【锤子坚果3】

在Android真机上调试程序有一个前提，就是这个apk包必须有 debuggable=true 的属性才行。而除了自己开发的apk能够控制打包属性之外，其他的程序发行之后显然不会设这个值为 true 的。Android手机系统的ro.debuggable

Soinice 2020-02-02

「Flink」配置使用Flink调试WebUI

很多时候，我们在IDE中编写Flink代码，我们希望能够查看到Web UI，从而来了解Flink程序的运行情况。按照以下步骤操作即可，亲测有效。

Spark高级玩法 2020-02-01

unity调试native c/c++ dll

最近使用xlua，需要添加自定义的c lua库。研究了一下unity调试native c/c++ dll。至此即可调试C/C++工程。如果还是不行，要检查C/C++工程的调试功能是否开启：

zuihaobushi 2020-01-31
蜀川居

蜀川居

W3CSchool教程
HTML 教程
CSS 教程
Bootstrap 教程
Javascript 教程
jQuery 教程
后端教程
C 教程
Java 教程
PHP 教程
Python 教程
Go 教程
移动开发
Android 教程
Swift 教程
Kotlin 教程
jQuery Mobile 教程
ionic 教程
关于我们
新闻动态
联系方式
招聘英才
安科实验室
帮助与反馈

安科网(Ancii)，中国第一极客网

Copyright © 2013 - 2019 Ancii.com

京ICP备18063983号 京公网安备11010802014868号