Anwendung von Hadoop-Zählern und Datenbereinigung

Paket com.atguigu.mapreduce.weblog;
importiere java.io.IOException;
importiere org.apache.hadoop.io.LongWritable;
importiere org.apache.hadoop.io.NullWritable;
importiere org.apache.hadoop.io.Text;
importiere org.apache.hadoop.mapreduce.Mapper;
öffentliche Klasse LogMapper erweitert Mapper<LongWritable, Text, Text, NullWritable>{
  Text k = neuer Text();
  @Überschreiben
  geschützte void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
   // 1 1 Datenzeile abrufen String line = value.toString();
   // 2 Protokoll analysieren boolesches Ergebnis = parseLog(Zeile,Kontext);
   // 3 Das Log ist unzulässig und wird beendet, wenn (!result) {
     zurückkehren;
   }
   // 4 Taste setzen
   k.set(Zeile);
   // 5 Daten schreiben context.write(k, NullWritable.get());
  }
  // 2 Protokoll analysieren private boolean parseLog(String line, Context context) {
   // 1 Achsenabschnitt String[] Felder = line.split(" ");
   // 2 Protokolle mit einer Länge von mehr als 11 sind zulässig, wenn (Felder.Länge > 11) {
     // Systemzähler context.getCounter("map", "true").increment(1);
     gibt true zurück;
   }anders {
     Kontext.getCounter("map", "false").Inkrement(1);
     gibt false zurück;
   }
  }
}

Paket com.atguigu.mapreduce.weblog;
importiere org.apache.hadoop.conf.Configuration;
importiere org.apache.hadoop.fs.Path;
importiere org.apache.hadoop.io.NullWritable;
importiere org.apache.hadoop.io.Text;
importiere org.apache.hadoop.mapreduce.Job;
importiere org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
importiere org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
öffentliche Klasse LogDriver {
  öffentliche statische void main(String[] args) wirft Exception {
// Die Eingabe- und Ausgabepfade müssen entsprechend den tatsächlichen Eingabe- und Ausgabepfaden auf Ihrem Computer eingestellt werden. args = new String[] { "e:/input/inputlog", "e:/output1" };
   // 1 Jobinformationen abrufen Configuration conf = new Configuration();
   Job job = Job.getInstance(conf);
   // 2 Laden Sie das JAR-Paket job.setJarByClass(LogDriver.class);
   // 3 zugehörige Karten
   job.setMapperClass(LogMapper.class);
   // 4 Legen Sie den endgültigen Ausgabetyp fest job.setOutputKeyClass(Text.class);
   : job.setOutputValueClass(NullWritable.class);
   // Setze die Anzahl der Reducetasks auf 0
   : Job.setNumReduceTasks(0);
   // 5 Eingabe- und Ausgabepfade festlegen FileInputFormat.setInputPaths(job, new Path(args[0]));
   FileOutputFormat.setOutputPath(job, neuer Pfad(args[1]));
   // 6 Job übermitteln.waitForCompletion(true);
  }
}