图文精华

About云»专题 › 技术学习(版主发帖区) › 大数据学习 › Mapreduce › MapReduce与遗传算法、MapReduce与粒子群算法结合与实现
分享

MapReduce与遗传算法、MapReduce与粒子群算法结合与实现

howtodown 发表于 2015-1-9 17:25:11 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 5 37026
本帖最后由 howtodown 于 2015-1-9 17:37 编辑

问题导读

1.粒子群算法的MapReduce如何通过代码实现？
2.MapReduce如何与遗传算法结合？








遗传算法（大白话解析遗传算法）：遗传算法入门介绍

ava代码用遗传算法解决0-1背包：http://wenku.baidu.com/view/20beb6da6f1aff00bed51ea8.html

一、MapReduce和遗传算法结合：（参考文献：MapReduce-GA-eScience2008）

Map——评估每个个体
输入： (key, value)  (个体索引, 个体)
输出： (key,value)  (相同默认的键值, 个体)

Reduce——选择局部最优个体
输出： (key,value)  (个体, 1)

Reduce——全局最优
输出： (key, value)  (最优个体,1)


Coordinator——交叉、变异


二、MapReduce和粒子群算法结合：(参考文献：Parallel PSOUsing MapReduce)
Map——得到最优个体解
输入：(key, value)(粒子索引，粒子状态：包括相邻节点、位置坐标、速度、位置值、个人最优位置、个人最    优值、全局最优位置、全局最优值)
输出：(key, value) (最优粒子索引，最优粒子状态：同上)

Reduce——得到最优全局解
输出：(key, value) (全局最优粒子索引，全局最优粒子状态：同上)

三、产生初始粒子


  1. import java.io.BufferedWriter;

  2. import java.io.File;

  3. import java.io.FileWriter;

  4. import java.io.IOException;

  5. import java.util.Random;

  6. 

  7. public class psotest {

  8.     

  9.     private final int iRang= 30;

  10.     static int dim =2;

  11.     static int sizepop =20;

  12.     double sum1 = 0;

  13.     double sum2 = 0;

  14.     double g = 10000;

  15.     private Random random =new Random();

  16.     public double[][] pop =new double[sizepop][dim];

  17.     public double[][] dpbest= new double[sizepop][dim];

  18.     public double[][] V =new double[sizepop][dim];

  19.     public double[] fitness= new double[sizepop];

  20.     public double[] gbest =new double[dim]; 

  21.     public double[]fitnessgbest = new double[sizepop];

  22.     public double[]bestfitness = new double[sizepop];

  23.     int m_iTempPos =999;

  24. 

  25.     public void c() {

  26.        for(int i = 0; i < sizepop;i++)

  27.        {

  28.            for(int j= 0; j < dim; j++) {

  29.               pop[i][j] = (random.nextDouble() - 0.5) * 2 *iRang; 

  30.               V[i][j] = dpbest[i][j] =pop[i][j];

  31.            }

  32.            for(int j= 0; j < dim; j++) {

  33.               sum1 += Math.pow(pop[i][j],2);

  34.               sum2 +=Math.cos(2*Math.PI*pop[i][j]);

  35.            }

  36.            fitness[i]= -20 * Math.exp(-0.2 * Math.sqrt((1.0 / dim) * sum1))

  37.                  - Math.exp((1.0 / dim) * sum2) + 20 +2.72;

  38.           bestfitness[i] = 10000;

  39.           if(bestfitness[i] > fitness[i]) {

  40.               bestfitness[i] =fitness[i];

  41.               for(int j = 0; j< dim; j++) {

  42.                  dpbest[i][j] = pop[i][j];

  43.               }

  44.            }

  45.        }

  46.        

  47.        for(int i = 0; i < sizepop;i++)

  48.        {

  49.            if(bestfitness[i] < g) {

  50.                  g = bestfitness[i];

  51.                  m_iTempPos = i;

  52.            }

  53.        }

  54.        if (m_iTempPos != 999) {

  55.            for (int j= 0; j < dim; j++) {

  56.               gbest[j] =dpbest[m_iTempPos][j];

  57.            }

  58.        }

  59.     }

  60.     public static voidmain(String[] args) throws IOException {

  61.        psotest pso = new psotest();

  62.        pso.c();

  63.        File file = newFile("E:\\JavaProgram\\psotest\\input\\file.txt");

  64.        BufferedWriter out=new BufferedWriter(newFileWriter(file,true));

  65.        for(int i = 0; i < sizepop; i++){

  66.           out.write(i + " ");

  67.            for(int j= 0; j < dim; j++) {

  68.               out.write(pso.pop[i][j] + " "+ pso.V[i][j] + " " + pso.dpbest[i][j] + " " + pso.gbest[j] + "");

  69.            }

  70.           out.write(pso.bestfitness[i]+" "+pso.g);

  71.           out.newLine();

  72.        }

  73.        out.close();

  74.     }

  75. }

复制代码

四、粒子群算法的MapReduce版：

  1. package test;

  2. import java.io.IOException;

  3. import java.util.Random;

  4. import org.apache.hadoop.conf.Configuration;

  5. import org.apache.hadoop.fs.FileSystem;

  6. import org.apache.hadoop.fs.Path;

  7. import org.apache.hadoop.io.DoubleWritable;

  8. import org.apache.hadoop.io.Text;

  9. import org.apache.hadoop.mapreduce.Job;

  10. import org.apache.hadoop.mapreduce.Mapper;

  11. import org.apache.hadoop.mapreduce.Reducer;

  12. importorg.apache.hadoop.mapreduce.lib.input.FileInputFormat;

  13. importorg.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

  14. import org.apache.hadoop.util.GenericOptionsParser;

  15. 

  16. public class posmr {

  17.     public static classIntSumReducer extends

  18.           Mapper<Object, Text, DoubleWritable,Text> {

  19.        private DoubleWritable job1map_key = newDoubleWritable();

  20.        private Text job1map_value = new Text();

  21.        static int dim = 2;

  22.        static int sizepop = 20;

  23.        private final double w = 1;

  24.        static double c1 = 1;

  25.        static double c2 = 1;

  26.        public double[] pop = new double[dim];

  27.        public double[] dpbest = new double[dim];

  28.        public double[] V = new double[dim];

  29.        public double[] fitness = newdouble[sizepop];

  30.        public double[] gbest = new double[dim];

  31.        public String[] S_value = new String[dim];

  32.        public String F_value;

  33.        public double bestfitness;

  34.        public double m_dFitness;

  35.        private Random random = new Random();

  36.        double g;

  37.        double sum1;

  38.        double sum2;

  39. 

  40.        public void map(Object key, Text values, Contextcontext)

  41.               throws IOException,InterruptedException {

  42.            Stringitr[] = values.toString().split("\\s");

  43.            int k =1;

  44.            F_value ="";

  45.            for (int j= 0; j < dim; j++) {

  46.               pop[j] =Double.valueOf((itr[k++]));

  47.               V[j] =Double.valueOf((itr[k++]));

  48.               dpbest[j] =Double.valueOf((itr[k++]));

  49.               gbest[j] =Double.valueOf((itr[k++]));

  50.            }

  51.           bestfitness = Double.valueOf((itr[k++]));

  52.            g =Double.valueOf((itr[k++]));

  53. 

  54.            for (int i= 0; i < dim; i++) {

  55.               V[i] = w * V[i] + c1 *random.nextDouble()

  56.                      *(dpbest[i] - pop[i]) + c2 * random.nextDouble()

  57.                      *(gbest[i] - pop[i]);

  58.               pop[i] = pop[i] + V[i];

  59.            }

  60.            sum1 =0;

  61.            sum2 =0;

  62.            //计算Ackley 函数的值

  63.            for (int i= 0; i < dim; i++) {

  64.               sum1 += pop[i] *pop[i];

  65.               sum2 += Math.cos(2 * Math.PI* pop[i]);

  66.            }

  67.            //m_dFitness 计算出的当前值

  68.            m_dFitness= -20 * Math.exp(-0.2 * Math.sqrt((1.0 / dim) * sum1))

  69.                  - Math.exp((1.0 / dim) * sum2) + 20 +2.72;

  70.           if(m_dFitness < 0) {

  71.               System.out.println(sum1 + " "+ m_dFitness + " " + sum2);

  72.            }

  73.            if(m_dFitness < bestfitness) {

  74.               bestfitness =m_dFitness;

  75.               for (int i = 0; i< dim; i++) {

  76.                  dpbest[i] = pop[i];

  77.               }

  78.            }

  79.            for (int j= 0; j < dim; j++) {

  80.               S_value[j] =Double.toString(pop[j]) + " "

  81.                      +Double.toString(V[j]) + " "

  82.                      +Double.toString(dpbest[j]) + " ";

  83.            }

  84.            for (int j= 0; j < dim; j++) {

  85.               F_value += S_value[j];

  86.            }

  87.           job1map_key.set(bestfitness);

  88.           job1map_value.set(F_value);

  89.           context.write(job1map_key, job1map_value);

  90.        }

  91.     }

  92. 

  93.     public static classjob1Reducer extends

  94.           Reducer<DoubleWritable, Text, DoubleWritable,Text> {

  95.        private DoubleWritable job1reduce_key = newDoubleWritable();

  96.        private Text job1reduce_value = newText();

  97.        static int dim = 2;

  98.        static int sizepop = 20;

  99. 

  100.        public double[] pop = new double[dim];

  101.        public double[] dpbest = new double[dim];

  102.        public double[] V = new double[dim];

  103.        public double[] gbest = new double[dim];

  104.        public double[] gbest_temp = newdouble[dim];

  105.        public String[] S_value = new String[dim];

  106.        public String F_value;

  107.        public double m_dFitness =Double.MAX_VALUE;

  108. 

  109.        public void reduce(DoubleWritable key,Iterable<Text> values,

  110.               Context context) throwsIOException, InterruptedException {

  111.            Doublebestfitness = Double.valueOf(key.toString());

  112.            intk;

  113.            if(bestfitness < m_dFitness) {

  114.               m_dFitness =bestfitness;

  115.               for (Text val : values){

  116.                  String itr[] = val.toString().split(" ");

  117.                  k = 0;

  118.                  for (int j = 0; j < dim; j++){

  119.                      pop[j] =Double.valueOf((itr[k++]));

  120.                      V[j] =Double.valueOf((itr[k++]));

  121.                      dpbest[j]= Double.valueOf((itr[k++]));

  122.                  }

  123.                  for (int j = 0; j < dim; j++){

  124.                      gbest[j] =dpbest[j];

  125.                     gbest_temp[j] = dpbest[j];

  126.                  }

  127.                  F_value = "";

  128.                  for (int j = 0; j < dim; j++){

  129.                      S_value[j]= Double.toString(pop[j]) + " "

  130.                            + Double.toString(V[j]) + " "

  131.                            + Double.toString(dpbest[j]) + " "

  132.                            + Double.toString(gbest[j]) + " ";

  133.                  }

  134.                  for (int j = 0; j < dim; j++){

  135.                      F_value +=S_value[j];

  136.                  }

  137.                  F_value += (Double.toString(bestfitness)) + ""

  138.                         +(Double.toString(m_dFitness));

  139.                  job1reduce_key.set(1);

  140.                  job1reduce_value.set(F_value);

  141.                  context.write(job1reduce_key,job1reduce_value);

  142.               }

  143.            } else{

  144.               for (Text val : values){

  145.                  String itr[] = val.toString().split(" ");

  146.                  k = 0;

  147.                  for (int j = 0; j < dim; j++){

  148.                      pop[j] =Double.valueOf((itr[k++]));

  149.                      V[j] =Double.valueOf((itr[k++]));

  150.                      dpbest[j]= Double.valueOf((itr[k++]));

  151.                  }

  152.                  for (int j = 0; j < dim; j++){

  153.                      gbest[j] =gbest_temp[j];

  154.                  }

  155.                  F_value = "";

  156.                  for (int j = 0; j < dim; j++){

  157.                      S_value[j]= Double.toString(pop[j]) + " "

  158.                            + Double.toString(V[j]) + " "

  159.                            + Double.toString(dpbest[j]) + " "

  160.                            + Double.toString(gbest[j]) + " ";

  161.                  }

  162.                  for (int j = 0; j < dim; j++){

  163.                      F_value +=S_value[j];

  164.                  }

  165.                  F_value += (Double.toString(bestfitness)) + ""

  166.                         +(Double.toString(m_dFitness));

  167.                  job1reduce_key.set(1);

  168.                  job1reduce_value.set(F_value);

  169.                  context.write(job1reduce_key,job1reduce_value);

  170.               }

  171.            }

  172.        }

  173.     }

  174. 

  175.     public static voidmain(String[] args) throws Exception {

  176.           Configuration conf = new Configuration();

  177.            String[]otherArgs = new GenericOptionsParser(conf, args)

  178.                  .getRemainingArgs();

  179.            if(otherArgs.length != 2) {

  180.               System.err.println("Usage:wordcount <in><out>");

  181.               System.exit(2);

  182.            }

  183.            Stringinput = otherArgs[0];

  184.            Stringoutput = otherArgs[1];

  185.            FileSystemfs;

  186. 

  187.            try{

  188.               fs =FileSystem.get(conf);

  189.               int step = 20;

  190.               for(int i = 0; i< step; i++) {

  191.                  System.out.println("第" + i + "次：" + i);

  192.                  Job job = new Job(conf, "word count");

  193.                  job.setJarByClass(posmr.class);

  194.                  

  195.                  job.setMapperClass(IntSumReducer.class);

  196.                  job.setReducerClass(job1Reducer.class);

  197.                  

  198.                 job.setMapOutputKeyClass(DoubleWritable.class);

  199.                  job.setMapOutputValueClass(Text.class);

  200.                  

  201.                  job.setOutputKeyClass(Text.class);

  202.                  job.setOutputValueClass(Text.class);

  203.                  

  204.                  FileInputFormat.addInputPath(job, newPath(input));

  205.                  FileOutputFormat.setOutputPath(job, newPath(output));

  206.                  

  207.                  job.waitForCompletion(true);

  208.                  input = output;  

  209.                  output += i;

  210.               }

  211.            } catch(IOException e) {

  212.               e.printStackTrace();

  213.            } catch(InterruptedException e) {

  214.               e.printStackTrace();

  215.            } catch(ClassNotFoundException e) {

  216.               e.printStackTrace();

  217.            }

  218.        }

  219. }

  220. 

复制代码


























关注公众号，获取大数据、人工智能20套、区块链资源5阶段等资源，随时更新，获取最新技术资源
回复

使用道具 举报

自定义广告语

已有(5)人评论

跳转到指定楼层
正序浏览
maizhu 发表于 2015-1-9 18:02:12
好，学习了
回复

使用道具 举报

stark_summer 发表于 2015-1-9 18:22:39
回复

使用道具 举报

zqh_2014 发表于 2015-1-13 14:03:25
回复

使用道具 举报

xegz 发表于 2016-1-29 21:14:53
求分享下粒子群mapreduce的测试数据集
回复

使用道具 举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

发表新帖
howtodown

版主

关注

  • 666

    主题

  • 1249

    帖子

  • 322

    粉丝

TA的主题
关闭

推荐上一条 /2 下一条

关于我们· 联系我们· 加入我们· 小黑屋· 合作伙伴   

Copyright © 2001-2025 About云 Powered by Discuz! X3.4 Licensed Discuz Team.

简书 / Smrz 京ICP备2020039040号 Wxb 简书网举报电话：021-34700000