分享

关于流数据处理结果的落地存储问题。

梦回三国 发表于 2015-5-27 09:58:33 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 4 16243

已有(4)人评论

跳转到指定楼层
bob007 发表于 2015-5-27 10:33:35


控制台输出信息,可以保存为文件,这些都是可以自定义的。
比如下面
修改LogWriter类的静态域即可随意切换输出了。main方法中代码不用改变。
代码如下:
[mw_shl_code=java,true]import java.io.File;
import java.io.FileOutputStream;
import java.io.IOException;
import java.io.OutputStream;

public class WriteOut {

        public static void main(String[] args) throws IOException {
                LogWriter.log("log info...");
        }

}[/mw_shl_code]



[mw_shl_code=java,true]class LogWriter {
        // 可以写作配置:true写文件; false输出控制台
        private static boolean fileLog = true;
        private static String logFileName = "/tmp/log.log";
       
        public static void log(String info) throws IOException {
                OutputStream out = getOutputStream();
                out.write(info.getBytes("utf-8"));
        }
       
        public static OutputStream getOutputStream() throws IOException {
                if (fileLog) {
                        File file = new File(logFileName);
                        if (!file.exists())
                                file.createNewFile();
                        return new FileOutputStream(file);
                } else {
                        return System.out;
                }
        }
}[/mw_shl_code]






回复

使用道具 举报

梦回三国 发表于 2015-5-27 10:37:38
bob007 发表于 2015-5-27 10:33
控制台输出信息,可以保存为文件,这些都是可以自定义的。
比如下面
修改LogWriter类的静态域即可随意 ...

你的意思是控制台一些节点运行信息都可以不让其输出,只让其输出结果吗?如果是这样的话,流数据的处理结果怎么判断哪个是最新的处理结果呢,如果是不同查询的结果也不好弄啊
回复

使用道具 举报

bob007 发表于 2015-5-27 10:43:31
梦回三国 发表于 2015-5-27 10:37
你的意思是控制台一些节点运行信息都可以不让其输出,只让其输出结果吗?如果是这样的话,流数据的处理结 ...

这个看你想实现什么了。
比如你只关心结果,那么就只输入结果到日志或则控制台。
这个只是通用的,你可以对他们具体的分解。
比如你可以将不同的结果调用不同的函数,或则自己写个通用的类和函数,将参数可以是文件名称,这样达到不同的结果放到不同的文件。
同样你也可以将部分输出内容,放到日志或则控制台。

也就是说你可以把这些信息,可以分门别类的,输出控制台和日志文件。

回复

使用道具 举报

梦回三国 发表于 2015-5-27 10:47:34
bob007 发表于 2015-5-27 10:43
这个看你想实现什么了。
比如你只关心结果,那么就只输入结果到日志或则控制台。
这个只是通用的,你可 ...

恩恩,谢谢,你的意思我有点明白。主要是我们的查询需求比较多,比如有count,sum,groupby等返回结果不同,然后还要区分不同用户,最后还要结果不停的更新取最新的,感觉对结果的处理好麻烦。
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条