Mdrill测试数据写入程序的示例分析

Mdrill测试数据写入程序的示例分析

Mdrill测试数据写入程序的示例分析，针对这个问题，这篇文章详细介绍了相对应的分析和解答，希望可以帮助更多想解决这个问题的小伙伴找到更简单易行的方法。

需要写入数据的表的sql：

CREATE TABLE tv (

thedate string,

tv string

)

写入的java代码：

import java.io.BufferedWriter;

import java.io.IOException;

import java.io.OutputStreamWriter;

import java.text.SimpleDateFormat;

import java.util.Calendar;

import java.util.Date;

import org.apache.hadoop.conf.Configuration;

import org.apache.hadoop.fs.FSDataOutputStream;

import org.apache.hadoop.fs.FileSystem;

import org.apache.hadoop.fs.Path;

public class ImportData {

 static Configuration conf = null;

 static FileSystem fs = null;

 public static void main(String[] args) throws IOException {

  conf = ConfigurationUtil.getConf();

  fs = FileSystem.get(conf);

  // TODO Auto-generated method stub

  String pathStirng = "/group/tbdp-etao-adhoc/p4padhoc/tablelist/tv";

  // 生成一年的文件夹(365个)，并将数据写入到文件夹中 文件夹名称：dt=20140201

  Calendar calendar = Calendar.getInstance(); // 创建一个日历对象

  calendar.setTime(new Date());

  calendar.set(2013, 1, 1);

  SimpleDateFormat sf = new SimpleDateFormat("yyyyMMdd");

  while (calendar.get(Calendar.YEAR) < 2014) {

   System.out.println(sf.format(calendar.getTime()));

   String dateStr = sf.format(calendar.getTime());

   String path = pathStirng + "/dt=" + dateStr;

   mkdir(path);

   writeTVData(path, dateStr);

   calendar.add(Calendar.DAY_OF_YEAR, 1);

  }

  fs.close();

 }

 /**

  * 写入100000条数字

  * @param dir

  * @throws  IOException

  */

 public static void writeTVData(String dir, String dateStr)

   throws IOException {

  FSDataOutputStream fos = null;

  OutputStreamWriter osw = null;

  BufferedWriter bw;

  fos = fs.create(new Path(dir + "/data.txt"), false);

  osw = new OutputStreamWriter(fos);

  bw = new BufferedWriter(osw);

  //给data.txt 一行行追加数据

  for (int i = 0; i < 100000; i++) {

   StringBuffer strBuffer = new StringBuffer();

   strBuffer.append(dateStr);

   strBuffer.append((char) 1);

   strBuffer.append(i);

   strBuffer.append(System.lineSeparator());

   bw.write(strBuffer.toString());

  }

  bw.close();

  osw.close();

  fos.close();

 }

 public static void mkdir(String dir) throws IOException {

  Path p = new Path(dir);

  if (!fs.exists(p)) {

   fs.mkdirs(p);

  }

 }

}

关于Mdrill测试数据写入程序的示例分析问题的解答就分享到这里了，希望以上内容可以对大家有一定的帮助，如果你还有很多疑惑没有解开，可以关注高防服务器网行业资讯频道了解更多相关知识。

[微信提示：高防服务器能助您降低 IT 成本，提升运维效率，使您更专注于核心业务创新。

[图文来源于网络，不代表本站立场，如有侵权，请联系高防服务器网删除]
[