新增用户数据处理_程序测试二-【官方】百战程序员_IT在线教育培训机构


xxxxxxxxxx
private void processArgs(Configuration conf, String[] args) {
    ......
    //验证日期格式是否符合要求,不符合要求的话，默认使用昨天
    if(StringUtils.isBlank(date)|| !TimeUtil.isValidateRunningDate(date)){
        date = TimeUtil.getYesterday();
    }
    LOGGER.info("============date========="+date);
    //将日期保持到conf对象中
    conf.set(GlobalConstants.RUNNING_DATE_PARAMES,date);
}

再次运行Runner类，bug解决了，显示分析的是2022-02-06（默认使用昨天）

再去mysql查看以下表dimension_browser,dimension_date,dimension_platform,stats_user,stats_device_browser，都没有数据，原因是hbase的eventlog表中只有2022-01-20到2022-01-25的数据。

设置运行Runner时传入日期参数：-d 2022-01-20

在NewInstallUserMapper类的map方法的"有效首行"和NewInstallUserReducer类的reduce方法的"有效首行"处分别添加断点。

再次运行Runner类，提示分析是2022-01-20的数据，但是依然发现NewInstallUserMapper类map方法中的断点没有执行到，说明没有从hbase的表中查询到数据，才导致没有进入到NewInstallUserMapper类的Mapper方法中。

再次检查查询的过滤条件，发现查询的起始和结束时间的转换处存在问题：

将NewInstallUserRunner类的getScans方法的以下代码进行修改：


xxxxxxxxxx
scan.withStartRow(Bytes.toBytes(startTime),true);
scan.withStopRow(Bytes.toBytes(stopTime),true);

修改为：


xxxxxxxxxx
scan.withStartRow(Bytes.toBytes(startTime+""),true);
scan.withStopRow(Bytes.toBytes(stopTime+""));

修改后进行进行debug调试。

能够进入到NewInstallUserMapper类map方法中的断点处了，将此处的断点去掉后，再次debug调试，出现如下异常：


xxxxxxxxxx
java.lang.NullPointerException
    at cn.itbaizhan.tranformer.model.DateDimension.readFields(DateDimension.java:103)
    at cn.itbaizhan.tranformer.model.StatsCommonDimesion.readFields(StatsCommonDimesion.java:52)
    at cn.itbaizhan.tranformer.model.StatsUserDimesion.readFields(StatsUserDimesion.java:43)

修改DateDimension类


xxxxxxxxxx
private Date calendar;

修改为：


xxxxxxxxxx
private Date calendar= new Date();

修改后再次Debug调试，这次能够进入到NewInstallUserReducer类的reduce方法中的断点处了，跳过断点继续执行，出现如下异常：


xxxxxxxxxx
ava.lang.Exception: java.io.IOException: java.lang.ClassNotFoundException: cn.itbaizhan.tranformer.mr.StatsUserNewInstallUserCollector

将cn.itbaizhan.tranformer.mr下的StatsUserNewInstallUserCollector和StatsDeviceBrowserNewInstallUserCollector类拷贝到对应的目录下。
再次Debug调试，可以正常执行，取消掉NewInstallUserReducer类的reduce方法的断点，并继续运行。可以正常执行完毕。
检查mysql的表发现浏览器新增用户相关信息没有添加信息。
检查NewInstallUserMapper类发现kpiBrowserNewInstallUser定义错误，修改：


xxxxxxxxxx
private KpiDemension kpiBrowserNewInstallUser =
            new KpiDemension(EventLogConstants.NEW_INSTALL_USER);

修改为：


xxxxxxxxxx
private KpiDemension kpiBrowserNewInstallUser =
            new KpiDemension(EventLogConstants.BROWSER_NEW_INSTALL_USER);

再次运行程序，并检查mysql表的数据，这次变正常了。

新增用户数据处理_程序测试一新增用户数据处理_程序测试三

北京市昌平区回龙观镇南店村综合商业楼2楼226室