如何通过shell脚本实现日志的清洗操作？

问题的提出 公司有一个用户行为分析系统，可以记录用户在使用公司产品过程中的一系列操作轨迹，便于分析产品使用情况以便优化产品 UI 界面布局。这套系统有点类似于 Google Analyse（GA），所不同的是，为了让用户把产品用起来，公司会将用户行为与优惠活动联系起来，例如购买产品后一段时间内如果使用时长达到一定标准，就能从销售那里领取小礼品，初衷是为了让用户把产品用起来。可是这个活动一经推出，我这边电话就被打爆了，因为经常有用户感觉自己在用产品了，但是销售给他反馈的时长信息却没有增长。于是实施同事会要求我们去排查问题，可能很多情况下，就是用户没联网、或者防火墙设置的太严格了导致数据上不来、甚至是后台服务挂了导致数据没及时分析……其实 90% 以上的问题和客户端没关系，而是后台在某个环节丢失了数据，但是作为查问题的第一个环节，客户端开发往往会被顶到前线充当 call center 的角色，浪费大量个人时间不说，效率也是极低的。