足球主题游戏视频网站运营初期的工作职责是什么?
摘要:可以用足球做的游戏视频网站,网站运营刚做时的工作内容,成都比较好的网站建设公司,如何做一个自己的电商平台RDD Cache缓存 RDD通过Cache或者Persist方法将前面的计算结果缓存,默认情况下会把数据
可以用足球做的游戏视频网站,网站运营刚做时的工作内容,成都比较好的网站建设公司,如何做一个自己的电商平台RDD Cache缓存 RDD通过Cache或者Persist方法将前面的计算结果缓存#xff0c;默认情况下会把数据以序列化的形式缓存在JVM的堆内存中。但是并不是这两个方法被调用时立即缓存#xff0c;而是触发后面的action时#xff0c;该RDD将会被缓存在计算节点的内存中#xff0c;并供…RDD Cache缓存 RDD通过Cache或者Persist方法将前面的计算结果缓存默认情况下会把数据以序列化的形式缓存在JVM的堆内存中。但是并不是这两个方法被调用时立即缓存而是触发后面的action时该RDD将会被缓存在计算节点的内存中并供后面重用。 1代码实现
object cache01 {def main(args: Array[String]): Unit {//1.创建SparkConf并设置App名称val conf: SparkConf new SparkConf().setAppName(SparkCoreTest).setMaster(local[*])//2.创建SparkContext该对象是提交Spark App的入口val sc: SparkContext new SparkContext(conf)//3. 创建一个RDD读取指定位置文件:hello atguigu atguiguval lineRdd: RDD[String] sc.textFile(input1)//3.1.业务逻辑val wordRdd: RDD[String] lineRdd.flatMap(line line.split( ))val wordToOneRdd: RDD[(String, Int)] wordRdd.map {word {println(************)(word, 1)}}//3.5 cache操作会增加血缘关系不改变原有的血缘关系println(wordToOneRdd.toDebugString)//3.4 数据缓存。
