Jackson | @Blog

Spark 占坑

官方文档：http://spark.apache.org/docs/2.3.1/sql-programming-guide.html#jdbc-to-other-databases ...

Posted by Jackson on 2018-02-19

Spark

CDH5.16.1集群部署(Parcel方式)

CDH5.16.1集群离线部署离线部署节点规划：节点 MySQL组件 Parcel文件离线源 CM服务进程大数据组件 Hadoop001 MySQL Parcel Activity Monitor NN RM DN NM Hadoop002 Alert Publisher Event Server DN NM Hadoop003 Host Monitor ......

Posted by Jackson on 2018-01-29

CDH

flume 进阶

案例1：双层Flume串联双层flume衔接，第一层从exec采集sink到avro中，第二层从上一层的avro接收采集输出到控制台第一层采用 exec source ===> memory channel ===> avro sink 第二层采用 avro source ===> memory channel ===> logger sink Agent1 12......

Posted by Jackson on 2018-01-06

Flume

flume 基础配置和使用

flume 基础配置文件example.conf 1234567891011121314151617181920212223# Name the components on this agent 设置Agent各个组件的名称a1.sources = r1a1.sinks = k1a1.channels = c1# Describe/configure the source 配置Agent的s......

Posted by Jackson on 2017-12-14

Flume

Spark RDD 的 Action操作

1. reduce(func) 通过func函数聚集RDD中的所有元素，这个功能必须是可交换且可并联的 1234567891011scala> val rdd1 = sc.makeRDD(1 to 10,2)rdd1: org.apache.spark.rdd.RDD[Int] = ParallelCollectionRDD[85] at makeRDD at <console&......

Posted by Jackson on 2017-10-19

Spark

Spark RDD 的Transformation 操作

@[toc] 算子的学习思想：查看源码，主要看输入的是什么类型，需要什么类型的输出，然后给出合适的函数来执行操作。 RDD 的操作总体上来说RDD的操作有三大类：transformation、action、cache 1)transformations RDDA ===> RDDB ===> RDDC All transformations in Spark are lazy......

Posted by Jackson on 2017-10-16

Spark

SparkContext 、SparkConf 、Spark-Shell

SparkContext 、SparkConf 、Spark-Shell Spark 官网：http://spark.apache.org/docs/2.2.0/rdd-programming-guide.html Spark Download：https://archive.apache.org/dist/spark/ The first thing a Spark program mus......

Posted by Jackson on 2017-10-14

Spark

IP地址解析对应省市地区

IP 地址解析采用ip2region 来解析IP地址 1.下载离线的IP库下载地址：https://github.com/lionsoul2014/ip2region/tree/master/data 下载ip2region.db 2.导入Maven依赖 org.lionsoul ip2region 1.7.2 3.编写解析IP工具类默认的格式解析出来的是......

Posted by Jackson on 2017-10-13

Java

Spark RDD 的创建

Rdd 的创建官方文档：http://spark.apache.org/docs/2.2.0/rdd-programming-guide.html#resilient-distributed-datasets-rdds There are two ways to create RDDs: parallelizing an existing collection in your driver......

Posted by Jackson on 2017-10-13

Spark

Scala面向对象

spark源码：https://github.com/apache/spark/archive/v2.2.2.zip scala的构造器、主构造器和附属构造器主构造器用clclass定义，附属构造器用def定义名称为this()，在附属构造器的第一行必须调用主构造器和其他附属构造器。 123456789101112131415161718192021/** * scala 中的构造器 *......

Posted by Jackson on 2017-10-13

Scala