Jackson | @Blog

Scala语言介绍

Scala之chapter01 Scala语言特点： Scala 是一门以 java 虚拟机（JVM）为运行环境并将面向对象和函数式编程的最佳特性结合在一起的静态类型编程语言。 1.Scala 是一门多范式 (multi-paradigm) 的编程语言，Scala 支持面向对象和函数式编程 2.scala 源代码(.scala)会被编译成 Java 字节码(.class)，然后运行于 JV......

Posted by Jackson on 2017-10-13

Scala

Scala quene、set、map、模式匹配

Scala中的队列 在scala中我们可以直接使用队列类型Queue，分为可变队列和不可变队列 一般俩说我们在开发中通常使用可变集合中的队列 1234567891011121314151617181920212223import scala.collection.mutableval q1 = new mutable.Queue[Int]// 队列追加单个元素q1 += 9// 队列追加li......

Posted by Jackson on 2017-10-13

Scala

Spark RDD概念、特性、源码体现

Spark RDD概念、特性、源码体现 RDD 的GitHub地址： https://github.com/apache/spark/blob/master/core/src/main/scala/org/apache/spark/rdd/RDD.scala 12345678910111213141516171819202122232425262728/** * A Resilient Di......

Posted by Jackson on 2017-10-13

Spark

Jackson@Rundeck部署

Jackson@Rundeck部署 1.下载解压 1234567[root@bigdata001 ~]# su - hadoop[hadoop@bigdata001 ~]$ cd app/[hadoop@bigdata001 app]$ mkdir rundeck[hadoop@bigdata001 app]$ cd rundeck/[hadoop@bigdata001 rundeck]$ ......

Posted by Jackson on 2017-09-18

Schedul

数据仓库概念

数据仓库的分层不是越多越好，合理的层次设计，以及计算成本 和人力成本的平衡，是一个好的数仓架构的表现。 数据仓库 数据仓库，英文名称为Data Warehouse，可简写为DW或DWH。 数据仓库，是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合，它是单个数据存储，出于分析性报告和决策支持目的而创建，为需要业务智能的企业，提供指导业务流程改进、监视时间、成本、质量以及控制。 ......

Posted by Jackson on 2017-09-15

DataWareHouse

Superset 部署使用

Superset 安装 Superset 官网部署链接：http://superset.apache.org/installation.html 注意: 使⽤root⽤户操作 1.安装Python3环境准备的包 12yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-d......

Posted by Jackson on 2017-09-14

DataView

Sqoop 安装使用及问题解决

Sqoop 概述(SQL to Hadoop) 作用：将数据从RDBMS 和Hadoop 之间进行导入导出，底层采用的是MapReduce实现 两大版本： 1.4.* Sqoop1 1.99.* Sqoop2 123456基于Hadoop作为参考点/基准点 导入: import RDBMS ==> Hadoop 导出: export Hadoop ==> RD......

Posted by Jackson on 2017-09-10

Sqoop

Hive Order By、Sort By、Distribute By、Cluster By

Hive 中的order by、sort by、distribut by、cluster by Order By order by 是全局排序，只能够有一个reduce作业来完成，多个reduce时候保证不了全局有序 通过参数 hive.mapred.mode 进行查看当前的模式 非严格模式下：order by 后面不需要加limit 严格模式下： 普通表：order by 需要加上limi......

Posted by Jackson on 2017-09-09

Hive

Hive 行列转换、HiveWC、配置目录

Hive列转行 1234567create database if not exists company;create table company(name string,deptno string,grade string) row format delimited fields terminated by ','; 1load data local inpath '/home/hadoo......

Posted by Jackson on 2017-09-08

Hive

MySQL列转行、行转列

准备数据 创建表： 123456789DROP TABLE IF EXISTS tb_score;CREATE TABLE tb_score( id INT(11) NOT NULL auto_increment, userid VARCHAR(20) NOT NULL COMMENT '用户id', subject VARCHAR(20) COMMENT '科目', ......

Posted by Jackson on 2017-09-07

MySQL

FEATURED TAGS
Schedul DataView Hadoop ERROR Linux BigData DataWareHouse 源码分析 Hive MySQL Scala Spark Shell Java CDH Flume Sqoop
ABOUT ME

Do not stop if you have a dream

RECENT POSTS
FRIENDS
ARCHIVES