Jackson | @Blog

Hadoop 架构、小文件、Block块

block块、 副本数 、小文件、hdfs架构、NN、SNN 1.block块 在hdfs-site.xml查看查看：https://hadoop.apache.org/docs/r2.10.0/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml dfs.blocksize 134217728 128M block块大小默认128M df......

Posted by Jackson on 2017-08-18

Hadoop BigData

Jps的正确使用姿势

Hadoop 的 jps 命令 jps的主要功能是查看java接口的进程号 jps(Java Virtual Machine Process Status Tool) 是JDK 提供给我们的一个查看当前所有java进程PID的命令，缺点是只支持当前用户的Java进程，要显示其他用户还是只能够 用ps命令 1.jps命令类似于Linux的ps命令 ，直接运行jps命令，显示的是java程序的......

Posted by Jackson on 2017-08-17

Hadoop

MySQL 中 datetime 和 timestamp 的区别

占用空间 12datetime 8 字节 yyyy-mm-dd hh:mm:sstimestamp 4 字节 yyyy-mm-dd hh:mm:ss 表示范围 12datetime '1000-01-01 00:00:00.000000' to '9999-12-31 23:59:59.999999'timestamp '1970-01-01 00:00:01.000000' to '203......

Posted by Jackson on 2017-08-16

MySQL

Hadoop NameNode 启动不了

报错信息为： 1234567891011121314org.apache.hadoop.hdfs.server.namenode.FSNamesystem: Encountered exception loading fsimageorg.apache.hadoop.hdfs.server.common.InconsistentFSStateException: Directory /hom......

Posted by Jackson on 2017-08-15

ERROR

Hadoop 之 Yarn部署和使用

1.Yarn 伪分布式 单点部署 主从架构 Yarn的单点部署文档：https://hadoop.apache.org/docs/r2.10.0/hadoop-project-dist/hadoop-common/SingleCluster.html 1.1 Configure parameters as follows etc/hadoop/mapred-site.xml: 123456&......

Posted by Jackson on 2017-08-14

Hadoop

Hadoop 之HDFS部署测试

1.hadoop Apache Hadoop 地址：https://hadoop.apache.org/docs/r2.10.0/hadoop-project-dist/hadoop-common/SingleCluster.html Cloudera Hadoop 地址：http://archive.cloudera.com/cdh5/cdh/5/ http://arch......

Posted by Jackson on 2017-08-13

Hadoop

MySQL 建表剖析

创建数据库 核心三条： 123create database bigdata;grant all privileges on *.* to jspon@'%' identified by '123456';flush privileges; 在登录mysql的时候 mysql -urooot -p -和p之间不能有空格 show processlist 12345678mysql>......

Posted by Jackson on 2017-08-13

MySQL

MySQL 的安装和配置

Mysql安装和配置 注意：在安装时候要注意命令是在哪个用户，哪个目录下面执行的 1.上传压缩包 上传压缩包到/usr/local tar-zxvf mysql-5.6.23-linux-glibc2.5-x86_64.tar.gz 解压 2.检查以前是否有安装 123ps -ef |grep mysqld rpm -qa |grep -i mysql 3.建立软连接 12cd /usr/l......

Posted by Jackson on 2017-08-12

MySQL

HDFS Block损坏恢复

校验HDFS的健康状态 12345678910111213141516171819202122-bash-4.2$ hdfs fsck /Connecting to namenode via http://yws76:50070/fsck?ugi=hdfs&path=%2FFSCK started by hdfs (auth:SIMPLE) from /192.168.0.76 fo......

Posted by Jackson on 2017-08-11

Hadoop

Shell 脚本的使用

1.shell脚本的创建执行 12#!/bin/bashecho "www.google.com" 执行：/opt/shell/wordcount.sh 给该脚本的用户以及用户组加上执行权限 chmod 654 xxx.sh shell 命令的debug 在#!/bin/bash 后面加上-x的参数可以在控制台中打印出执行的命令以及执行命令的结果 sh -x wordcount.sh 可以使......

Posted by Jackson on 2017-08-11

Shell

FEATURED TAGS
Schedul DataView Hadoop ERROR Linux BigData DataWareHouse 源码分析 Hive MySQL Scala Spark Shell Java CDH Flume Sqoop
ABOUT ME

Do not stop if you have a dream

RECENT POSTS
FRIENDS
ARCHIVES