自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

sowhat

公众号:sowhat1412

  • 博客(15)
  • 资源 (84)
  • 论坛 (1)
  • 收藏
  • 关注

原创 第三天:SparkSQL
原力计划

第1章 Spark SQL概述什么是Spark SQLSpark SQL是Spark用来处理结构化数据的一个模块,它提供了2个编程抽象:DataFrame和DataSet,并且作为分布式SQL查询引擎的作用。我们已经学习了Hive,它是将Hive SQL转换成MapReduce然后提交到集群上执行,大大简化了编写MapReduc的程序的复杂性,由于MapReduce这种计算模型执行效率比较慢。所有Spark SQL的应运而生,它是将Spark SQL转换成RDD,然后提交到集群执行,执行效率非常快!

2020-06-30 20:08:37 362 2

原创 第二天:Spark Core
原力计划

Java IO回忆字节跟字符区别,InputStream、OutputStream、Writer、Reader 。字节流,分2种:a.输入b.输出2.字符流,也分2种:a.输入(读,即读取)b.输出(写,即写入)PS: 字节流是万能的,方便人类读写才出来的字符流。字符流就包装后的字节流。文件字节流读入InputStream in = new FIleInputStream("xxx")缓冲流, 体现了Java装饰者模式InputStream bufferIn = new

2020-06-29 10:16:44 341

原创 第二天:Kafka API操作
原力计划

API消息发送流程Kafka的Producer发送消息采用的是异步发送的方式。在消息发送的过程中,涉及到了两个线程——main线程和Sender线程,以及一个线程共享变量——RecordAccumulator。main线程将消息发送给RecordAccumulator,Sender线程不断从RecordAccumulator中拉取消息发送到Kafka broker。相关参数:batch.size:只有数据积累到batch.size之后,sender才会发送数据。linger.ms:如果数据迟迟未

2020-06-28 15:10:23 6875

原创 第一天:Kafka理论学习
原力计划

Kafka 概述1. 定义Kafka是一个分布式的基于发布/订阅模式的消息队列(Message Queue),主要应用于大数据实时处理领域。2. 消息队列传统场景MQ传统应用之异步处理队列。消息队列两种模式点对点模式(一对一,消费者主动拉取数据(不断的轮询),消息收到后消息清除)消息生产者生产消息发送到Queue中,然后消息消费者从Queue中取出并且消费消息。消息被消费以后,queue中不再有存储,所以消息消费者不可能消费到已经被消费的消息。Queue支持存在多个消费者,但是对一个消息而

2020-06-26 18:16:57 339

原创 第四天:HBase 优化
原力计划

1. 高可用在HBase中Hmaster负责监控RegionServer的生命周期,均衡RegionServer的负载,如果Hmaster挂掉了,那么整个HBase集群将陷入不健康的状态,并且此时的工作状态并不会维持太久。所以HBase支持对Hmaster的高可用配置。关闭HBase集群(如果没有开启则跳过此步)[atguigu@hadoop102 hbase]$ bin/stop-hbase.sh在conf目录下创建backup-masters文件[atguigu@hadoop102

2020-06-22 17:58:01 331 2

原创 第三天:HBase API
原力计划

API调用工作中更常用的绝对是通过HBase的API来调用实现类似HBase shell的操作。环境准备IDEA + Maven + HBase<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schem

2020-06-20 12:38:39 284

原创 第二天:Hbase进阶
原力计划

HBase 安装 跟 shell操作,以及HBase 的若干原理

2020-06-18 22:41:53 412 4

原创 第一天:Hbase 概述
原力计划

1. 什么是HBaseHBase的原型是Google的BigTable论文,受到了该论文思想的启发,目前作为Hadoop的顶级项目来开发维护,用于支持结构化的数据存储。HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBASE技术可在廉价PC Server上搭建起大规模结构化存储集群。HBase的目标是存储并处理大型的数据,更具体来说是仅需使用普通的硬件配置,就能够处理由成千上万的行和列所组成的大型数据。【非大勿用】HBase是Google Bigtable的开源实现,但是也

2020-06-17 18:46:18 963 2

原创 第一天:spark基础
原力计划

Hadoop体系回顾Hadoop 的概念可追溯到 2003,2004 Google2篇论文(老版三辆马车),2011年发布1.0版本,2012年发布稳定版。Hadoop 在2.0版本之前组件主要是 HDFS跟MapReduce。1.0版本框架主要如下:职责:HDFS负责文件存储MapReduce负责资源调度跟计算缺点:mr基于数据集的计算,所以面向数据基本运算规则从存储介质中获取(采集)数据,然后进行计算,最后将结果存储到介质中,所以主要应用于一次性计算,不适合于数据挖掘和机器学

2020-06-12 17:57:10 491

原创 Sqoop看这篇文章就够了
原力计划

Sqoop 简介Sqoop 是一款开源的工具,主要用于在 Hadoop(Hive)与传统的数据库(mysql、postgresql…)间进行数据的传递,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres 等)中的数据导进到 Hadoop 的 HDFS 中,也可以将 HDFS 的数据导进到关系型数据库中。Sqoop 项目开始于 2009 年,最早是作为 Hadoop 的一个第三方模块存在,后来为了让使用者能够快速部署,也为了让开发人员能够更快速的迭代开发,Sqoop 独

2020-06-11 17:29:45 735 1

原创 Zookeeper实战
原力计划

注册服务跟发现定义:微服务时代,多个相同的jar包在不同的服务器上开启相同的服务,可以通过nginx在服务端进行负载均衡的配置。也可以通过ZooKeeper在客户端进行负载均衡配置。多个服务注册客户端获取中间件地址集合从集合中随机选一个服务执行任务服务端代码用SpringBoot完成一个最简单的web服务,并且连接zk服务器,实现注册功能。ProductController@RestController@RequestMapping("/product")public cl

2020-06-10 21:32:22 500 4

原创 浅谈大数据中的 2PC、3PC、Paxos、Raft、ZAB
原力计划

一致性简述一致性,是指对每个节点一个数据的更新,整个集群都知道更新,并且是一致的。假设一个具有N个节点的分布式系统,当其满足以下条件时,我们说这个系统满足一致性:全认同: 所有N个节点都认同一个结果值合法: 该结果必须由N个节点中的过半节点提出可结束: 决议过程在一定时间内结束,不会无休止地进行下去面临着的问题消息传递异步无序: 现实网络不是一个可靠的信道,存在消息延时、丢失,节点间消息传递做不到同步有序节点宕机: 节点持续宕机,不会恢复节点宕机恢复: 节点宕机一段时间后恢复,

2020-06-09 19:29:40 1100 4

原创 分布式系统浅谈
原力计划

分布式系统基础知识一个tomcat打天下的时代,不能说完全淘汰了,在一个管理系统,小型项目中还经常使用,这并不过分,出于成本的考虑,这反而值得提倡。但如果要延伸到高并发场景下就必然要了解分布式系统:分布式系统分布式系统:一个硬件或软件组件分布在不同的网络计算机上,彼此之间仅仅通过消息传递进行通信和协调的系统这是分布式系统,在不同的硬件,不同的软件,不同的网络,不同的计算机上,仅仅通过消息来进行通讯与协调这是他的特点,更细致的看这些特点又可以有:分布性、对等性、并发性、缺乏全局时钟、故障随时会发生

2020-06-08 14:17:48 1425 3

原创 6W字的Hive讲解只为你更懂它
原力计划

1. Hive 入门什么是HiveHive:由Facebook开源用于解决海量结构化日志的数据统计。Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张表,并提供类SQL查询功能。本质:将HQL转化成MapReduce程序Hive特性:Hive处理的数据存储在HDFSHive分析数据底层的实现是MapReduce执行程序运行在Yarn上Hive的优缺点优点:操作接口采用类SQL语法,提供快速开发的能力(简单、容易上手)。避免了去写MapReduce

2020-06-08 10:30:45 879 2

原创 分布式思维概述
原力计划

软件-互联网的发展史大型主机优点:集中式的计算机系统,高的稳定性和安全性。大型主机缺点:非常贵,一般的小企业用不起。比较复杂,培养人才的成本比较高。单点一旦故障,整个系统停转,损失非常大。个人PC电脑的性能越来越高,成本也越来越低。Web时代c/s时代:富客户端方案。卖软件可赚钱。qq、影音、游戏。早期流行。Web 1. 0特色主要是单向信息的发布,即信息门户—> 广大浏览器客户端互联网内容是由少数编辑人员(或站长)定制的。代表:三大门户,新浪/网易/搜狐。

2020-06-07 20:27:45 2110 7

丁奇Mysql45.zip

丁奇Mysql45.zip

2020-08-31

RabbitMQ课件_V1.0.docx

RbbitMQ 开源讲解案例

2021-01-22

spark全套学习资料.zip

Spark学习全套技术

2020-06-30

狂神docker笔记.zip

狂神Docker笔记,相对来说比较全面 狂神Docker笔记,相对来说比较全面 狂神Docker笔记,相对来说比较全面

2020-09-17

刷网页访问量.zip

IP代理实现 网页访问量的增加

2019-11-25

Anaconda3-4.3.1-Linux-x86_64.sh

Anaconda3-4.3.1-Linux-x86_64.sh

2020-06-08

zookeeper.zip

zookeeper学习资料汇总,zookeeper学习资料汇总,zookeeper学习资料汇总,zookeeper学习资料汇总,zookeeper学习资料汇总

2020-09-28

Spring Boot整合Shiro.zip

Spring Boot整合Shiro.zip

2020-08-30

my-site.zip

springboot+mybatis+thymeleaf+docker构建的个人站点开源项目(集成了个人主页、个人作品、个人博客)

2020-08-27

selfstarter.zip

自定义Starter

2020-08-19

ssmdemo.zip

SSM整合,

2020-08-15

mysql5.7 安装教程

mysql5.7 安装教程

2020-08-11

mybatislearn.zip

Spring教程 及整合Mybatis

2020-08-06

mybatislearn.zip

MyBatis急速入门

2020-08-03

rabbitMQ 代码.zip

RabbitMQ开发代码demo,

2020-07-20

Hue安装配置教程.zip

hue教程

2020-07-20

RabbitMQ极速入门.zip

RabbitMQ极速入门

2020-07-19

rabbitmq.zip

MQ安装跟SpringBoot整合,MQ安装跟SpringBoot整合,MQ安装跟SpringBoot整合

2020-07-19

redisgeo.zip

SpringBoot+Geo实战

2020-07-17

Flink学习资料.zip

Flink学习全套代码

2020-07-16

Kafka全套学习笔记.zip

Kafka全套学习笔记

2020-06-28

HBase学习.doc

HBase学习日记,

2020-06-22

2.7 winutils 跟 NativeIO源码.zip

Hadoop2.7*本地运行所需要的各种资源

2020-06-20

HBase配置文件若干配置.zip

HBase配置文件若干配置.zip

2020-06-19

HBaseApi.java

HBase-APi操作demo

2020-06-19

hbase-default.xml

HBase配置讲解

2020-06-18

IDEA使用教程 - v1.0.pdf

IDEA 教程IDEA

2020-06-07

idea教程.zip

idea教程.zip

2020-06-06

IDEA教程.doc

IDEA 教程

2020-06-06

大数据技术之Hive.zip

Hive 讲义

2020-06-06

scala配套代码.zip

Scala入门

2020-05-25

Nginx学习笔记.zip

Nginx教程

2020-05-12

Java面试题.zip

Java面试题.zip

2020-05-09

2500页​大厂面试题.rar

2500页大厂面试题

2020-05-08

Servlet和JSP(JAVAEE基础).zip

Java Servlet讲解

2020-04-22

Spring笔记.md

Spring快速入门

2020-04-17

大数据技术之Hadoop.xmind

Hadoop思维导图

2020-04-14

大数据技术之Hadoop.pptx

Hadoop文档

2020-04-14

大数据技术之Hadoop(MapReduce).docx

MapReduce学习,

2020-04-14

大数据技术之Hadoop(HDFS).docx

HDFS学习笔记,

2020-04-14

电脑版跟ios手机版 内容不同步什么情况

发表于 2017-03-24 最后回复 2019-08-15

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除