自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

sowhat

公众号:sowhat1412

  • 博客(11)
  • 资源 (84)
  • 论坛 (1)
  • 收藏
  • 关注

原创 9种分布式ID生成方式,总有一款适合你

分布式ID必要性。业务量小于500W的时候单独一个mysql即可提供服务,再大点的时候就进行读写分离也可以应付过来。但当主从同步也扛不住的是就需要分表分库了,但分库分表后需要有一个唯一ID来标识一条数据,数据库的自增ID显然不能满足需求;特别一点的如订单、优惠券也都需要有唯一ID做标识。此时一个能够生成全局唯一ID的系统是非常必要的。那么这个全局唯一ID就叫分布式ID。分布式ID需满足那些条件全局唯一:基本要求就是必须保证ID是全局性唯一的。高性能:高可用低延时,ID生成响应要快。高可用:无限接

2020-07-28 19:11:15 1053 3

原创 5分钟了解啥是数仓

1. 什么是数据仓库数据仓库,英文名称为Data Warehouse,可简写为DW或DWH。数据仓库,是为企业所有级别的决策制定过程,提供所有类型数据支持的战略集合。它出于分析性报告和决策支持目的而创建。为需要业务智能的企业,提供指导业务流程改进、监视时间、成本、质量以及控制。2. 数据仓库能干什么?年度销售目标的指定,需要根据以往的历史报表进行决策,不能拍脑袋。如何优化业务流程例如:一个电商网站订单的完成包括:浏览、下单、支付、物流,其中物流环节可能和中通、申通、韵达等快递公司合作。快递.

2020-07-23 20:39:16 1644

原创 第三天:Flink的State、CheckPoint、Window窗口

5. Flink State管理跟回复Flink 是一个默认就有状态的分析引擎,前面的 WordCount 案例可以做到单词的数量的累加,其实是因为在内存中保证了每个单词的出现的次数,这些数据其实就是状态数据。但是如果一个 Task 在处理过程中挂掉了,那么它在内存中的状态都会丢失,所有的数据都需要重新计算。从容错和消息处理的语义(At -least-once 和 Exactly-once)上来说,Flink 引入了 State 和CheckPoint。State 一般指一个具体的 Task/Oper

2020-07-22 23:03:22 653 4

原创 RabbitMQ极速入门
原力计划

1. 消息队列解决了什么问题1. 异步处理一个用户登陆网址注册,然后系统发短信跟邮件告知注册成功,一般有三种解决方法。串行到依次执行,问题是用户注册后就可以使用了,没必要等验证码跟邮件。注册成功后,邮件跟验证码用并行等方式执行,问题是邮件跟验证码是非重要的任务,系统注册还要等这俩完成么?基于异步MQ的处理,用户注册成功后直接把信息异步发送到MQ中,然后邮件系统跟验证码系统主动去拉取数据。2. 应用解耦比如我们有一个订单系统,还要一个库存系统,用户下订单了就要调用下库存系统来处理,直接调用

2020-07-19 23:12:02 1459 7

原创 用了这些IDEA 插件后我已经在跟测试妹子聊天了你还在苦逼的 coding

1.Translation翻译插件,现支持Google翻译、有道翻译。2. Free Mybatis plugin平时dao层找对应的xml时候需要很麻烦的去找,有了这个插件就不用了3. Lombok plugin有了这个插件就不用get set方法了4. activate-power-mode是一个装逼神器,敲代码的时候可以旋转跳跃不停歇 看图5. TranslationGoogle集成翻译插件,对于英语不好的同学来说真的爽啊,鼠标选中你要翻译的单词或者语句,右键选择 transl.

2020-07-17 19:29:53 3328 18

原创 第二天:Flink数据源、Sink、转换算子、函数类 讲解
原力计划

4. Flink 常用API详解1. 函数阶层Flink 根据抽象程度分层,提供了三种不同的 API 和库。每一种 API 在简洁性和表达 力上有着不同的侧重,并且针对不同的应用场景。1 . ProcessFunctionProcessFunction 是 Flink 所提供最底层接口。ProcessFunction 可以处理一或两条 输入数据流中的单个事件或者归入一个特定窗口内的多个事件。它提供了对于时间和状态的细粒度控制。开发者可以在其中任意地修改状态,也能够注册定时器用以在未来的 某一时刻触发

2020-07-15 18:26:06 8908 7

原创 第一天:什么是Flink、WordCount入门、Flink安装、并行度
原力计划

Flink官方依赖文档说明:官方依赖入手Snagit Editor

2020-07-13 18:50:15 1046 1

原创 Redis GeoHash核心原理解析
原力计划

1. 引言小麦同学是个吃货+技术宅,平日里就喜欢拿着手机地图点点按按来查询一些好玩的东西。某一天到北海公园游玩,肚肚饿了,于是乎打开手机地图,搜索北海公园附近的餐馆,并选了其中一家用餐。饱暖思yin欲的麦叔饭后思考地图后台如何根据自己所在位置查询来查询附近餐馆的呢?苦思冥想了半天,小麦想出了个方法:计算所在位置P与北京所有餐馆的距离,然后返回距离<=1000米的餐馆。小得意了一会儿,小麦发现北京的餐馆何其多啊,这样计算不得了,于是想了,既然知道经纬度了,那它应该知道自己在西城区,那应该计算所在位置

2020-07-10 16:07:06 909

原创 1. 初识Pandas
原力计划

1. 重要前言这段时间和一些做数据分析的同学闲聊,我发现数据分析技能入门阶段存在一个普遍性的问题,很多凭着兴趣入坑的同学,都能够很快熟悉Python基础语法,然后不约而同的一头扎进《利用Python进行数据分析》这本经典之中,硬着头皮啃完之后,好像自己什么都会了一点,然而实际操作起来既不知从何操起,又漏洞百出。至于原因嘛,理解不够,实践不够是两条老牌的拦路虎,只能靠自己来克服。还有一个非常有意思且经常被忽视的因素——陷入举三反一的懵逼状态。什么意思呢?假如我是个旱鸭子,想去学游泳,教练很认真的给我剖

2020-07-06 15:41:36 347 2

原创 PageRank通俗说

PageRank是执行多次连接的一个迭代算法,因此它是RDD分区操作的很好demo,算法维护两个数据集(pageID,listList) 包含每个页面的相邻页面列表。(pageID,ra...

2020-07-06 06:55:00 6013

原创 第四天:Spark Streaming
原力计划

Spark Streaming概述1. Spark Streaming是什么Spark Streaming用于流式数据的处理。Spark Streaming支持的数据输入源很多,例如:Kafka、Flume、Twitter、ZeroMQ和简单的TCP套接字等等。数据输入后可以用Spark的高度抽象原语如:map、reduce、join、window等进行运算。而结果也能保存在很多地方,如HDFS,数据库等。和Spark基于RDD的概念很相似,Spark Streaming使用离散化流(discret

2020-07-02 07:45:29 271 1

丁奇Mysql45.zip

丁奇Mysql45.zip

2020-08-31

RabbitMQ课件_V1.0.docx

RbbitMQ 开源讲解案例

2021-01-22

spark全套学习资料.zip

Spark学习全套技术

2020-06-30

狂神docker笔记.zip

狂神Docker笔记,相对来说比较全面 狂神Docker笔记,相对来说比较全面 狂神Docker笔记,相对来说比较全面

2020-09-17

刷网页访问量.zip

IP代理实现 网页访问量的增加

2019-11-25

Anaconda3-4.3.1-Linux-x86_64.sh

Anaconda3-4.3.1-Linux-x86_64.sh

2020-06-08

zookeeper.zip

zookeeper学习资料汇总,zookeeper学习资料汇总,zookeeper学习资料汇总,zookeeper学习资料汇总,zookeeper学习资料汇总

2020-09-28

Spring Boot整合Shiro.zip

Spring Boot整合Shiro.zip

2020-08-30

my-site.zip

springboot+mybatis+thymeleaf+docker构建的个人站点开源项目(集成了个人主页、个人作品、个人博客)

2020-08-27

selfstarter.zip

自定义Starter

2020-08-19

ssmdemo.zip

SSM整合,

2020-08-15

mysql5.7 安装教程

mysql5.7 安装教程

2020-08-11

mybatislearn.zip

Spring教程 及整合Mybatis

2020-08-06

mybatislearn.zip

MyBatis急速入门

2020-08-03

rabbitMQ 代码.zip

RabbitMQ开发代码demo,

2020-07-20

Hue安装配置教程.zip

hue教程

2020-07-20

RabbitMQ极速入门.zip

RabbitMQ极速入门

2020-07-19

rabbitmq.zip

MQ安装跟SpringBoot整合,MQ安装跟SpringBoot整合,MQ安装跟SpringBoot整合

2020-07-19

redisgeo.zip

SpringBoot+Geo实战

2020-07-17

Flink学习资料.zip

Flink学习全套代码

2020-07-16

Kafka全套学习笔记.zip

Kafka全套学习笔记

2020-06-28

HBase学习.doc

HBase学习日记,

2020-06-22

2.7 winutils 跟 NativeIO源码.zip

Hadoop2.7*本地运行所需要的各种资源

2020-06-20

HBase配置文件若干配置.zip

HBase配置文件若干配置.zip

2020-06-19

HBaseApi.java

HBase-APi操作demo

2020-06-19

hbase-default.xml

HBase配置讲解

2020-06-18

IDEA使用教程 - v1.0.pdf

IDEA 教程IDEA

2020-06-07

idea教程.zip

idea教程.zip

2020-06-06

IDEA教程.doc

IDEA 教程

2020-06-06

大数据技术之Hive.zip

Hive 讲义

2020-06-06

scala配套代码.zip

Scala入门

2020-05-25

Nginx学习笔记.zip

Nginx教程

2020-05-12

Java面试题.zip

Java面试题.zip

2020-05-09

2500页​大厂面试题.rar

2500页大厂面试题

2020-05-08

Servlet和JSP(JAVAEE基础).zip

Java Servlet讲解

2020-04-22

Spring笔记.md

Spring快速入门

2020-04-17

大数据技术之Hadoop.xmind

Hadoop思维导图

2020-04-14

大数据技术之Hadoop.pptx

Hadoop文档

2020-04-14

大数据技术之Hadoop(MapReduce).docx

MapReduce学习,

2020-04-14

大数据技术之Hadoop(HDFS).docx

HDFS学习笔记,

2020-04-14

电脑版跟ios手机版 内容不同步什么情况

发表于 2017-03-24 最后回复 2019-08-15

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除