嗨嗨陶晨


  • 首页

  • 关于

  • 标签

  • 分类

  • 归档

  • 搜索

kafka小结

发表于 2020-03-12
字数统计: 1,207 | 阅读时长 ≈ 4分钟

消息队列好处:1削峰2解耦3异步

消息队列的两种模式(或者说队列模型GitHub SnailClimb)

  • 一对一,消费者主动拉取数据,消息收到后消息清除

  • 一对多,消费者消费数据之后不会清除消息,即一条消息可以由多个消费者消费

    • 一种队列主动退给消费者,但是各个消费者消费速度往往不一致(比如队列推的带宽是50M/s,消费者1的接受带宽是100M/s ,消费者2的接受带宽是10M/s;那么消费者1资源浪费,消费者2又吃不消)

    • 是消费者主动拉的(消费者的消费速度由自己决定;缺点是要维护一个长轮询,消费者要时不时地去看队列有没有新数据)

阅读全文 »

sparkstreaming小结

发表于 2020-02-15
字数统计: 1,486 | 阅读时长 ≈ 6分钟

Dstream是spark streaming的一个基本抽象;如同rdd之于spark;只是一个类型的Dstream本质上是一系列连续的RDD,这些RDD只是要计算的数据不同,它们来自不同微批,源源不断。

阅读全文 »

LeetCode刷题目录2

发表于 2019-09-15
字数统计: 9,555 | 阅读时长 ≈ 40分钟

树

递归

1. 树的高度

2. (判断是否)平衡树

3. 两节点的最长路径

阅读全文 »

LeetCode刷题目录

发表于 2019-09-15
字数统计: 10,885 | 阅读时长 ≈ 43分钟

链表

1. 找出两个链表的交点

1
2
3
4
5
6
7
8
例如以下示例中 A 和 B 两个链表相交于 c1:
​```html
A: a1 → a2
↘
c1 → c2 → c3
↗
B: b1 → b2 → b3

输出那个ListNode c1

阅读全文 »

spark性能调优

发表于 2019-05-08
字数统计: 2,901 | 阅读时长 ≈ 11分钟

性能调优之在实际项目中分配更多资源

阅读全文 »
12…7
陈海涛

陈海涛

You can call me Susan if it makes you happy

32 日志
1 分类
8 标签
© 2020 陈海涛
本站访客数:
|
博客全站共37.9k字