黑马点评项目问题总结-程序员宅基地

技术标签: 缓存  数据库  redis  

一、登录模块

1.Session存在共享问题

2. redis

因此选择用redis,数据结构:
手机号:验证码code
随机码为token:用户信息(保存为一个Map<String,Object>对象,具体为key与value)

3.整体流程

(1) 发送验证码
(2) 短信验证码登录、注册
(3) 校验登录状态 token
(4) 拦截器优化
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

二、实现商品信息缓存

1. 查询流程

在这里插入图片描述

2. 缓存与数据库一致性问题

  • redis缓存更新策略有几种?选择哪种?
    内存淘汰和过期淘汰 主动更新
  • 操作缓存和数据库
    (1) 删除缓存还是更新缓存 删除
    (2)如何保证缓存与数据库的操作同时成功或失败 事务
    (3)先操作缓存还是数据库 写数据库比较慢

3. 三大问题及解决方案

  • 缓存穿透
    定义、有哪两种方式解决
    在这里插入图片描述
    在这里插入图片描述
  • 缓存雪崩
    定义(2种情况)、解决方案
  • 缓存击穿
    定义
    两种解决方案: 一致性、可用性
  1. 互斥锁 setnx
    利用redis的setnx命令,通过获取锁和释放锁的方式来完成。锁的过期时间设置10s,能够保证一致性,但是无法保证可用性(线程会一直查询)
    在这里插入图片描述
  • 设置逻辑过期时间
    给缓存设置一个逻辑过期时间
    还是需要互斥锁,不同的就是:不是每一个线程都需要取重写数据库,如果发现获取不到锁会直接返回旧的数据,获取不到锁不会说一直重试,而且拿到锁也是开启一个新线程取写数据库。保证了可用性,但失去了一致性(此时拿到的数据不是新的数据)
    在这里插入图片描述
    在这里插入图片描述
  • 结果对比

在这里插入图片描述

三、优惠券秒杀

1. Redis自增实现全局唯一id

  • 常见的生成全局唯一id生成策略
    (各自特点,自己搜资料补充)
  • 具体实现方式及原因
    符号位+时间戳+序列号 保证了递增性、安全性、唯一性

2. 秒杀下单,并利用乐观锁解决超卖问题

在这里插入图片描述

  • 超卖是什么
    库存小于0
  • 下单必须满足的条件
    秒杀是否开始或结束,如果尚未开始或已经结束则无法下单
    库存是否充足,不足则无法下单
  • 能不能直接采用版本号?存在什么问题
    只要我扣减库存时的库存和之前我查询到的库存是一样的,就意味着没有人在中间修改过库存,那么此时就是安全的,但是以上这种方式通过测试发现会有很多失败的情况,失败的原因在于:在使用乐观锁过程中假设100个线程同时都拿到了100的库存,然后大家一起去进行扣减,但是100个人中只有1个人能扣减成功,其他的人在处理时,他们在扣减时,库存已经被修改过了,所以此时其他线程都会失败
  • 项目中的乐观锁如何实现
    在扣减库存之前 判断库存大于0就好

3. 优惠券秒杀:一人一单

  • 一人一单
  • 解决方案
    在这里插入图片描述
    根据用户id加一个synchronized锁
    控制锁的粒度
    代理模式解决事务失效,并且保证提交事务后再释放锁(不建议自己说出来,坑太多,不好讲)
  • 存在的问题:集群模式下锁失效

4.分布锁解决集群下锁失效的问题(基于Setnx)

4.1 基于setnex(setIfAbsent) 实现分布式锁

防止死锁?添加过期时间

4.2 分布式锁的误删问题

什么是误删? 线程1发生了业务阻塞,锁超时释放了自己的锁,后面正常执行业务后,线程1又执行锁释放把线程2的锁给释放了
如何解决?:在释放锁的时候判断锁是否属于自己
在这里插入图片描述

4.3 分布式锁的原子性问题

判断锁和释放锁是两个不同的动作!需要让判断和释放锁变成一个原子操作
利用lua脚本

4.4 存在的问题

不可重入
不可重试
超时释放
主从一致性

5. 基于Redission的分布式锁(对setnex的优化)

5.1 不可重入

在这里插入图片描述

5.2 锁重试和watchdog机制

在这里插入图片描述
在这里插入图片描述

5.3 MultiLock解决主从不一致问题

redission提出来了MutiLock锁,使用这把锁咱们就不使用主从了,每个节点的地位都是一样的, 这把锁加锁的逻辑需要写入到每一个主丛节点上,只有所有的服务器都写入成功,此时才是加锁成功,假设现在某个节点挂了,那么他去获得锁的时候,只要有一个节点拿不到,都不能算是加锁成功,就保证了加锁的可靠性

6. 异步秒杀优化

在这里插入图片描述

  • 基于阻塞队列的思路
  • 先利用Redis完成库存余量、一人一单判断,完成抢单业务
  • 再将下单业务放入阻塞队列,利用独立线程异步下单
  • 基于阻塞队列的异步秒杀存在哪些问题?
    内存限制问题
    数据安全问题
  • 基于Redis的Stream结构作为消息队列,实现异步秒杀下单
  • 创建一个Stream类型的消息队列,名为stream.orders
  • 修改之前的秒杀下单Lua脚本,在认定有抢购资格后,直接向stream.orders中添加消息,内容包含voucherId、userId、orderId
  • 项目启动时,开启一个线程任务,尝试获取stream.orders中的消息,完成下单 (用Java代码消息队列中的信息),出现异常需要读取Pending List的
  • Stream类型消息队列的消费者组的特点

四. 点赞排行榜

SortedSet数据结构 根据时间进行排行的

  • 问题一:代码细节
    List<UserDTO> userDTOS = userService.query()
            .in("id", ids).last("ORDER BY FIELD(id," + idStr + ")").list()
            .stream()
            .map(user -> BeanUtil.copyProperties(user, UserDTO.class))
            .collect(Collectors.toList());
  • 问题二:SortedSet底层
    hash结构:关联元素和权重
    跳跃表:空间换时间,提高查找效率

五. 附近商户

  • 设计思路
    在这里插入图片描述
  • 选择geo数据结构
  • 分组
    根据type来对数据进行筛选,所以我们可以按照商户类型做分组,类型相同的商户作为同一组,以typeId为key存入同一个GEO集合中即可
  • 导入数据
    数据库表中的数据导入到redis中去,redis中的GEO,GEO在redis中就一个menber和一个经纬度,我们把x和y轴传入到redis做的经纬度位置去,但我们不能把所有的数据都放入到menber中去,毕竟作为redis是一个内存级数据库,如果存海量数据,redis还是力不从心,所以我们在这个地方存储他的id即可。

六. 用户签到

0. 数据结构

Bitmap
bitMap返回的数据是10进制
在这里插入图片描述

1. 签到功能

@Override
public Result sign() {
    
    // 1.获取当前登录用户
    Long userId = UserHolder.getUser().getId();
    // 2.获取日期
    LocalDateTime now = LocalDateTime.now();
    // 3.拼接key
    String keySuffix = now.format(DateTimeFormatter.ofPattern(":yyyyMM"));
    String key = USER_SIGN_KEY + userId + keySuffix; //user:sign:5:202302
    // 4.获取今天是本月的第几天
    int dayOfMonth = now.getDayOfMonth();
    // 5.写入Redis SETBIT key offset 1
    stringRedisTemplate.opsForValue().setBit(key, dayOfMonth - 1, true);
    return Result.ok();
}

2. 统计签到天数

思路:
bitMap返回的数据是10进制,哪假如说返回一个数字8,那么我哪儿知道到底哪些是0,哪些是1呢?我们只需要让得到的10进制数字和1做与运算就可以了,因为1只有遇见1 才是1,其他数字都是0 ,我们把签到结果和1进行与操作,每与一次,就把签到结果向右移动一位,依次内推,我们就能完成逐个遍历的效果了。

七. UV统计

数据结构的选择HyperLogLog

八. 共同关注

选择的数据结构是set,比如用户1关注了A B C,那么就是 1:A B C
同理对用户2有同样的操作,求共同关注就是求两个set的交集

//设置key:当前登录用户,关注的对象
   stringRedisTemplate.opsForSet().add(key, followUserId.toString());
 //求交集
   Set<String> intersect = stringRedisTemplate.opsForSet().intersect(key, key2);

九. 推模式Feed流

1. Feed流理论

  1. feed流:内容推送给用户
  2. feed流两种模式:Timeline和智能排序
  3. Timeline三种实现方式:推、拉、推拉结合
    拉模式:
    当张三和李四和王五发了消息后,都会保存在自己的邮箱中,假设赵六要读取信息,那么他会从读取他自己的收件箱,此时系统会从他关注的人群中,把他关注人的信息全部都进行拉取,然后在进行排序
    拉模式
    推模式:
    推模式是没有写邮箱的,当张三写了一个内容,此时会主动的把张三写的内容发送到他的粉丝收件箱中去,假设此时李四再来读取,就不用再去临时拉取了
    优点:时效快,不用临时拉取
    缺点:内存压力大,假设一个大V写信息,很多人关注他, 就会写很多分数据到粉丝那边去
    在这里插入图片描述
    推拉结合模式:也叫做读写混合,兼具推和拉两种模式的优点。
    推拉模式是一个折中的方案,站在发件人这一段,如果是个普通的人,那么我们采用写扩散的方式,直接把数据写入到他的粉丝中去,因为普通的人他的粉丝关注量比较小,所以这样做没有压力,如果是大V,那么他是直接将数据先写入到一份到发件箱里边去,然后再直接写一份到活跃粉丝收件箱里边去,现在站在收件人这端来看,如果是活跃粉丝,那么大V和普通的人发的都会直接写入到自己收件箱里边来,而如果是普通的粉丝,由于他们上线不是很频繁,所以等他们上线时,再从发件箱里边去拉信息。

2. 实现方案

在保存完探店笔记后,获得到当前笔记的粉丝,然后把数据推送到粉丝的redis中去。按照时间顺序feed,数据结构

@Override
public Result saveBlog(Blog blog) {
    
    // 1.获取登录用户
    UserDTO user = UserHolder.getUser();
    blog.setUserId(user.getId());
    // 2.保存探店笔记
    boolean isSuccess = save(blog);
    if(!isSuccess){
    
        return Result.fail("新增笔记失败!");
    }
    // 3.查询笔记作者的所有粉丝 select * from tb_follow where follow_user_id = ?
    List<Follow> follows = followService.query().eq("follow_user_id", user.getId()).list();
    // 4.推送笔记id给所有粉丝
    for (Follow follow : follows) {
    
        // 4.1.获取粉丝id
        Long userId = follow.getUserId();
        // 4.2.推送
        String key = FEED_KEY + userId;
        stringRedisTemplate.opsForZSet().add(key, blog.getId().toString(), System.currentTimeMillis());
    }
    // 5.返回id
    return Result.ok(blog.getId());
}

功能二:实现分页查询
思路分析
1、每次查询完成后,我们要分析出查询出数据的最小时间戳,这个值会作为下一次查询的条件
2、我们需要找到与上一次查询相同的查询个数作为偏移量,下次查询时,跳过这些查询过的数据,拿到我们需要的数据
综上:我们的请求参数中就需要携带 lastId:上一次查询的最小时间戳 和偏移量这两个参数。
这两个参数第一次会由前端来指定,以后的查询就根据后台结果作为条件,再次传递到后台。

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/studyForMokey/article/details/129288839

智能推荐

Git取消add 、 commit、push的命令_git 取消add-程序员宅基地

文章浏览阅读2w次,点赞284次,收藏328次。撤销已经add,但是没有commit的问题git reset HEAD撤销已经commit,但是没有push到远端的文件(仅撤销commit 保留add操作)git reset --soft HEAD^查看状态查看没有git add的文件git checkout 查看当前提交状态git status......_git 取消add

微机原理知识点汇总-程序员宅基地

文章浏览阅读4.3k次,点赞10次,收藏113次。西南交通大学电气学院电子信息工程专业课----微机原理知识点总结,含部分习题。讨论基于8086/8088的CPU及系统结构,汇编语言基础编程_微机原理

uniapp中Vuex数据持久化_uniapp vuex持久化-程序员宅基地

文章浏览阅读1.8w次,点赞3次,收藏18次。解决H5应用中存在Vuex中的数据在刷新页面后丢失_uniapp vuex持久化

html文件引用.vue 文件的方式_html引入vue-程序员宅基地

文章浏览阅读7k次,点赞4次,收藏24次。1.html文件先引入vue.js再引入httpVueLoader.js注册httpVueLoader。在script中Vue.use(httpVueLoader);在components中注册组件,httpVueLoader的注册方式有好几种,具体引用方式看个人习惯,更多的可以去看httpVueLoader官网:https://www.npmjs.com/package/http-vue-loader;<!DOCTYPE html><html lang="en_html引入vue

CAMERA DTSI信息_高通 cci-程序员宅基地

文章浏览阅读366次。本文介绍camera dtsi配置相关内容。参考平台:qcom sdm660_高通 cci

python内置数据集_在python中内置数据集-程序员宅基地

文章浏览阅读1.2k次。python内置数据集Python modules containing built-in datasets and ways to access them 包含内置数据集的Python模块及其访问方式 Built-in datasets prove to be very useful when it comes to practicing ML algorithms and you are i..._python内置数据集

随便推点

韶音、南卡、Oladance开放式耳机值得买吗?多维度测评实力最强品牌-程序员宅基地

文章浏览阅读846次,点赞18次,收藏12次。作为一名热爱音乐的资深用户,我体验过众多品牌的开放式耳机,希望通过我的评测,能够帮助大家找到最适合自己的耳机。不过,在中高频方面,耳机的表现略显刺耳,音质和音量可能不尽如人意,这可能会对用户的整体听觉体验产生一定影响。不过,延迟性相对较高,对于需要实时音视频同步的场景,如追剧或游戏,可能不太适合,存在明显的延迟问题。然而,在使用这项技术的耳机时,尤其是在游戏过程中,可能会遇到较高的延迟问题,这可能导致音画不同步的现象更加明显。然而,在剧烈运动时,耳机的稳固性可能需要加强,以避免因动作过大而导致脱落。

bert简介_tensorflow 2.0+ 基于BERT的多标签文本分类-程序员宅基地

文章浏览阅读3.8k次,点赞6次,收藏24次。在多标签分类的问题中,模型的训练集由实例组成,每个实例可以被分配多个类别,表示为一组目标标签,最终任务是准确预测测试数据的标签集。例如:文本可以同时涉及宗教、政治、金融或教育,也可以不属于其中任何一个。电影按其抽象内容可分为动作片、喜剧片和浪漫片。电影有可能属于多种类型,比如周星驰的《大话西游》,同时属于浪漫片与喜剧片。多标签和多分类有什么区别?在多分类中,每个样本被分配到一个且只有一个标签:水果..._tensorflow bert

jupyter notebook常用快捷键和语法_jupyter notebook怎么换行-程序员宅基地

文章浏览阅读6.1k次,点赞4次,收藏29次。jupyter notebook 常用快捷键及编辑语法jupyter 单元格有两种模式:命令模式(蓝色标签)和编辑模式(绿色标签)。点击单元格外可进入命令模式,点击单元格内进入编辑模式。编辑模式又分为code模式(单元格外有 ‘In [ ]’)即写代码模式和markdown模式(无‘In [ ]’)即写文档模式。一、快捷键根据jupyter单元格所处模式不同,快捷键可分为两类:具体可在jupyter文件编辑界面的‘HELP’选项中查看,这里列出本人认为较为常用的几个。命令模式下的快捷键:_jupyter notebook怎么换行

教材编者,请多点儿“钻研”精神-程序员宅基地

文章浏览阅读89次。教材编者,请多点儿“钻研”精神——《计算机程序设计艺术》一书带来的启示 苏运霖 《计算机程序设计艺术》这本关于算法分析的多卷论著已长期被公认为经典计算机科学的定义性描述。近期在翻译该书的第1卷第1版的过程中,我深刻体会到国外作者在教材编写上的“执着”,主要表现在以下三方面: 一是勤于创新。该书作者Donald E. Knuth曾开拓了以多卷书的形式来系统介绍“计算机程序设计艺术”的创举,现在又以分..._教材编写中编者主要贡献有哪些

MySQL如何更改数据库名字_mysql update数据库名称-程序员宅基地

文章浏览阅读3.9k次。MySQL如何更改数据库名字_mysql update数据库名称

windows上最好用的文件管理软件 Directory Opus_directory ops-程序员宅基地

文章浏览阅读9w次,点赞24次,收藏65次。windows上最好用的文件管理软件 Directory Opuswindows 自带的文件管理软件就不用提了,垃圾的一比。而市面上比较流行的文件管理软件 xyploer,total commander 之类我都使用过,其中 total commander 的确是神器,但是界面太难看,还有学习路径比较陡峭,最后还是放弃了。后来我使用了 windows 上的资源管理器增强软件 clover 感觉..._directory ops

推荐文章

热门文章

相关标签