技术标签： 数据结构
1. 给定一个大小超过 100G 的文件, 其中存在 IP 地址, 找到其中出现次数最多的 IP 地址(hash文件切分)
解决思路：首先利用哈希进行文件的切分，将100G大小的文件等分成1000份，等分后的每个文件大小为100M。然后利用哈希函数的除留余数法将其分配至对应的编号文件中，利用Hash_map进行频率统计，找出每个文件中出现次数最多的IP，最后利用堆排序，得到这1000个IP中出现次数最多的。
2. 给定100亿个整数, 找到其中只出现一次的整数(位图变形, 用两位来表示次数).
解决思路：采用位图，一个数字用两位来表示次数：00为出现0次；01为出现1次；10为出现多次；11无意义。然后扫描这100亿个整数，查看bitmap中相对应的位。若为00则变01；若为01则变10；若为10则保持不变，以这样的思路来将每个数出现的次数都表示出来。扫描完毕后，查看bitmap，从中找出状态标记为01的整数输出，即只出现过一次。
3. 有两个文件, 分别有100亿个query(查询词, 字符串), 只有1G内存, 找到两个文件的交集(hash文件切分 + 布隆过滤器).
解决思路：和第一题一样，我们可以采用哈希切分来解决这个问题。我们可以将含有100亿个query的文件切分为1000份，这样总共就有2000个文件。然后利用哈希函数的除留余数法，分别完成对文件A和文件B范围分别为A0~A999和B0~B999的映射。然后我们将对应编号相同的文件A、B进行比对，以此找出两文件之间的交集。
4. 给上千个文件, 每个文件大小为1K - 100M, 设计算法找到某个词存在在哪些文件中(倒排索引).
解决思路：我们可以用一个文件info来专门保存n个词及其对应的文件信息。先将这n个词利用哈希切分，等分为N份。对每一份都生成一个布隆过滤器，然后把生成的所有布隆过滤器保存在一个文件Bloom_Filter中。将内存分为两块缓冲区，一块用于每次读入一个布隆过滤器，另一块用于读文件。读文件的这个缓冲区的使用相当于有界生产者消费者模型来实现同步。较大的文件可以切分为更小的文件，但需要存储较大文件的标识信息，比如这个小文件是来自哪个大文件的。对读入的每个单词都用内存中的布隆过滤器来判断是否包含某个特定词，若不包含，就从Bloom_Filter文件中读取下一个布隆过滤器至内存，直至包含或遍历完所有的布隆过滤器。如若包含，则更新info文件，直至处理完所有数据。最后将Bloom_Filter文件删除即可。
文章浏览阅读8.6k次。一、Linux记录用户登录信息文件1 /var/run/utmp----记录当前正在登录系统的用户信息；2 /var/log/wtmp----记录当前正在登录和历史登录系统的用户信息；3 /var/log/btmp：记录失败的登录尝试信息。二、命令用法1.命令last，lastb---show a listing of la_怎么记录linux设备 发声的登录和登出
文章浏览阅读167次。摘要：1. 简介 2. 公园迷宫漫步 3. 无线迷宫与最短（不加权）路径问题 4. 强连通分量1. 简介在计算机科学裡，树的遍历（也称为树的搜索）是圖的遍歷的一种，指的是按照某种规则，不重复地访问某种樹的所有节点的过程。具体的访问操作可能是检查节点的值、更新节点的值等。不同的遍历方式，其访问节点的顺序是不一样的。两种著名的基本遍历策略：深度优先搜索（DFS） 和 广度优先搜索（B...
文章浏览阅读591次。提起报表，大家会觉得即熟悉又陌生，好像常常在工作中使用，又似乎无法准确描述报表。今天我们来一起了解一下什么是报表，报表的结构、构成元素，以及为什么需要报表。什么是报表简单的说：报表就是通过表格、图表等形式来动态显示数据，并为使用者提供浏览、打印、导出和分析的功能，可以用公式表示为：报表 = 多样的布局 + 动态的数据 + 丰富的输出报表通常包含以下组成部分：报表首页：在报表的开..._activereports.net 实现查询报表功能
文章浏览阅读6.6k次。最近实验室需要用Cadence，这个软件的安装非常麻烦，每一次配置都要几个小时，因此打算把Cadence装进Docker。但是Cadence运行时需要GUI，要对Docker进行一些配置。我们实验室的服务器运行的是Ubuntu18.04，默认桌面GNOME，Cadence装进Centos的Docker。安装Ubuntu18.04服务器上安装Ubuntu18.04的教程非常多，在此不赘述了安装..._docker xrdp ubuntu
文章浏览阅读1.8k次，点赞2次，收藏2次。首先导入头文件#import 导入头文件后创建几个相机必须实现的对象 /** * AVCaptureSession对象来执行输入设备和输出设备之间的数据传递 */ @property (nonatomic, strong) AVCaptureSession* session; /** * 输入设备 */_ios avcapturestillimageoutput 兼容性 ios17 崩溃
文章浏览阅读982次。按照OracleDocument中的描述，v$sysstat存储自数据库实例运行那刻起就开始累计全实例(instance-wide)的资源使用情况。 类似于v$sesstat，该视图存储下列的统计信息：1>.事件发生次数的统计(如：user commits)2>._oracle v$sysstat视图
文章浏览阅读7.6k次，点赞2次，收藏9次。我最近做SPA项目开发动态树的时候一直遇到以下错误：当我点击文章管理需要跳转路径时一直报NavigationDuplicated {_name: “NavigationDuplicated”, name: “NavigationDuplicated”}这个错误但是当我点击文章管理后，路径跳转却是成功的<template> <div> 文章管理页面 <..._navigationduplicated {_name: 'navigationduplicated', name: 'navigationduplic
文章浏览阅读3.9k次。版本VoiceEngine 4.1.0舒适噪音生成（comfort noise generator，CNG）是一个在通话过程中出现短暂静音时用来为电话通信产生背景噪声的程序。#if defined(WEBRTC_ANDROID) || defined(WEBRTC_IOS)static const EcModes kDefaultEcMode = kEcAecm;#elsestati..._webrtc aecm 杂音
文章浏览阅读6.3k次，点赞9次，收藏19次。医学成像原理与图像处理一：概论引言：本系列博客为医学成像原理与图像处理重要笔记，由于是手写，在此通过扫描录入以图片的形式和电子版增补内容将其进行组织和共享。前半部分内容为图像处理基础内容，包括图像的灰度级处理、空间域滤波、频率域滤波、图像增强和分割等；后半部分内容为医学影象技术，包括常规胶片X光机、CR、DR、CT、DSA等X射线摄影技术、超声成像技术、磁共振成像（MRI）技术等。本篇主要内容是概论。_医学成像与图像处理技术知识点总结
文章浏览阅读591次，点赞13次，收藏10次。notepad++ v8.5.3 安装插件，下载进度为0_nodepa++
文章浏览阅读2.1w次。用spark执行SQL保存到Hive中： hiveContext.sql("insert overwrite table test select * from aaa")执行完成，没报错，但是核对结果的时候，发现有几笔数据超出指定范围（实际只包含100/200）最终排查到是ret_pay_remark 字段包含换行符,解决方案：执行SQL中把特殊字符替换掉regexp_replace(..._hive sql \n
文章浏览阅读520次，点赞10次，收藏8次。印象笔记05：如何打造更美的印象笔记超级笔记本文介绍印象笔记的具体使用，如何打造更美更实用的笔记。首先想要笔记更加好看和实用，我认为要使用超级笔记。所谓超级笔记就是具有很多便捷功能的笔记。_好的印象笔记怎么做的