发布者认证信息(营业执照和身份证)未完善,请登录后完善信息登录
总算找到云计算项目经验技巧分享

爱品网

爱品网 IPNO.CN

b2b免费推广平台

扫扫有惊喜

 
 
 
当前位置: 首页 > 供应 » 教育培训 » 总算找到云计算项目经验技巧分享
 

总算找到云计算项目经验技巧分享

点击图片查看原图
起订:
供货总量:
发货期限: 自买家付款之日起 天内发货
所在地: 湖北
有效期至: 长期有效
最后更新: 2021-11-25 17:13
浏览次数: 94
在线咨询
 
总算找到云计算项目经验技巧分享 详细说明

  云计算岗位面试其实并没有很多人想的那么复杂,主要是电话面试,估计是面试的人比较少,简单的问了一些技术问题,在问了有一些商务对接方面的问题第1轮,技术面的时候,问了云计算的3个层面,云计算现在发展情况,商务面的时候,问了商务对接如何有效进行;第二轮,主要问做过什么项目,如何做项目,下面给大家分享几个实用的云计算面试题知识。
  1、海量日志数据,提取出某日访问百度次数多的那个IP。
  IP是32位的,多有个2^32个IP。同样可以采用映射的方法,比如模1000,把整个大文件映射为1000个小文件,再找出每个小文中出现频率大的IP(可以采用hash_map进行频率统计,然后再找出频率大的几个)及相应的频率。然后再在这1000个大的IP中,找出那个频率大的IP,即为所求。
  2、搜索引擎会通过日志文件把用户每次检索使用的所有检索串都记录下来,每个查询串的长度为1-255字节。
  假设目前有一千万个记录(这些查询串的重复度比较高,虽然总数是1千万,但如果除去重复后,不超过3百万个。一个查询串的重复度越高,说明查询它的用户越多,也就是越热。),请你统计热门的10个查询串,要求使用的内存不能超过1G。
  第1步借用hash统计进行预处理: 先对这批海量数据预处理(维护一个Key为Query字串,Value为该Query出现次数,即Hashmap(Query,Value),每次读取一个Query,如果该字串不在Table中,那么加入该字串,并且将Value值设为1;如果该字串在Table中,那么将该字串的计数加一即可。终我们在O(N)(N为1千万,因为要遍历整个数组一遍才能统计处每个query出现的次数)的时间复杂度内用Hash表完成了统计;
  第二步借用堆排序找出热门的10个查询串:时间复杂度为N’*logK。维护一个K(该题目中是10)大小的小根堆,然后遍历3百万个Query,分别和根元素进行对比(对比value的值),找出10个value值大的query
  终的时间复杂度是:O(N) N’*O(logK),(N为1000万,N’为300万)
  或者:采用trie树,关键字域存该查询串出现的次数,没有出现为0。后用10个元素的小推来对出现频率进行排序。
  3、有一个1G大小的一个文件,里面每一行是一个词,词的大小不超过16字节,内存大小是1M。返回频数高的100个词。
  第1步分而治之/hash映射到顺序读文件中,对于每个词x,取hash(x)P00,然后按照该值存到5000个小文件(记为x0,x1,…x4999)中。这样每个文件大概是200k左右。如果其中的有的文件超过了1M大小,还可以按照类似的方法继续往下分,直到分解得到的小文件的大小都不超过1M。
  第二步hash统计对每个小文件,统计每个文件中出现的词以及相应的频率(可以采用trie树/hash_map等),并取出出现频率大的100个词(可以用含100个结点的小堆),并把100个词及相应的频率存入文件,这样又得到了5000个文件。
  第三步堆/归并排序就是把这5000个文件进行归并(也可以采用堆排序)的过程了。(如果内存允许可以将这5000个文件中的所有元素合并起来,利用堆获得top 100)
  4、 给定a、b两个文件,各存放50亿个url,每个url各占64字节,内存是4G,让你找出a、b文件共同的url?
  可以估计每个文件安的大小为5G×64=320G,远远大于内存的4G。所以不可能将其完全加载到内存中处理。考虑采取分而治之的方法。
  遍历文件a,对每个url求取hash(url)00,然后根据所取得的值将url分别存储到1000个小文件(记为a0,a1,…,a999)中。这样每个小文件的大约为300M。
  遍历文件b,采取和a相同的方式将url分别存储到1000小文件(记为b0,b1,…,b999)。这样处理后,所有可能相同的url都在对应的小文件(a0vs b0,a1vs b1,…,a999vs b999)中,不对应的小文件不可能有相同的url。然后我们只要求出1000对小文件中相同的url即可。
  求每对小文件中相同的url时,可以把其中一个小文件的url存储到hash_set中。然后遍历另一个小文件的每个url,看其是否在刚才构建的hash_set中,如果是,那么就是共同的url,存到文件里面就可以了。
  腾讯面试题:给40亿个不重复的unsigned int的整数,没排过序的,然后再给一个数,如何快速判断这个数是否在那40亿个数当中?
  方案1:申请512M的内存(2^32/8=512MB),一个bit位代表一个unsigned int值。读入40亿个数,设置相应的bit位,读入要查询的数,查看相应bit位是否为1,为1表示存在,为0表示不存在。
  方案2:因为2^32为40亿多,所以给定一个数可能在,也可能不在其中;这里我们把40亿个数中的每一个用32位的二进制来表示假设这40亿个数开始放在一个文件中。
  然后将这40亿个数分成两类: 1. 高位为0 2. 高位为1
  并将这两类分别写入到两个文件中,其中一个文件中数的个数=20亿(这相当于折半了);与要查找的数的高位比较并接着进入相应的文件再查找
  再然后把这个文件为又分成两类: 1.次高位为0 2.次高位为1
  并将这两类分别写入到两个文件中,其中一个文件中数的个数=10亿(这相当于折半了); 与要查找的数的次高位比较并接着进入相应的文件再查找。 … 以此类推,就可以找到了,而且时间复杂度为O(logn)。


总算找到云计算项目经验技巧分享是勤学思教育网的主要产品,我们的产品负责人是张生,有需要的朋友请直接拨打我的电话13988888888,我们的地址是勤学思教育网,期待与您的合作!
免责声明:[ 总算找到云计算项目经验技巧分享]信息是由该公司[勤学思教育网]自行发布,该企业负责信息内容的真实性、准确性和合法性。[爱品网]仅列示上述信息,上述信息描述仅代表信息发布日的情况,不担保该信息的准确性,完整性和及时性,也不承担浏览者的任何商业风险。
本产品网址 : https://www.ipno.cn/xiaoshou/i328428.html 可发送到QQ/微信/微博/博客等平台来推广此信息
 

公司信息

企业级别:VIP [VIP第1年] 指数:2

联 系 人:张生(先生) 

公司电话: 13988888888

所在地区:湖北

公司地址:勤学思教育网

 

网站首页 | 付款方式 | 关于我们 | 信息删除 | 联系方式 | 服务条款 | 版权隐私 | 网站地图 | 专题 | 排名推广 | 广告服务 | 积分换礼 | 网站留言 | RSS订阅 | 鄂ICP备14015623号-2

爱品网是一个开放的平台,信息全部为用户自行注册发布!并不代表本网赞同其观点或证实其内容的真实性,需用户自行承担信息的真实性,图片及其他资源的版权责任! 本站不承担此类作品侵权行为的直接责任及连带责任。

如若本网有任何内容侵犯您的权益,请联系: 473199705@QQ.COM

©2012-2021爱品网 免费信息发布平台,免费推广平台,免费B2B网站爱品网 www.ipno.cn
免责声明:本站所有信息由各公司自行发布,请在交易前确认真实合法性,本站不承担任何交易及知识产权侵权的法律责任! 鄂公网安备 42018502005275