云存储系统中的数据去重与加密

段亦涛(有道首席科学家)

本文是基于作者最近发表于CCSW’14的一篇论文,Distributed Key Generation for Encrypted Deduplication:Achieving the Strongest Privacy,简要介绍云存储系统中支持数据去重的加密算法的最新进展。论文的DOI是

为了描述方便,本文采用了和论文中完全一致的参考文献标号。读者可去论文中直接参阅。

1. 背景

大规模云存储系统往往面临两个矛盾的需求:一方面系统需要压缩数据以节省存储空间的开销;另一方面,用户出于数据安全和隐私的考虑,希望自己的数据加密存储。目前数据压缩非常有效也是很常用的一个手段是去重(deduplication),即识别数据中冗余的数据块,只存储一份,其余位置存储类似指针的数据结构。研究表明,基于数据分布的不同,有效的去重能够节省高达50%甚至90%的存储空间和带宽 [32, 17, 27, 21]。去重已经被广泛用于很多商业化的系统如 Dropbox [3],EMC [36],等等。许多Peer-to-Peer (P2P) 系统也使用同样的技术来节省存储空间 [52, 53, 5, 6].

阅读全文
前端学习之iOS开发(二)

liuzq(前端开发工程师)

本文是继上一篇《前端学习之iOS开发(一)》的续集,上一篇属于iOS开发的入门篇,主要内容为前端学习iOS开发的优势和对比学习。本文的内容为介绍在新的项目《有道口语大师》中的实际应用,主要包括第三方类库管理工具pods、sqlite、文件操作、网络请求、引导动画等在项目中的实践。

一、第三方类库管理工具CocoaPods

CocoaPods作为iOS开发的第三方类库管理工具,可以很好的解决第三方类库的检索、安装、更新等操作,功能与nodejs中的npm类似。

阅读全文
用“逐步排除”的方法定位Java服务线上“系统性”故障

李斯宁(高级测试开发工程师)

一、摘要

由于硬件问题、系统资源紧缺或者程序本身的BUG,Java服务在线上不可避免地会出现一些“系统性”故障,比如:服务性能明显下降、部分(或所有)接口超时或卡死等。其中部分故障隐藏颇深,对运维和开发造成长期困扰。笔者根据自己的学习和实践,总结出一套行之有效的“逐步排除”的方法,来快速定位Java服务线上“系统性”故障。


阅读全文
Deep Learning实战之word2vec


邓澍军、陆光明、夏龙

前言Deep Learning已经很火了,本文作者算是后知后觉者,主要原因作者的工作是广告点击预测,而之前听说Deep Learning最大的突破还是在图像语音领域,NLP和在线广告点击预测方面的突破还不够大。但后来听说Google开源的word2vec还挺有意思,能够把词映射到K维向量空间,甚至词与词之间 向量操作还能和语义相对应如果换个思路,把词当做feature那么word2vec可以把feature映射到K维向量空间应该可以为现有模型提供更多的有用信,基于这个出发点,作者word2vec的相关代码和算法做了相关调研,本文是作者关于word2vec调研的总结,也是作为自己以后备用。存在疏漏之处,欢迎大家反馈:shujun_deng@163.com

 

…..继续阅读(请下载附件): word2vec

 

阅读全文
前端学习之IOS开发

liuzq(前端开发工程师)

随着智能手机的普及,目前移动互联网已经飞速发展,几乎每天都会有涉及人们生活的各种Android APP或者 IOS APP上线。作为一名WEB前端开发人员,一切与用户交互相关的技术都应该关注一下。前段时间有幸参与了第一个IOS项目——职场口语APP。现在站在前端开发人员的角度分享下开发心得,文章主要适用于未接触过IOS开发的前端人员,可以让其对IOS开发有个粗浅的了解。

不论是Javascript还是Object-C,作为一门编程语言它们的基本概念和编程思想都是相同的。所以这里的重点不会是数据类型、语法、语句等概念,更不会讲语言的发展史之类,至于这些基础知识需要感兴趣的同学自行学习啦。这里主要会讲如何创建第一个IOS项目、前端开发人员学习IOS开发的优势、前端开发和IOS开发的对比。

阅读全文
敏捷中的测试实践

Xing Binbin(测试工程师)

    有道云笔记团队采用敏捷的开发模式已有近两年的时间,为了更好的协作完成产品迭代,笔记测试团队也逐渐积攒了一些敏捷实践的经验。然而敏捷测试的转换和实施并不容易,和资源、环境等诸多因素有关系。如何实现从传统瀑布模型到敏捷模型的转化?本文将会结合笔记测试团队一些良好的实践来进行介绍。

    前不久ChinaTest大会上Martin Pol的演讲,阐述了测试从产生到现阶段的演变过程。如图1所示:

阅读全文