大数据

8 文章

网络广告的实际工作方式

几个世纪以来,广告宣传总是单向传播。公司大肆进行广告宣传,但却无法知道有哪些人收到了这些信息。无论是广播、电视、杂志还是户外广告,这些传统媒体依然还是采用这种”古老的”方式。对于真正看到或听到自家产品广告的人数,广告客户通常只能有个大概估计,根本无法得到具体的相关数据。

你的社交网络用户资料是否安全?

在旧金山举办的RSA大会上,我本人有幸参加了专题小组讨论会,并就目前并不安全的大数据提出了一个有趣的问题。来自Zerofox公司的Ian Amit还为此做了专题演讲,详细介绍了网络犯罪分子是如何利用社交媒体锁定个人目标,进而偷偷潜入公司系统的整个过程。

如何躲避监控摄像头:过去与未来

如今监控摄像头几乎遍布我们日常生活的各个角落:无论室内还是室外,机场还是火车站,办公室还是商店,几乎无处不在。即便在野外你也无法躲避各种监控摄像头,使得乔治•奥威尔的幻想小说《1984》中描写的情节成为了现实。 对于大多数监控系统而言,循环录制视频只是为了”以防万一”;除此之外并未用作他用。但就在最近情况有所改变,这些录制的视频越来越频繁地被传至各种数据分析系统,因此可能会被用于追踪一些特定人群的行踪。 不言而喻”老大哥们”(见于小说《1984》)可能将侵犯到我们的私生活。你不得不接受政府的”一系列行为”,因为他们是所谓”维持社会秩序”的人。然而如今,生物识别系统正试图变成一种普遍的商业工具,这不仅让我们的个人资金状况彻底暴露,同时还侵犯到了每个人私生活的权利。而这又是另外一回事了。 比如说,你在商店购买一件冬季外套时,商店的监控系统也在将你的视频图像与一些抢匪的照片相对比,并将这些视频图像添加到你的客户资料内。 或者,你去汽车经销商处看新车,你只要一走进去,销售人员就能很快找到你的名字和所有你的个人信息。包括你缺少资金购入新车的信息。 即使去教堂有时也无法幸免。面部识别系统已被用来搜寻经常来教堂的人:事实证明教堂从这些人中募集捐款的概率更高。 这个很不错吧?其实并不尽然,但不存在任何犯罪行为。 如果有天有关你私生活的所有细节内容被许多公司收集并外泄到互联网上,你会作何感想?与黑客入侵Ashley Madison交友网站不同的是,毫无疑问我们每个人都将难以幸免— 这里是与你有关的照片和视频。 大多数国家的法律并未明文禁止将面部识别技术用于商业目的,比如,未禁止随意对街上的行人拍照。越来越的人开始想知道如何才能在这些情况下躲避”无处不在”的监控摄像头,这并不让人感到惊讶。 想要知道更好的躲避摄像头方法,首先需要了解现代的图像分析方法。在某些情况下,有两种主要的方法。 我能看一下你的脸吗 第一种方法是将照片中某些指定标记与预建数据库相比较。这些标记可以是双眼间距、鼻子测量结果以及嘴唇形状评估等等。 这一方法与指纹识别十分相似。样本指纹通常事先采集并保存到数据库内。或许以后,我们还能将陌生人的乳头线与数据库内的样本进行比较。因此,面部识别的先决条件是有要寻找人的高质量照片(光线良好且是全脸照)。 那如何才能获得这些照片呢?来源各不相同。有可能是在制作打折卡时拍的照,也可能是有人扫描了贴有你照片的文档。 要欺骗传统的面部识别系统相对容易些。最简单的方法是低下头并且不要看摄像头。大多数标记只有以特定全脸角度拍摄才能测量,因此脸部倾斜的照片大多数情况下无法提供所需的数据。如果你戴一顶有帽檐的棒球帽,上面的摄像头(通常安装在某个高处位置)将变得毫无用处。 一些专家建议你在走过镜头时做鬼脸。这确实很有效,但却会引起过多的注意。因此这时你需要的是一副墨镜。 墨镜的好处在于能遮住眼睛,而这正是人脸在识别系统中”最有利用价值”的区域之一。普通的透光屈光镜无法掩饰照片上所需的细节,高级算法式就能轻松应对。而大尺寸的不透光眼镜对于传统系统而言却是一个极大挑战。镜像模型同样能借助反射光让摄像头无法拍摄正常图像。 你今晚的样子是… 像Facebook和Google这样的大型公司正在积极开发第二种人体识别方法,但选择的方式不尽相同。该方法基于机器学习算法和自动样本数据下载和上传技术,能将特定照片与所有互联网可用资源相对比。 这是一种更为灵活的方法且更难掩饰。即便用防毒面具将你的脸遮盖得严严实实,也无法保证不会留下一些蛛丝马迹,原因在于类似的系统通常不需要严格的预设标记。 他们可以将任何可用数据用作人体识别:你腿部的形状、你头发秃顶的区域、你的举止形态以及你的衣服等。目前Facebook在实验上有了一定进展:只要有足够数量的样本照片,从任意角度确认个人身份的精确度达到了83%。 这里的关键在于有足够数量用来比较的照片。如果只有一张样本照片的话,即时拍摄到再高质量的图像也很难识别成功。这也是为什么大数据技术和快速互联网搜索算法被推向了科技最前沿。 接下来会戳到广大用户的痛处:我们是否应在互联网上公开发布我们的照片?我们可以忍受Facebook或Google将我们的照片用作营销目的,因为在”大互联网兄弟”的背景下你根本无处可逃。然而,也没有人能阻止任何公司自由访问并在线挖掘需要的数据。 首先假定你的Facebook主页的隐私设置为”仅好友可看”。那在其他人的博文中随机出现你的照片呢?你LinkedIn上的个人资料呢?即使彻底远离社交网络也很难切断所有的照片来源。 对应的解决方案尚不清楚。最有可能的是,政府方面出台更加严格的生物识别市场法规,而社会大众将提高这方面的自我保护意识。 因此,现在是时候将个人照片视作与我们的文档或信用卡扫描同等重要的个人隐私。对于到处炫耀和晒自己照片的行为,我们并不推荐。  

大数据令人恐惧的一面

滥用大数据将会让你最可怕的梦魇成真,除此之外,等待着你的还将是永无止境的政府监控、保险代理的”独裁”以及老板的”专制”。不管你喜欢与否,潘多拉盒已经打开—我们也已进入了数字监控时代。 保护你冰箱的隐私 保险代理会购买你的信用卡记录。他想知道你是否经常吃快餐、订阅了哪些杂志以及买过哪些处方药。 分析人员也需要通过你的购物行为来评估你是否是拥有良好理财习惯的客户。那些喜欢吃炸薯条的”问题”客户,他们的人寿保险费率很可能会提高,甚至还可能被保险公司拒之门外。因此如果你想保护’冰箱习惯’隐私的话,可以考虑用现金购买食品。 社交网络账号也是另一个重要个人信息的来源,而这往往是用户自愿公布的。就这一点而言,Facebook健康文摘的忠实读者们似乎更容易受到保险公司的青眯,而那些热衷于前往Buffalo Wild Wings就餐的单身汉将可能成为保险公司的弃儿。因此,正确配置Facebook的隐私设置不失为一个好主意 。 与银行间的亲密关系… 银行同样乐意加入保险公司的行列以获取个人数据。你想贷款吗?银行通过对客户消费行为分析,了解他们的消费倾向:是将钱肆意挥霍在度假中还是更愿意用来购买高档品牌。银行想要了解你的程度胜过你的老妈。 银行向客户”强加的关系”可能会导致实实在在的财务后果:一旦银行认定你有花费超支的倾向,就可能会提高你的贷款利率。被归入’不可靠’清单的客户可能从未从银行贷款或享受过类似的服务,原因很简单,银行也从未向他们发过任何贷款产品的广告。 令人遗憾的是,由于银行拒绝向那些’默认’不可能获得贷款服务的客户放贷,银行此举也进一步加剧了贫富差距。 大数据下的职场生涯:美梦还是噩梦? 你可能正在遭受老板的监视:有一种软件可以让你的老板知道你是否有离职的打算,有时甚至连你都不知道自己有这个打算。此类程序能够预测哪些员工最有可能超预算消费。除此之外,数据分析还能找出那些拥有三个或以上社交网站账号以及使用默认浏览器更频繁地换工作的人(还有其它许多类似的观察数值)。 尽管整个理念听上去有些毛骨悚然,但有些公司的确已开始使用大数据做一些雇佣和晋升方面的决策。至于能预测你未来决定的软件—是不是有点像《少数派报告》中开头的场景? 此类程序标榜不含任何人类的偏见;但的的确确又是由人编写的。人类,本来就是存在偏见又容易犯错的生物。此前,就曾发生过因此类程序发出错误指示而拒绝优秀应聘者的案例。 小心,大数据下的营销! 营销领域在使用数据挖掘技术时同样难免出现错误。前几年,营销领域的一些失误常见于各大新闻报刊,因此也大众所了解。 OfficeMax就曾犯了个大错,该公司在寄给一名客户优惠券的信封上竟然赫然印有寄给”Mike Seay,女儿在车祸中丧生”的字样。大约在一年前,这名客户年仅17岁的女儿和她的男朋友在一场车祸中不幸身亡。我们无法确定的是,公司在客户个人资料中保存这一敏感个人信息的目的到底是什么。 名声不佳的Target营销活动让人们不禁展开对”营销与个人隐私”话题的讨论,事情的起因是大型零售商Target在一名少女告诉家人自己怀孕之前透露了这个消息。该公司因为向少女寄送婴儿床和衣服的优惠券,使得她的父亲(也是未来的外公)意外获知了这一消息。 在这个事件后,Target营销活动开始变得隐秘起来,并决定向客户寄送各种优惠券以掩饰他们的’无所不能的超能力’。 “我们发现只要怀孕女性觉得自己没有被暗中监视,就会使用这些优惠券。她只要确保在她居住街区的每个人都收到了相同的尿布和婴儿床优惠券。只要我们没有特意发给她,就不会有问题。” —Target向《福布斯》杂志说道。 是否’较隐晦’的暗中营销就比”明目张胆”来得更好呢?可能会有助于缓解你的紧张情绪,但在现实中要想隐藏通过精确数据挖掘得到的信息几乎不可能。普林斯顿大学副教授Janet Vertesi和她的男友曾试图隐藏自己怀孕的消息,但结果证明这并不容易。 他们在线浏览婴儿产品时只使用洋葱路由;他们还要求朋友和家人不要将自己怀孕的消息发布到Facebook和其它社交媒体平台上,并且尽可能只用现金购物。最后Vertesi在总结过去几个月自己为隐藏怀孕事实所做的一切时表示:”你必须得像毒贩一样暗中交易。”太可怕了! 保护客户数据…你在开玩笑吗? 所有这些贪婪的数据收集公司从而考虑过太多的安全问题。许多黑客可以不费吹灰之力就成功入侵这些系统。 有时这样的事件看上去非常愚蠢。到后来则是见怪不怪了。金融服务提供商Money

大数据是如何帮助抓捕罪犯的

大数据技术可被用于解决诸多难题:治疗罕见疾病、在印度抓捕偷猎者或发现纽约修剪树木的最佳时节。保险代理公司也能利用大数据实现更准确的保险产品定价;而银行、工厂和零售连锁店—同样可以借助大数据提高生产率和增加销售量;警察和安全专家—则能利用它抓捕罪犯。在本篇博文中,我们将重点讨论最后一个方面,即利用大数据抓捕罪犯。 刑事专家确信犯罪也有其独有的模式,就如同其他人类活动一样。尽管要预测个体行为有相当的难度,但通过数据分析却能预测特定人群的反应,且精确度相当之高。 尽管普通用户对于大数据的巨大潜力几乎一无所知,但也会时常讨论大数据的优势或害怕政府监听。有关分析专家正在深入研究这方面的课题,以期对来自真正危险的错误信号加以区分,例如:防范金融犯罪。 警察局时常会利用大数据以更高效的方式处理一些已知信息,例如:对城市中最危险的几个区域进行检查。你可以看到伦敦地图上的’热点’均用红色进行标注: 美国西雅图、纽约和洛杉矶的警察局早已用上了类似的安全解决方案。最新的相关报告显示,这三座城市的犯罪率有明显的下降,其中盗窃案、暴力犯罪和财产犯罪案分别下降了33%、21%和12%。 高科技帮助警察在有人报警之前就能预先采取行动。每一项数据都有其价值所在:在Facebook和其他社交网络上的照片、更新内容和登录状态;当地学校的旷课统计;医学调查结果、购物数据以及公共监视摄像头录像等。 除此之外,数据分析员还能帮助警察确定各种动态,例如:罪犯将枪和子弹作为货币进行交易。犯罪分子会将一些重要数据上传到社交网站(尤其是Facebook和Instagram),从而成为了破案过程中极其宝贵的信息来源。 有关专家表示分析系统能够成功对街头犯罪进行预测,例如汽车盗窃案和谋杀案。此外,在预测街头骚乱以及恐怖活动时也同样表现出色。 Forensic Logic公司曾帮助警察局侦查到数名在逃嫌犯。公司专家将洛杉矶县内80座城镇的数据库进行了比较,发现这些罪犯偷偷从一个警察管辖区潜逃到了另一个管辖区。 来自宾夕法尼亚大学犯罪学系的专家团队基于包括本地警察分局报告在内的各种数据研究出了一种算法。该算法可被用于侦查杀人案的潜在受害者。警察利用该数据对处于危险的人发出警告。 在专门研发此类解决方案的公司中,最知名的一家可能就是Palantir,该公司最近将业务从政府服务领域扩展到商业市场。 Palantir的软件能够处理一大堆零散的信息:DNA数据、各种来源的音频和视频录像(包括公共监视摄像头录像)、监控车辆交易的注册车辆牌照以及许多其它全球选择项。 这项解决方案已在数个国家被用于防止恐怖袭击,在阿富汗则用于对叛军攻击进行预测。该软件也成功定位了之前曾谋杀美国报关代理人的墨西哥贩毒集团成员的位置。 这一软件能在其它许多情况下使用:成功追踪到在达赖喇嘛PC电脑上安装间谍软件的黑客。此外,还能在另一项重大案件中运用:Palantir在猥亵儿童者施暴一小时后成功被捕的案件中起到了作用。该软件利用纽约市公共监视摄像头的视频录像成功侦查到犯罪分子的所在位置。 刊登在《福布斯杂志》中的一篇文章介绍Palantir的首席执行官Alex Carp极其重视个人隐私。公司聘请了一名叫做Mike的身材壮硕的保镖时刻伴随Alex Carp左右,几乎形影不离。Mike的工作是保护Carp的安全,防止那些已向他发送死亡威胁的家伙、阴谋论者、精神分裂者以及所有其他各类有侵犯性的疯子对Carp本人的骚扰。这是成功必须付出的代价,此外,Palantir还在成功抓捕奥萨马•本•拉登的行动中做出了贡献-帮助美国当局成功定位了世界头号恐怖分子的位置。

十大意想不到的大数据项目

现在很多人都在谈论大数据,它既有优点也有缺点,同时也潜力巨大,这也让我们不禁想搜寻并向读者介绍全世界各地的大数据项目。在本文中,你将能了解到那些使用目的各异,且不乏严肃、有趣甚至令人惊讶的大数据使用案例。接下来就让我们共同赏析一番吧! 那么,大数据能帮助我们… #1.从互联网上精确搜索想要的内容 可能你从未想到过Goole、雅虎、Yandex、必应以及其他搜索引擎正是利用大数据来挑选你搜索查询的结果,事实上他们就是这么做的。 搜索引擎需要处理数以万亿的网络对象并分析数十亿人的在线行为,从而精确了解他们的搜寻内容。这些科技巨头自然在许多领域成为了数据分析的先驱者,并推出了大量与大数据相关的产品。 #2.畅行都市,远离交通拥堵 例如,Yandex公司在不断增强其数据分析技术的同时,决定从换个角度来使用他们的数据。这最终使Yandex.Traffic解决方案孕育而生。该技术能够对不同来源的信息进行分析,继而在城市地图上实时显示交通状况。 #3. 拯救濒危动物,抓捕偷猎者 偷猎者对于濒临灭绝的孟加拉虎的盗猎可谓屡禁不止,这主要是因为一些迷信的中国人认为它们的骨头有药用的价值。这些偷猎者对于孟加拉虎栖息地每一处的地形都了如指掌,因此执法人员很难抓到他们,但却可以借助…大数据。 #4. 让我们的城市变得更加环保 纽约市由于一些古树年代久远且缺少照料,时常会倒下砸落到市民头上或造成财产损失,有关部门因此而焦头烂额。现在,大数据将教会他们如何保护”城市森林”。 #5. 了解印度料理为何如此独一无二 科学家通过对大量食谱进行研究后发现在全世界各国的料理中,食材搭配都非常好—除了印度料理以外。 #6. 在非洲与疟疾流行病作斗争 由Google资助的一项大型项目通过利用大数据技术来解决全球健康问题。许多即使居住在偏远地区的非洲人都拥有自己的手机。他们可以通过文本数据发布他们服用药物情况,从而使科学家能够追踪疾病的传播范围以及治疗方法。 #7. 种出理想的圣诞树 科学家通过连接超过15个大型种植数据库的基因、物理和环境数据,从而研发出能够种出更好的农作物、植物以及理想圣诞树的工具。 #8. 了解我们的语言充满了幸福感 事实证明,全球各地语言所含的积极正面的词汇数量要多于消极负面的词汇,且会让人感觉幸福。 #9. 让体育比赛变得更加富有乐趣 职业体育教练利用大数据来制定战术、训练球员以及设计合理的食谱,甚至与体育迷之间的互动都能让运动员在赛场上发挥出更好的水平。 #10. 改善工作条件