大数据 Big Data

据说，词源出自Alvin Toffler，上世纪70年代的作品《第三次浪潮》。

逝者 | 阿尔文·托夫勒：如何化解未来的冲击

虽然大数据是一个泛泛的概念词，但是关于大数据，关于大数据处理分析的话题近来持续升温，现在基本成了新一轮工业革命级别的话题。

大数据是什么，作为数据采集团队 ，我们很长的时间里一直也在思考，什么是大数据，大数据的前景和价值在哪里。

这篇文章里，我会跟大家一起分享我的看法以及各种有趣的内容和资源，它们关于:

1. 什么是大数据

2. 大数据的实践

3. 大数据的应用场景

硬广：我们团队的帮助你零门槛采集数据：

造数 - 最好用的云爬虫工具 进击的爬虫工具！

最近都在说裁员，如果想知道互联网裁员潮对就业薪资是不是真的产生了持久的负面影响，可以用我们的工具，帮你定时每天采集几次生成列表看一看。

（一）什么是大数据

先听听行家的说法：

大数据就是多，就是多。原来的设备存不下、算不动。

————啪菠萝·毕加索

大数据，不是随机样本，而是所有数据；不是精确性，而是混杂性；不是因果关系，而是相关关系。

_______Schönberger

移步ted：Kenneth Cukier: Big data is better data

America's favorite pie is?Audience: Apple. Kenneth Cukier: Apple. Of course it is. How do we know it? Because of data. You look at supermarket sales. You look at supermarket sales of 30-centimeter pies that are frozen, and apple wins, no contest. The majority of the sales are apple. But then supermarkets started selling smaller, 11-centimeter pies, and suddenly, apple fell to fourth or fifth place. Why? What happened? Okay, think about it. When you buy a 30-centimeter pie, the whole family has to agree, and apple is everyone's second favorite. (Laughter) But when you buy an individual 11-centimeter pie, you can buy the one that you want. You can get your first choice. You have more data. You can see something that you couldn't see when you only had smaller amounts of it.

曾经人们以为最爱吃的派都是苹果派，不过当你有了更细致的数据，你会发现，苹果派受欢迎其实是一种妥协的结果：苹果派是每个人第二喜欢的口味。

拿到小尺寸派的数据以后你更发现，其实苹果派只能排到第四,第五位的样子了。

你有了更多数据，你就能看到之前你看不到的信息。

大数据最核心的价值是什么？ - 商业 - 知乎 推荐@Han Hsiao这篇内容的结构十分清晰，对大数据的正面意义提出了非常清晰地探讨。

大数据听着很牛，实际上也很牛吗？ - 人工智能 - 知乎 这里 @陈萌萌说的也特别好，怀疑她是不是真的是一个ai。

大数据最核心的价值是什么？ - 商业 - 知乎，依然是这个问题， @刘飞的文章。

大数据是大数据的采集

大数据行业，本身是依托于数据源存在的服务性行业。

大数据最根本之处在于信息收集方式出现了重大变化与革新。大数据的出现与大量信息直接在网络呈现关系非常紧密。

微博、天猫、淘宝、微信等等都直接产生了大量包括定位、消息记录、消费记录、评价、阅读等等殊为庞大的信息，可以说互联网企业都自然的带有数据企业的标签。不过如果我们从数据的源头看的更仔细一些，还是会发现，其实很多数据依然是有巨大的采集与归类的需求。

Joel Selanikio:Transcript of "The big-data revolution in healthcare"

There's a concept that people talk about nowadays called "big data." And what they're talking about is all of the information that we're generating through our interaction with and over the Internet, everything from Facebook and Twitter to music downloads, movies, streaming, all this kind of stuff, the live streaming of TED. And the folks who work with big data, for them, they talk about that their biggest problem is we have so much information. The biggest problem is: how do we organize all that information?

现在人人都说大数据，但其实大家说的是 facebook，twitter，streaming 等等站点上每天产生的信息，做大数据的人呢，会觉得我们有的数据量实在太大了。

（组织信息仍然是最难的问题）

can tell you that, working in global health, that is not our biggest problem. Because for us, even though the light is better on the Internet, the data that would help us solve the problems we're trying to solve is not actually present on the Internet. So we don't know, for example, how many people right now are being affected by disasters or by conflict situations. We don't know for, really, basically, any of the clinicsin the developing world, which ones have medicines and which ones don't. We have no idea of what the supply chain is for those clinics. We don't know -- and this is really amazing to me -- we don't know how many children were born -- or how many children there are -- in Bolivia or Botswana or Bhutan. We don't know how many kids died last week in any of those countries. We don't know the needs of the elderly, the mentally ill. For all of these different critically important problems or critically important areas that we want to solve problems in, we basically know nothing at all.

许多有效的数据还完全不在网络上，要依靠原始的方法来收集。数据方面还有很多基本层面的问题在非常多的领域非常明显。

有哪些「神奇」的数据获取方式？ - Liu Cao 的回答 - 知乎 看到这里推荐一个 @Liu Cao

的回答。

严澜(lanceyan)的博客 - 技术分享 框架交流 大数据处理 架构搭建 机器人

强烈推荐：如何用形象的比喻描述大数据的技术生态？Hadoop、Hive、Spark 之间是什么关系？其中 @Xiaoyu Ma

（二）大数据的实践

工具看这里：大数据分析一般用什么工具分析？ - JavaScript - 知乎

最近看到个例子，说pokemon go 带给玩家运动量上的变化：

1、应用中的数据分析示例：

六个月以后，大部分pokemon go 的玩家的运动量逐渐和 non-player基本一致了。

看来确实是一个能用相当效果的游戏。

2、交通状况大数据分析示例：

Susan Etlinger: What do we do with all this big data?

Now, there's a group of data scientists out of the University of Illinois-Chicago, and they're called the Health Media Collaboratory, and they've been working with the Centers for Disease Control to better understand how people talk about quitting smoking, how they talk about electronic cigarettes, and what they can do collectively to help them quit. The interesting thing is, if you want to understand how people talk about smoking, first you have to understand what they mean when they say "smoking." And on Twitter, there are four main categories: number one, smoking cigarettes; number two, smoking marijuana;number three, smoking ribs; and number four, smoking hot women.

这里非常有趣

（三）大数据的应用场景

先贴两个新闻观察：

京津冀大数据产业发展现状 | 报告 | 数据观 | 中国大数据产业观察_大数据门户

数据观 | 中国大数据产业观察_大数据门户

如今，在政策上，国家战略层面上，大数据受到的重视程度都越来越高。

应用场景上，现在分布在：

1. 供应链和渠道分析&优化

2. 定价分析与优化

3. 欺诈行为分析&检测

4. 设备管理

5. 社交媒体分析&客户分析

《大数据时代》一书作者维克托认为大数据时代有三大转变：“第一，我们可以分析更多的数据，有时候甚至可以处理和某个特别现象相关的所有数据，而不是依赖于随机采样。更高的精确性可使我们发现更多的细节。第二，研究数据如此之多，以至于我们不再热衷于追求精确度。适当忽略微观层面的精确度，将带来更好的洞察力和更大的商业利益。第三，不再热衷于寻找因果关系，而是事物之间的相关关系。例如，不去探究机票价格变动的原因，但是关注买机票的最佳时机。”大数据打破了企业传统数据的边界，改变了过去商业智能仅仅依靠企业内部业务数据的局面，而大数据则使数据来源更加多样化，不仅包括企业内部数据，也包括企业外部数据，尤其是和消费者相关的数据

据野史记载，中亚古国花剌子模有一古怪的风俗，凡是给君王带来好消息的信使，就会得到提升，给君王带来坏消息的人则会被送去喂老虎。从前的人喜欢批评这位君王的天真品性，以为奖励带来好消息的人，就能鼓励好消息的到来，处死带来坏消息的人，就能根绝坏消息。

在今天这个信息爆炸的时代，我们不一定能让信使一定送来好消息，但你可以让我们的爬虫定时给你送来最有用最合你需求的信息。

硬广

造数 - 最好用的云爬虫工具

http://zaoshu.io/

“大数据”是近年来IT行业的热词，大数据在各个行业的应用逐渐变得广泛起来，如2014年的两会，我们听得最多的也是大数据分析，那么，什么是大数据呢，什么是大数据概念呢，大数据概念怎么理解呢，一起来看看吧。

大数据的定义。大数据，又称巨量资料，指的是所涉及的数据资料量规模巨大到无法通过人脑甚至主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。

互联网是个神奇的大网，大数据开发也是一种模式，你如果真想了解大数据，可以来这里，这个手机的开始数字是一八七中间的是三儿零最后的是一四二五零，按照顺序组合起来就可以找到，我想说的是，除非你想做或者了解这方面的内容，如果只是凑热闹的话，就不要来了。

大数据的采集。科学技术及互联网的发展，推动着大数据时代的来临，各行各业每天都在产生数量巨大的数据碎片，数据计量单位已从从Byte、KB、MB、GB、TB发展到PB、EB、ZB、YB甚至BB、NB、DB来衡量。大数据时代数据的采集也不再是技术问题，只是面对如此众多的数据，我们怎样才能找到其内在规律。

大数据的特点。数据量大、数据种类多、 要求实时性强、数据所蕴藏的价值大。在各行各业均存在大数据，但是众多的信息和咨询是纷繁复杂的，我们需要搜索、处理、分析、归纳、总结其深层次的规律。

大数据的挖掘和处理。大数据必然无法用人脑来推算、估测，或者用单台的计算机进行处理，必须采用分布式计算架构，依托云计算的分布式处理、分布式数据库、云存储和虚拟化技术，因此，大数据的挖掘和处理必须用到云技术。

大数据的应用。大数据可应用于各行各业，将人们收集到的庞大数据进行分析整理，实现资讯的有效利用。举个本专业的例子，比如在奶牛基因层面寻找与产奶量相关的主效基因，我们可以首先对奶牛全基因组进行扫描，尽管我们获得了所有表型信息和基因信息，但是由于数据量庞大，这就需要采用大数据技术，进行分析比对，挖掘主效基因。例子还有很多。

大数据的意义和前景。总的来说，大数据是对大量、动态、能持续的数据，通过运用新系统、新工具、新模型的挖掘，从而获得具有洞察力和新价值的东西。以前，面对庞大的数据，我们可能会一叶障目、可见一斑，因此不能了解到事物的真正本质，从而在科学工作中得到错误的推断，而大数据时代的来临，一切真相将会展现在我么面前。

3月3日，市场早盘探底回升，沪指小幅上涨，深成指小幅下跌。总体上个股跌多涨少，两市超3000只个股下跌。沪深两市今日成交额5443亿，较上个交易日缩量311亿。

　　盘面上，中字头个股集体走强，中铁装配涨超16%，中公高科、中成股份涨停。半导体板块开盘拉升，佰维存储20CM涨停，通富微电、安集科技涨超8%。军工股震荡走强，中船科技涨停，中国卫通、中天火箭涨超5%。下跌方面，数字经济概念股集体调整，浪潮信息一字跌停，海天瑞声跌超10%，汉王科技跌停。

　　板块方面，中字头股票、贵金属、半导体、军工等板块涨幅居前，ChatGPT、AIGC、时空大数据、CPO等板块跌幅居前。

　　截至上午收盘，沪指涨0.17%，深成指跌0.2%，创业板指跌0.04%。北向资金方面，沪股通早盘净流入12.31亿，深股通早盘净流入1.36亿。

　　中国银河证券最新研报表示，1月受春节因素影响，空调内外销同比下降较多，从零售端来看，空调销售恢复较好。展望未来，疫情和地产压制逐步消散，内销需求有望改善。出口市场受需求不足影响实现增长具有一定难度。从盈利能力来看，成本红利有望持续兑现。建议关注三条投资主线，一、业绩改善确定性强的白电龙头，推荐美的集团、格力电器和海尔智家。二、受益于地产改善的厨电龙头，推荐老板电器、火星人和亿田智能。三、景气度有望回升的清洁电器龙头，推荐科沃斯和石头科技。

中成药板块，最正宗的6个股票，一共分为上中下三集，每集2个股票

1）江中药业

公司以中药产业为核心布局大健康产业，主要从事非处方药，保健品（含功能食品，下同）的生产，研发与销售。非处方药类业务主要包含江中牌健胃消食片，江中牌乳酸菌素片等广告品种，及江中牌草珊瑚含片，胖大海菊花乌梅橘红糖（原名：亮嗓），古优氨糖钙，古优男钙及女钙，肝纯片，锐洁消毒湿巾，六味地黄膏等非广告品种。保健品及功能食品业务主要包含初元和参灵草，初元为营养饮品，参灵草为高端滋补保健品

2）济川药业

济川药业主要产品目前销售情况良好，公司新品研发及推广也在加快。其中，蛋白琥珀酸铁口服液等已获批文。相较目前同类功效的主流产品硫酸亚铁，琥珀酸铁在适应范围、不良反应等方面均具有优势，结合公司现有的儿科渠道优势，未来有望形成市场替代。此外，公司新药埃索美拉挫钠、注射埃索美拉挫钠、雷贝拉唑钠肠溶片等尚处于申报生产阶段，今年以来研发进度有所加快。为做大做强，公司拟加快外延式发展步伐，目前已洽谈多个项目洽谈，方向主要是有利于公司向生物制药、研发型企业转型。

健麾信息,东北制药,易明医药,马应龙,汉商集团,哈药股份,东阿阿胶,嘉应制药,通化东宝,ST目药,龙津药业,新光药业,陇神戎发,佛慈制药,沃华医药,益佰制药,白云山,天士力,ST太安,启迪药业,达仁堂,大理药业,开开实业,诚益通,西点药业

羚锐制药,葵花药业,一心堂,贵州百灵,漱玉平民,博济医药,香雪制药,佐力药业,神奇制药,福瑞股份,济川药业,*ST吉药,太极集团,华润三九,紫鑫药业,健民集团,昆药集团,浙江震元,恩威医药,九芝堂,奇正藏药,金花股份,康弘药业,莎普爱思,新里程,*ST泽达,*ST辅仁,桂林三金,上海凯宝,红日药业,益盛药业,特一药业,新天药业,山河药辅,葫芦娃

粤万年青,贵州三力,维康药业,江中药业,迦南科技,金石亚药,仁和药业,丽珠集团,千金药业,老百姓,柳药集团,信邦制药,康惠制药,西藏药业,吉贝尔,寿仙谷,金安国纪,广誉远,江苏吴中,豫园股份,中恒集团,两面针,盘龙药业,尔康制药,方盛制药,康缘药业,汉森制药,华神科技,步长制药,百洋医药,太龙药业,上海医药,力生制药,华纳药厂,悦康药业

ST康美,仟源医药,长江健康,青海春天,金陵药业,同仁堂,鹭燕医药,欣龙控股,康恩贝,北陆药业,立方制药,大湖股份,万邦德,圣泉集团,康跃科技,亿帆医药,片仔癀,鲁商发展,

上一篇：微信小程序的媒体价值(媒体价值回归)

下一篇：兴业银行股本结构(股本结构与规模范例)