第八课：认识大数据

大数据4V特征插画

你每天刷的短视频、用的导航、戴的手环，背后都在产生海量数据。当数据大到普通工具处理不了，就有了大数据（Big Data）。

一、大数据的 4V 特征

特征	含义	例子
Volume（数据量大）	规模巨大，以 TB、PB 甚至 ZB 为单位	社交媒体、物联网设备、科学实验每天产生海量数据
Velocity（处理速度快）	数据生成和流动极快，需实时或近实时处理	金融交易监控、电商推荐要在秒级甚至毫秒级完成分析
Variety（类型多样）	来源和格式多样	结构化数据（数据库表格）、半结构化（XML、JSON）、非结构化（文本、图片、视频、音频）
Value（价值密度低）	高价值信息分散在大量无用数据中，需挖掘	用机器学习从海量记录里找出真正有用的规律

二、大数据对日常生活的影响

大数据已经像水和电一样，渗透到生活的方方面面：

大数据生活应用插画

便捷与个性化生活

购物推荐：搜过“羽毛球拍”后，平台持续推荐相关商品——原理是分析你的浏览、搜索、购买记录，结合海量用户数据做个性化推荐。
智能导航：实时显示路况拥堵（绿/黄/红）并预估到达时间——原理是汇总所有用户的实时位置与速度，智能规划最优路线。
内容推送：B 站、网易云推送你可能喜欢的视频和歌曲——原理是分析你的观看/收听行为，并与相似用户对比。
健康管理：手环监测步数、心率和睡眠，App 给出个性化建议——原理是持续收集个人健康数据并与群体数据对比。

效率与公共服务提升

智慧城市：根据实时车流调整红绿灯，大型活动时优化公交调度——整合交通摄像头、刷卡、手机信令数据，用数据驱动管理决策。
医疗健康：AI 分析医学影像（CT 片）辅助早期筛查癌症——分析海量病例与基因数据，发现疾病规律、加速新药研发。

三、数据采集

大数据采集的目标是从各种来源全量、实时、高效地获取数据：

数据源类型	是什么
业务数据库	MySQL、Oracle 等关系型数据库中的交易记录、用户信息（结构化）
日志文件	应用、服务器、网络设备产生的半结构化数据，记录用户操作与系统状态——非常重要的数据源
传感器数据	物联网设备、智能硬件的实时数据流：温度、位置、速度等
社交媒体与网络数据	通过 API 或网络爬虫抓取的文本、图片、视频（非结构化）

常用采集工具：批量采集用 Sqoop（Hadoop 与结构化数据库之间传数据）、DataX（阿里开源的离线同步工具）；实时/流式采集用 Flume（分布式日志采集）、Kafka（高吞吐消息系统，现代流处理架构的核心）、网络爬虫（Python 的 Scrapy、BeautifulSoup）。采集后的数据通常被送到统一的数据湖或数据仓库，为后续分析做准备。

四、动手练一练

练习 1：用 4V 特征分析“短视频 App 的推荐系统”——它的 Volume、Velocity、Variety、Value 各体现在哪里？

练习 2：学校想做一个“食堂菜品受欢迎度分析”，请说出可以采集哪些数据源，分别属于哪种类型。

点击查看参考答案

练习 1 参考：Volume——亿级用户每天上传海量视频；Velocity——刷到新视频要秒级推荐；Variety——视频、弹幕、点赞、评论什么格式都有；Value——真正让你停留的视频只占一小部分，要靠算法挖掘。

练习 2 参考：点餐系统订单记录（业务数据库/结构化）、同学在评价区的留言（社交媒体数据/非结构化）、打菜窗口的摄像头客流（传感器数据）。

🎉 这一课你学会了：大数据的 4V 特征、它如何改变生活、数据从哪里来。最后一课，我们看看现在最火的人工智能！