简介这份资源是面向Python数据分析初学者与高校学生的实战项目包以网易云音乐歌单为分析对象完整演示从数据获取、清洗到可视化呈现的全流程适合用作期末大作业、课程设计或数据分析入门练手。项目综合运用numpy、pandas、matplotlib、requests、squarify、jieba、wordcloud、bs4等第三方模块围绕歌单的评论、收藏、播放、贡献与分布数据绘制数量图与词云并给出歌单优化建议能帮助读者建立爬虫采集到可视化表达的完整认知。压缩包共38个文件约12.23MB包含12个py源码、11个pyc编译文件、7张png图表、3份csv数据、1个ttf字体、1份pdf与1份docx说明文档及md笔记源码、数据与文档配套齐全便于直接运行与二次修改。目前已有786人学习下载可作为数据分析初探阶段的可复用参考案例。1. 一份能跑通的网易云歌单分析作业到底长什么样如果你正在搜「Python 数据分析项目」「网易云音乐歌单分析系统源码」大概率是两种情况要么期末大作业还差一个能演示的完整项目要么刚学完 pandas 和 matplotlib想找个真实数据集练手却卡在「数据从哪来」。这份 TUST 天津科技大学 2022 年的 Python 数据分析初探结课项目恰好卡在这两个痛点上——它不是玩具级的鸢尾花数据集而是用 requests bs4 去抓网易云歌单真实页面再用 pandas 清洗、matplotlib 出图、jieba wordcloud 做词云最后落到「歌单优化建议」这种能写进报告的分析结论。整个包里有源码、docx 手册、md 说明和 pdf 版本技术栈覆盖 numpy、pandas、matplotlib、requests、squarify、jieba、wordcloud、bs4、time 这一整套数据分析入门常用库。适合谁适合已经会写 for 循环、装过 pip 包但还没独立走完「爬取→清洗→可视化→结论」全流程的人。下面我按自己拆包复现的顺序把这份资源怎么用、参数怎么调、哪里会翻车讲清楚。2. 环境搭建与依赖安装把 numpy、pandas、wordcloud 一次装对2.1 为什么这几个库的安装顺序有讲究这份项目的依赖列表看着普通但 wordcloud 和 squarify 是两个容易在 Windows 上装崩的包。wordcloud 依赖 C 编译环境squarify 虽然纯 Python 但版本更新后 API 有变动。我一般会先把 numpy 和 pandas 装好因为 matplotlib 和 wordcloud 都依赖 numpy 的底层数组如果 numpy 装的是不匹配的版本后面 import 会直接报 DLL load failed。项目里用到的库按功能分四类数据获取requests、bs4、time、数据处理numpy、pandas、可视化matplotlib、squarify、文本分析jieba、wordcloud。这个分类不是摆设装的时候按这个顺序走出问题能快速定位是哪一层挂了。2.2 依赖安装的实操命令先确认 Python 版本这份 2022 年的项目建议用 Python 3.8 到 3.103.11 以上部分库的 wheel 可能还没跟上。# 查看当前 Python 版本建议 3.8-3.10 python --version # 建一个独立虚拟环境避免污染全局包 python -m venv venv # Windows 激活 venv\Scripts\activate # macOS / Linux 激活 source venv/bin/activate虚拟环境激活后逐个装依赖。不要图省事直接pip install -r requirements.txt因为这份项目正文里没给锁版本的 requirements直接装最新版大概率会遇到 wordcloud 编译失败。# 先装数值计算底座numpy 和 pandas 版本要匹配 pip install numpy1.24.3 pandas1.5.3 # 可视化层 pip install matplotlib3.7.1 squarify0.4.3 # 爬虫层 pip install requests2.31.0 beautifulsoup44.12.2 # 文本分析层wordcloud 在 Windows 上如果报错用下面这行 pip install jieba0.42.1 pip install wordcloud1.9.2参数说明numpy 锁 1.24.3 是因为 pandas 1.5.3 对 numpy 2.x 不兼容这是血泪经验装成 numpy 2.x 后import pandas会直接抛ImportError。wordcloud 如果编译失败Windows 用户可以去下载对应 Python 版本的.whl文件本地安装命令是pip install 文件名.whl。2.3 验证环境是否装对装完别急着跑主程序先写个最小验证脚本确认每个库都能正常 import 且版本对得上。# check_env.py 环境自检脚本 import numpy as np import pandas as pd import matplotlib import requests from bs4 import BeautifulSoup import jieba from wordcloud import WordCloud import squarify # 打印关键库版本方便对照 print(numpy:, np.__version__) print(pandas:, pd.__version__) print(matplotlib:, matplotlib.__version__) print(requests:, requests.__version__) print(jieba:, jieba.__version__) print(wordcloud:, WordCloud.__version__ if hasattr(WordCloud, __version__) else ok) print(squarify:, squarify.__version__) print(所有依赖导入成功)逻辑说明这段脚本的作用是提前暴露 import 错误。如果 wordcloud 那行报ModuleNotFoundError说明装的时候失败了但 pip 没报错如果 numpy 和 pandas 版本不匹配会在import pandas时就崩而不是等到跑分析才崩。跑通这行输出「所有依赖导入成功」环境这关就算过了。3. 数据获取与清洗requests bs4 抓歌单pandas 做规整3.1 爬虫部分的请求构造与反爬边界这份项目用 requests 发请求、bs4 解析 HTML属于最基础的静态页面抓取。网易云歌单页面里歌单标题、播放量、收藏数、评论数这些字段在 HTML 里是有结构的但要注意两点一是请求头必须带 User-Agent否则会被识别成脚本直接返回空页面二是请求之间要加 time.sleep项目里 import 了 time 就是干这个的。我一般会把请求封装成一个函数把 headers 和延时都放进去这样后面抓多个歌单时不用重复写。import requests from bs4 import BeautifulSoup import time # 构造请求头模拟浏览器访问 HEADERS { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36, Referer: https://music.163.com/ } def fetch_playlist(url): 抓取单个歌单页面返回解析后的 soup 对象 try: resp requests.get(url, headersHEADERS, timeout10) resp.raise_for_status() # 非 200 直接抛异常 resp.encoding utf-8 # 防止中文乱码 soup BeautifulSoup(resp.text, html.parser) time.sleep(2) # 每次请求后停 2 秒降低被封风险 return soup except requests.RequestException as e: print(f请求失败: {url}, 原因: {e}) return None参数说明timeout10是防止某个请求卡死拖垮整个脚本resp.encoding utf-8这行很关键不设的话中文歌单名会变成乱码这是新手最容易忽略的一步time.sleep(2)的 2 秒是经验值太快容易触发限制太慢抓几十个歌单要等很久2 秒是平衡点。3.2 用 pandas 把抓下来的数据整理成 DataFrame抓下来的原始数据是散落在 HTML 里的字符串播放量可能带「万」字收藏数可能是「1.2万」这种格式直接拿去画图会报类型错误。这一步要用 pandas 做清洗把带「万」的转成数字把空值填掉把字段类型统一。import pandas as pd import re def parse_count(text): 把 1.2万 这种字符串转成整数 12000 if not text: return 0 text text.strip() if 万 in text: num float(re.sub(r[^\d.], , text)) return int(num * 10000) num re.sub(r[^\d], , text) return int(num) if num else 0 # 假设已经抓到了若干条歌单原始记录 raw_data [ {name: 华语流行精选, play: 12.3万, collect: 3456, comment: 789}, {name: 深夜emo歌单, play: 8.7万, collect: 1.2万, comment: 2345}, ] df pd.DataFrame(raw_data) # 对数量字段统一清洗 for col in [play, collect, comment]: df[col] df[col].apply(parse_count) print(df.dtypes) print(df.head())逻辑说明parse_count函数处理两种格式——带「万」的乘 10000不带的直接去非数字字符转 int。df[col].apply(parse_count)是对整列做映射比写 for 循环快且不易出错。跑完df.dtypes应该看到 play、collect、comment 三列都是 int64如果还是 object说明有脏数据没清干净得回去检查原始字符串。3.3 数据清洗后的字段结构清洗完的 DataFrame 建议保留这几列后面画图和词云都靠它们字段名类型含义用途namestr歌单名称词云分词来源playint播放量柱状图/散点图collectint收藏数柱状图对比commentint评论数相关性分析tagslist歌单标签分布图分类依据这张表不是让你照抄而是提醒你清洗阶段就要想清楚后面要画什么图需要哪些字段。我见过有人清洗完只剩播放量一列到画图时发现收藏数和评论数没保留又得重新抓一遍纯属给自己找麻烦。4. 可视化实现matplotlib 出图、squarify 画矩形树图、wordcloud 做词云4.1 评论、收藏、播放三组数量图的画法项目要求得出评论、收藏、播放、贡献、分布的数量图。前三组本质上是柱状图或条形图用 matplotlib 的 bar 或 barh 就能搞定。关键参数是 figsize 和 dpifigsize 控制画布大小dpi 控制清晰度报告里用的图 dpi 至少 150不然打印出来糊。import matplotlib.pyplot as plt # 设置中文字体否则中文标签显示成方块 plt.rcParams[font.sans-serif] [SimHei] # Windows 用黑体 plt.rcParams[axes.unicode_minus] False # 负号正常显示 def plot_bar(df, x_col, y_col, title, color#1DB954): 画柱状图网易云绿配色 plt.figure(figsize(10, 6), dpi150) plt.bar(df[x_col], df[y_col], colorcolor) plt.title(title, fontsize14) plt.xlabel(x_col, fontsize12) plt.ylabel(y_col, fontsize12) plt.xticks(rotation45, haright) # 歌单名长旋转避免重叠 plt.tight_layout() # 自动调整边距防止标签被裁 plt.savefig(f{title}.png) plt.show() # 分别画播放量、收藏数、评论数 plot_bar(df, name, play, 歌单播放量对比) plot_bar(df, name, collect, 歌单收藏数对比) plot_bar(df, name, comment, 歌单评论数对比)参数说明plt.rcParams[font.sans-serif] [SimHei]这行是中文显示的命门macOS 用户要改成[Arial Unicode MS]Linux 用户如果没有 SimHei 得先装字体。rotation45和haright配合使用让歌单名斜着排且右对齐不然长名字会挤成一团。plt.tight_layout()是后悔药不加的话保存的图经常缺边。4.2 squarify 矩形树图展示歌单分布squarify 这个库专门画 treemap适合展示「分布」——每个歌单占一块面积面积大小对应播放量或收藏数。它的输入是一个数值列表和对应的标签列表调用方式和 matplotlib 配合。import squarify def plot_treemap(df, size_col, label_col, title): 用 squarify 画矩形树图展示分布 sizes df[size_col].tolist() labels [f{n}\n{s} for n, s in zip(df[label_col], df[size_col])] colors plt.cm.Spectral([i / len(sizes) for i in range(len(sizes))]) plt.figure(figsize(12, 8), dpi150) squarify.plot(sizessizes, labellabels, colorcolors, alpha0.8) plt.title(title, fontsize14) plt.axis(off) # 关掉坐标轴树图不需要 plt.tight_layout() plt.savefig(f{title}.png) plt.show() plot_treemap(df, play, name, 歌单播放量分布树图)逻辑说明sizes是面积依据labels是每块上显示的文字这里把歌单名和播放量拼在一起显示。plt.axis(off)必须加否则树图周围会出现无意义的坐标轴刻度。颜色用plt.cm.Spectral生成渐变色比随机色好看且能体现大小顺序。4.3 jieba wordcloud 生成歌单名称词云词云是这份项目里最有展示效果的部分。流程是把歌单名称拼成一个长字符串 → jieba 分词 → 过滤掉「的」「了」这类无意义词 → 传给 WordCloud 生成图片。import jieba from wordcloud import WordCloud def make_wordcloud(names, outputwordcloud.png): 对歌单名称做分词并生成词云 text .join(names) # 精确模式分词 words jieba.cut(text) # 过滤单字和常见停用词 stopwords {的, 了, 和, 是, 我, 你, 他} filtered [w for w in words if len(w) 1 and w not in stopwords] clean_text .join(filtered) wc WordCloud( font_pathC:/Windows/Fonts/simhei.ttf, # 中文字体路径 width800, height600, background_colorwhite, max_words100, colormapviridis ) wc.generate(clean_text) wc.to_file(output) print(f词云已保存到 {output}) make_wordcloud(df[name].tolist())参数说明font_path是词云中文显示的关键不指定的话所有中文会变成方框Windows 路径是C:/Windows/Fonts/simhei.ttfmacOS 用/System/Library/Fonts/PingFang.ttc。max_words100控制词云里最多显示 100 个词太多会挤成一团。colormapviridis是配色方案可以换成plasma或coolwarm换风格。5. 避坑与常见问题排查那些让脚本跑不起来的细节5.1 现象import wordcloud 报 DLL load failed原因wordcloud 依赖的 C 扩展和当前 Python 版本或 numpy 版本不匹配常见于 Windows 上直接 pip 装最新版。解决先确认 numpy 版本是 1.24.x 而不是 2.x然后去下载对应 Python 版本和系统位数的.whl文件本地安装。命令是pip install wordcloud-1.9.2-cp39-cp39-win_amd64.whlcp39 对应 Python 3.9win_amd64 对应 64 位 Windows。5.2 现象中文标签在图上显示成方块原因matplotlib 默认字体不含中文字形plt.rcParams没设或设的字体系统里没有。解决Windows 设[SimHei]macOS 设[Arial Unicode MS]Linux 先fc-list :langzh看有哪些中文字体再设。设完记得加plt.rcParams[axes.unicode_minus] False否则负号也会变方块。5.3 现象爬虫跑几个歌单后返回空页面或 403原因请求频率太高被识别或者 User-Agent 没带被当成脚本。解决确认 HEADERS 里有 User-Agent 和 Referer把time.sleep从 2 秒加到 3 到 5 秒。如果还是不行检查是不是短时间内请求了同一个域名太多次可以换一批歌单 URL 分散请求。5.4 现象parse_count 处理「1.2万」时抛 ValueError原因原始字符串里除了数字和「万」还有别的字符比如「1.2万播放」或带空格。解决re.sub(r[^\d.], , text)这行已经把非数字和非小数点都去掉了但如果字符串是空的或纯文字float()会抛异常。在函数开头加if not text or not re.search(r\d, text): return 0做兜底。5.5 现象词云生成后全是单字没有有意义的词原因jieba 分词后没过滤单字或者歌单名称本身太短。解决filtered [w for w in words if len(w) 1]这行就是过滤单字的确认没被注释掉。如果歌单名普遍只有两三个字可以改用 jieba 的搜索引擎模式jieba.cut_for_search它会把长词再切细增加词的数量。6. 从跑通到写好报告把可视化结果转成分析结论跑通代码只是第一步这份项目真正拿高分的地方在于「提出歌单优化建议」。我拆完这份资源后最大的体会是图谁都能画但从图里读出结论才是数据分析的入门标志。比如播放量柱状图出来后你要能说出「播放量前 3 的歌单有什么共同标签」而不是只贴一张图就完事。具体做法是把清洗后的 DataFrame 按播放量降序排取前 10 个歌单看它们的 tags 字段有没有重复出现的词。如果「华语」「流行」「经典」反复出现那结论就是「华语流行类歌单播放量普遍偏高建议优先运营这类标签」。这个分析过程不需要复杂算法用 pandas 的value_counts就能做。# 统计高频标签为优化建议提供依据 from collections import Counter all_tags [] for tags in df[tags]: all_tags.extend(tags) tag_counts Counter(all_tags).most_common(10) print(高频标签 Top10:) for tag, cnt in tag_counts: print(f {tag}: {cnt} 次)逻辑说明extend把每个歌单的标签列表摊平成一个总列表Counter统计词频most_common(10)取前 10。输出结果直接写进报告的「分析结论」部分比空泛地说「建议优化歌单」有说服力得多。还有一个进阶技巧把播放量和收藏数做散点图看两者是否正相关。如果大部分点落在一条斜线附近说明「收藏多的歌单播放量也高」那优化建议就可以写「提升歌单收藏转化率能带动播放量」。这个结论用 matplotlib 的scatter画出来比柱状图更有分析深度。# 播放量 vs 收藏数散点图看相关性 plt.figure(figsize(8, 6), dpi150) plt.scatter(df[collect], df[play], alpha0.6, color#1DB954) plt.xlabel(收藏数) plt.ylabel(播放量) plt.title(收藏数与播放量相关性) plt.tight_layout() plt.savefig(scatter_collect_play.png) plt.show()参数说明alpha0.6让点半透明重叠时能看出密度如果点太多可以调低到 0.3。这张图不用加趋势线也能看出大致方向如果要做严谨相关性分析可以加一行df[collect].corr(df[play])输出皮尔逊系数。从那以后我每次拿到一份数据分析项目都会先跑通最小验证脚本确认环境再按「抓取→清洗→出图→读结论」四步走一遍绝不跳过清洗直接画图。这份 TUST 2022 的项目结构清晰、依赖明确作为期末大作业的底子完全够用把可视化结果和分析结论对应上报告就不会空。希望帮到你。本文还有配套的精品资源点击获取