MediaCrawler 快速上手指南3 步跑通五平台社交媒体数据采集【免费下载链接】MediaCrawler-new项目地址: https://gitcode.com/GitHub_Trending/me/MediaCrawler-new做竞品监控时你要把一款新品在小红书和抖音上的表现逐条手动收集既慢又难统一口径。MediaCrawler 是一个面向社交媒体数据采集的多平台爬虫工具一条命令即可抓取小红书、抖音、快手、B 站、微博五个平台的视频、图片、评论和互动数据适合竞品分析、热点监控、论文素材收集这类场景。三步跑起来第一条采集任务最短路径是装依赖 → 改几行配置 → 跑一条命令数据落到data/目录。第 1 步准备环境。需要 Python 3.8 及以上如果准备爬抖音先装好 Node.js v16.8.0否则运行时会报 JS 执行错误git clone https://gitcode.com/GitHub_Trending/me/MediaCrawler-new cd MediaCrawler-new python -m venv venv # 激活: source venv/bin/activate (Windows 用 venv\Scripts\activate) pip install -r requirements.txt playwright install第 2 步改配置。核心参数都集中在 config/base_config.py首次运行只需要动这 5 个PLATFORM xhs # 目标平台: xhs / dy / ks / bili / wb KEYWORDS python编程 # 搜索关键词多个用逗号分隔 CRAWLER_MAX_NOTES_COUNT 50 # 采集条数上限首次跑建议调小 LOGIN_TYPE qrcode # 登录方式: qrcode / phone / cookie SAVE_DATA_OPTION json # 存储格式: json / csv / db第 3 步运行采集。会自动弹出浏览器窗口用手机 APP 扫码登录后就开始抓数据python main.py --platform xhs --lt qrcode --type search跑完后结果存在data/目录。--type可选 3 个值search按关键词搜索、detail按指定帖子 ID 采集、creator采集创作者主页数据目前仅小红书支持。它为什么不走传统爬虫路线它用 Playwright 驱动一个真实浏览器复用登录后的上下文在浏览器里执行 JS 拿到加密参数省去了自己复现加密逻辑这一步。你能直接感知的收益有三个平台风控升级时通常只需调整页面元素选择器不用重写加密逻辑请求行为更接近真实用户比直接打 API 更不容易触发风控不需要逆向工程经验会操作浏览器就能上手。代价是采集速度比纯 API 爬虫慢一些所以要控制单次数量和并发数下一节会讲。挑个场景直接套用三个场景都只改关键词和数量两样东西拿到的字段结构一致。电商竞品监控KEYWORDS填竞品品牌名加新品名CRAWLER_MAX_NOTES_COUNT给到几百每周跑一次拿到每篇笔记的点赞、收藏、评论数能判断竞品哪类内容真的在带动互动。论文素材收集先人工筛一批笔记把 ID 填进配置里对应平台的 ID 列表如XHS_SPECIFIED_ID_LIST用--type detail精确采集全文和互动数据同时把ENABLE_GET_COMMENTS True把评论一起拿下来内容分析的素材就齐了。热点话题监控KEYWORDS填当期热词小红书可用SORT_TYPE按热度排序同一条命令只换--platform就能对比同一话题在不同平台的分布差异。跑之前先调的参数这些参数不用每次都动出现对应情况再改登录失败、扫码卡住把HEADLESS False打开浏览器手动过一次滑块验证码或把LOGIN_TYPE换成cookie复用已有登录态。不想反复登录SAVE_LOGIN_STATE默认开启浏览器数据存在browser_data/目录换账号就删掉该目录。频繁触发风控、IP 被限ENABLE_IP_PROXY True开启代理池用法见 docs/代理使用.md。速度要快或要稳MAX_CONCURRENCY_NUM默认 4控制并发爬虫数风控严的平台建议降到 1–2。需要评论数据ENABLE_GET_COMMENTS True运行时长会明显变长只要帖子数据就保持关闭。代理 IP 拉不到、密钥过期时需要到服务商处更新密钥位置如下出问题时的排查清单先按「登录 → 网络 → 依赖」的顺序查大部分报错落在这 5 类里现象优先检查项扫码超时、登录不通过换手机号或 cookie 登录HEADLESS False手动过滑块抖音报execjs.ProgramError: SyntaxError没装 Node.js安装 v16.8.0TimeoutError: Timeout 30000ms exceeded网络不佳或代理没生效检查网络连通性刚跑能采、过段时间失效账号触发平台风控暂停任务、换账号删browser_data/、降并发跑完data/里没有数据核对SAVE_DATA_OPTION选 db 时检查config/db_config.py的数据库连接更多报错信息可对照 docs/常见问题.md。合规红线数据仅用于学习和研究项目声明明确禁止商业用途。控制请求量级和频率不做大规模抓取更别长期挂机。不采集、不使用他人隐私数据内容以公开帖子为限。使用前读一遍目标平台的用户协议避开明显违反约定的抓取方式。今天就拿到第一批数据挑一个你常用平台把 3 个左右的关键词填进配置今天就把第一条采集任务跑完。遇到问题或有改进想法欢迎到项目的 issue 区留言或进交流群讨论【免费下载链接】MediaCrawler-new项目地址: https://gitcode.com/GitHub_Trending/me/MediaCrawler-new创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考