TA的每日心情 | 开心
2024-9-19 21:14 |
|---|
签到天数: 757 天 [LV.10]以坛为家III
管理员
 
- 积分
- 1312677
|
资源详情
课程简介：xa0xa0xa0xa0这是一门培养专业爬虫工程师的课程。本课程以大数据业务需求为导向，旨在掌握分布式爬虫的原理、理解互联网技术和各类数据分析挖掘的应用技巧。升级版的内容特色：xa0xa01.xa0xa0围绕微博的抓取、存储、提取和文本分析来展开xa0xa02.xa0xa0增强了计算机架构与分布式系统的设计，例如负载均衡和任务队列的大篇幅介绍xa0xa03.xa0xa0增加了对于数据库忄生能及优化的关键方法和原理的介绍，例如深翻页、查询优化、索引优化，Redis队列原理及优化等xa0xa04.xa0xa0在第一期使用简单Socket实现消息队列的基础上，增加了对成熟分布式架构（ZooKeeper）、消息队列（RabbitMQ）等的介绍，便于学员根据系统复杂度的提高而升级面向人群：xa0xa01.xa0xa0想要成为爬虫工程师、数据工程师的学习者xa0xa02.xa0xa0网站后台及分布式系统架构的开发者和学习者xa0xa03.xa0xa0爬虫系统项目经理、技术经理和架构师xa0xa04.xa0xa0希望搭建聚合类、数据挖掘类、图片视频库等网站的爱好者、从业者xa0xa05.xa0xa0有网络爬虫需求的开发者学习收益：xa0xa01.xa0xa0掌握分布式爬虫的实现原理以及常用的使用场景，例如内容聚合、过程跟踪、比价、数据挖掘等xa0xa02.xa0xa0掌握分布式系统架构设计xa0xa03.xa0xa0掌握常用数据库的原理和使用、开发中需要注意的重点xa0xa04.xa0xa0了解如Google、百度、今日头条等互联网公司的产品技术和解决方案xa0xa05.xa0xa0了解从文本采集到存储、分析的全套流程，会涉及基础的机器学习、文本分类和搜索引擎的原理xa0xa06.xa0xa0针对不同任务，能快速开发网络爬虫满足业务需求课程大纲：第一课静态网页爬虫：爬虫的基础技术CSS选择器JA危aｓｃｒｉｐｔ介绍lxml及XPathPython里的网络请求高速位缓存设计：BloomFilter第一个爬虫：蚂蜂窝的游记第二课登录及动态网页的抓取表单网站登录及CookieHeadless的浏览器：PhantomJS浏览器的驱动：Selenium动态网页数据获取第三课微博的抓取微博网站分布及结构分析通过动态页面来抓取微博网络接口的逆向分析JA危a的反编译加密库源代码的接口分析利用API来抓取微博xa0第四课多线程与过进程的爬虫1.xa0xa0xa0xa0线程与进程2.xa0xa0xa0xa0Python的多线程约束3.xa0xa0xa0xa0多个线程同时抓取4.xa0xa0xa0xa0多个进程同时抓取第五课微博数据的存储：分布式数据库及应用SQL与NoSQLHadoop架构基于分布式数据库的分布式爬虫第六课多机并行的微博抓取：分布式系统设计Socket编程Master设计SlA危e设计任务调度及通信协议分布式集群部署的爬虫第七课分布式系统进阶：复杂的分布式机制分布式应用协调服务：ZooKeeper分布式消息队列管理：RabbitMQ/Kafka服务发布及注册灰度升级第八课微博数据查询：分布式数据库系统的优化及负载均衡复制与分片流量控制及均衡分布式事物及锁Redis的核心技术介绍MongoDB的关键技术MySQL的查询过程介绍及优化要素第九课PageRank、网页动态重拍及应对反爬虫技术的手段xa0xa0xa0xa01.xa0xa0PageRank计算模型及推导xa0xa0xa0xa02.xa0xa0网页抓取顺序重排xa0xa0xa0xa03.xa0xa0网站服务架构xa0xa0xa0xa04.xa0xa0寻找与利用分布式服务器xa0xa0xa0xa05.xa0xa0多IP技术与路由控制第十课验证码的处理，京东、淘宝的数据抓取及存储案例xa0xa0xa0xa01.xa0xa0基于距离的图片比对xa0xa0xa0xa02.xa0xa0基于TesseractOcr的数字识别xa0xa0xa0xa03.xa0xa0其它验证码识别方案xa0xa0xa0xa04.xa0xa0京东数据抓取xa0xa0xa0xa05.xa0xa0淘宝数据抓取第十一课网页内容排重海明距离海量数据的相似度计算网页排重语义哈希简介第十二课自动摘要及正文抽取xa0xa0xa0xa01.xa0xa0距离与联合概率xa0xa0xa0xa02.xa0xa0自动摘要xa0xa0xa0xa03.xa0xa0K-Means算法xa0xa0xa0xa04.xa0xa0基于Text/Tag的正文计算xa0xa0xa0xa05.xa0xa0PyGoose的开源系统第十三课网页分类与针对文本的机器学习应用网页分类基础分词与特征抽取线忄生回归网页分类多分类器词向量简介
|
|
发表于 2021-4-8 09:51:02
