【文章摘要】爬虫说白了就是一个脚本程序。说到脚本，我们平时遇到一些费时费力又容易出错的活儿，都可以把用到的命令写到脚本里，让计算机自动来执行。
【相关推荐】
给产品经理讲技术｜向前兼容、向后兼容
给产品经理讲技术｜产品经理应该这样提需求之“状态机”
给产品经理讲技术｜撩妹技术三部曲之“设计模式”
给产品经理讲技术丨没线，并不可怕？
给产品经理讲技术丨提需求的正确姿势是什么
还记得之前文章里说的要把所有文章整理成pdf的计划吗？今天我们准备迈出第一步了。
既然确定了用爬虫来自动整理文章，你得先理解爬虫是什么。爬虫说白了就是一个脚本程序。说到脚本，我们平时遇到一些费时费力又容易出错的活儿，都可以把用到的命令写到脚本里，让计算机自动来执行。测试同学说的自动化脚本，运维同学说的环境配置脚本，都是这个意思。一个脚本包含了很多命令，一个接一个，告诉计算机第一步干什么，之后干什么，最后干什么。
在这里，我们的目标很明确，就是写一个爬虫脚本，让计算机一步一步的把「给产品经理讲技术」的所有历史文章，保存成pdf。
历史文章哪里去找？正好，微信公众号的关注界面有一个查看历史消息的链接。
点开历史消息，这个页面每次显示10篇文章，如果用户滑到底，就会再加载10篇出来，典型的异步加载。我们要找的，就是每篇文章的URL地址。只要找到所有文章的URL，就能下载到每篇文章的内容和图片，然后就可以进一步加工处理成pdf了。
为此，我们长按页面选择在浏览器中打开，然后把地址栏里的URL复制出来，发送到电脑上，用Chrome打开。用Chrome的最大好处，就是它有一个「开发人员工具」，可以直接查看网页的源码。按下command+option+L，打开开发人员工具，就能看到这个网页的源码了。我们要找的东西，就藏在这些乱七八糟的HTML代码里。
如何从HTML源码里找到我们想要的文章链接呢？
这要从HTML的结构说起。HTML全称超文本标记语言，所谓标记，就是说是它通过很多标签来描述一个网页。你看到很多像以开始，以结束的标志，就是标签。这些标签一般成对出现，标签里面还可以套标签，表示一种层级关系。最外面的html标签是最大的，head、body次之，一层一层下来，最后才是一段文字，一个链接。你可以把它类比成一个人，这个人叫html，有head，有body，body上有hand，hand上面有finger。
扯远了，一些常用的标签：
1、
。一个网页的很多重要信息，都是在这里声明的。比如说标题，就是在下的
里定义的。一个网页用到的CSS样式，可以在<head>下的<style>里定义。还有你写的JavaScript代码，也可以在<head>下的<script>里定义。</p> <p>2、<body>。它包含的东西就多了，基本上我们能看到的东西，一段文字，一张图片，一个链接，都在这里面。比如说:</p> <li><p>表示一个段落</li> <li><h2>是一段文字的大标题</li> <li>表示一个链接</li> <li><img>表示一张图</li> <li><form>是一个表单</li> <li>是一个区块</li> <p>计算机是如何理解HTML的标签的呢？其实很简单，它就是一棵树。你可以把<html>当做树根，从树根上分出<head>和<body>，各个分支上又有新的分支，直到不能再分为止。这有点类似我们电脑上存放的文件。假设你有一本《21天学习C++》的电子书，存在D盘、study文件夹下的CS文件夹里。而study文件夹里除了CS文件夹，还有GRE、岛国文化等目录，代表着另一个分支体系。这也是一棵树。树上的每一片叶子，都有一条从根部可以到达的路径，可以方便计算机去查找。</p> <p>回到正题，有了这些基础知识，我么再来看微信这个历史消息页面。从最外层的<html>标签开始，一层一层展开，中间有<body>、有、最后找到一个标签，标签里面的hrefs就是每篇文章的URL了。把这个URL复制下来，在新的TAB打开，确认确实是文章的地址。</p> <p>现在我们通过分析一个网页的结构、标签，找到了我们想要的文章URL，我们就可以写爬虫去模拟这个过程了。爬虫拿到网页之后，我们可以用正则表达式去查找这个标签，当然，也可以用一些更高级的手段来找。但是，这个页面里面毕竟只有10篇文章，我们还要研究它的延迟加载机制，想办法让爬虫能自动找到剩下的文章，这里面会涉及到网络抓包相关的知识，我们后面再聊。 </p> <p> 欢迎添加微信公众号：给产品经理讲技术 </p> <p> <p>本文由产品壹佰为你推荐并呈现</p> <p>文章来源：微信公众号：给产品经理讲技术（ID：pm_teacher）</p> <p>文章作者：果果</p> <p>友情提示：</p> <p>若出处标注错误，请联系QQ：2977686517及时更正，感谢理解和支持！</p> <p> 少年关注我们的官方微博@产品100和微信订阅号：chanpin100ghsd，有惊喜哦！
</p><p><script type="text/javascript" src="https://jss.51dongshi.com/pcwz/dysph.js"></script><p><strong>声明：本网页内容旨在传播知识，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。TEL:177 7030 7066 E-MAIL:11247931@qq.com</strong></p></div>
<div class="downbox clearfix">
<div class="ico"><img src="https://js.51dongshi.com/tpl/pc2/images/document.png" alt="文档"></div>
<div class="txt">
<h4>给产品经理讲技术｜一步一步写爬虫之网页分析_html/css</h4>
<div class="co">给产品经理讲技术｜一步一步写爬虫之网页分析_html/css_WEB-ITnose:【文章摘要】爬虫说白了就是一个脚本程序。说到脚本，我们平时遇到一些费时费力又容易出错的活儿，都可以把用到的命令写到脚本里，让计算机自动来执行。 【相关推荐】 给产品经理讲技术｜向前兼容、向后兼容 给产品经理讲技术｜产品经理应该这样提需求</div>
<div class="tj"><b>推荐度：</b><div class="tj_stars_list"><i class="tj_stars tj_05"></i></div></div>
</div>
<div class="btn">
<a href="javascript:;" class="html2word" data-model="article" data-id="adddsa" title="文档下载">
<b>点击下载本文</b>
<span>文档为doc格式</span>
</a>
</div>
</div>
<script>keji_detail_ga('article_content_bottom');</script>
<div class="tvideo_tag">
标签：
<a href="/tlist-89767/">产品</a>
<a href="/tlist-90130/">一步一步</a>
<a href="/tlist-246007/">html</a>
</div>
<div class="tvideo_box tvideo_box_tab">
<div class="hd">
<ul><li class="on">热门焦点</li><script>keji_detail_ga('hot_jiaodian_tab_title');</script></ul>
</div>
<div class="bd">
<ul class="ult_jpic clearfix">
<script>get_hot_jiaodian_content('wz_hot_jiaodian',33,'hot',1);</script>
</ul>
</div>
</div>
</div>
<!--中间文章 end-->
<!--右侧专题 star-->
<div class="ult_zt">
<script>keji_detail_ga('article_right_top');</script>
<div class="ult_ztbox">
<h4>最新推荐</h4>
<ul class="tvideo_r_a clearfix">
<script>get_detail_right('wz_right_new',33,'')</script>
</ul>
</div>
<script>keji_detail_ga('article_right_middle');</script>
<div class="ult_ztbox">
<h4>猜你喜欢</h4>
<ul class="telist_rb clearfix">
<script>get_detail_right('wz_right_love',33,'')</script>
</ul>
</div>
<script>keji_detail_ga('article_right_new_bottom');</script>
<div class="ult_ztbox">
<h4>热门推荐</h4>
<ul class="tvideo_r_b clearfix">
<script>get_detail_right('wz_right_hot',33,'')</script>
</ul>
</div>
<script>keji_detail_ga('article_right_bottom');</script>
</div>
<!--右侧专题 end-->
<div style="display:none"><a href="https://www.xyx234.com/wzztf/ad/adddsa/">专题</a>
</div>
</div>
</div>
<script src="https://js.51dongshi.com/plug/qrcode/qrcode.min.js"></script>
<script src="https://js.51dongshi.com/js/share.js" charset="UTF-8"></script>
<script type="text/javascript" src="https://js.51dongshi.com/tpl/pc2/js/waypoints.min.js"></script>
<script type="text/javascript" src="https://js.51dongshi.com/tpl/pc2/js/icon_step.js"></script>
<style>
#qrcode{padding: 15px;background: #fff;}
</style>
<div id="qrcode" style="display: none"></div>
<script>new QRCode(document.getElementById("qrcode"), "https://m.xyx234.com/eedfadddsa.html");</script>
<iframe src="https://hits.51dongshi.com/?biao=ho_article&id=922239" border="0" frameborder="0" style="width: 0px; height: 0px"></iframe>
<script src="https://js.51dongshi.com/js/shHighlighter.js"></script>
<link rel="stylesheet" href="https://jss.51dongshi.com/js/fffz/css/box.css">
<script id="fffz" data-domain="//www.xyx234.com/index" src="https://js.51dongshi.com/js/fffz/fffz.js"></script>
<script type="text/javascript" src="https://jss.51dongshi.com/pcwz/tj.js"></script>
<div style="display:none"><script>
var _hmt = _hmt || [];
(function() {
var hm = document.createElement("script");
hm.src = "https://hm.baidu.com/hm.js?4b1ebb0298b66c8a109db070c4878833";
var s = document.getElementsByTagName("script")[0];
s.parentNode.insertBefore(hm, s);
})();
</script>
</div>
<!--foot star-->
<div class="footer">
<div class="m_box">
<div class="footer_in">
<a href="#" target="_blank">产品服务</a>
<a href="#" target="_blank">发展历程</a>
<a href="#" target="_blank">企业资讯</a>
<a href="#" target="_blank">企业文化</a>
<a href="#" target="_blank">关于我们</a>
<a href="#" target="_blank">加入我们</a>
<a href="#" target="_blank">联系我们</a>
<a href="#" target="_blank">网站导航</a>
<a href="#" target="_blank">网站律师</a>
</div>
<ul class="ftrlist">
<li>
<a rel="nofollow" href="https://www.itrust.org.cn" target="_blank">
<img src="https://js.51dongshi.com/tpl/pc2/images/footer_logo01.gif" alt="中国互联网协会"></a>
</li>
<li>
<a rel="nofollow" href="https://www.12377.cn/" target="_blank">
<img src="https://js.51dongshi.com/tpl/pc2/images/12377logo.png" alt="中国互联网举报中心"></a>
</li>
<li>
<a rel="nofollow" href="http://www.cyberpolice.cn/" target="_blank">
<img src="https://js.51dongshi.com/tpl/pc2/images/footer_logo05.gif" alt="网络110报警服务"></a>
</li>
<li>
<a rel="nofollow" href="http://www.creditchina.gov.cn/" target="_blank">
<img src="https://js.51dongshi.com/tpl/pc2/images/creditchina.gif" alt="信用中国"></a>
</li>
<li class="last">
<a rel="nofollow" href="http://www.shdf.gov.cn/shdf/channels/740.html" target="_blank">
<img src="https://js.51dongshi.com/tpl/pc2/images/footer_logo11.png" alt="中国扫黄打非网"><p>中国扫黄打非网</p>
</a>
</li>
</ul>
<div class="footer_co">
<a href="/" class="footlogo"><img src="https://js.51dongshi.com/tpl/pc2/images/logo_bottom.png" alt="懂视"></a>
<p>Copyright © 2019-2024 <a href="/" target="_blank">51dongshi.com</a> 版权所有</p>
<p>
<a rel="nofollow" target="_blank" href="https://beian.miit.gov.cn/">赣ICP备2023002352号-2</a>
</p>
<p>违法及侵权请联系：TEL:177 7030 7066 E-MAIL:11247931@qq.com 本站由北京市万商天勤律师事务所王兴未律师提供法律服务</p>
</div>
</div>
</div>
<!--foot end-->
<a href="#0" class="cd-top">Top</a>
<script type="text/javascript">
$(function(){
var _line=parseInt($(window).height()/3);
$(window).scroll(function(){
if ($(window).scrollTop()>100) {
$('.edu_top').css({'position':'fixed','top':'0','z-index':'99'})
}else{
$('.edu_top').css({'position':'relative','top':'0'})
}
})
})
</script>
<script type="text/javascript" src="https://jss.51dongshi.com/ga/all.js"></script>
<div style="display:none">
<script type="text/javascript" src="https://s9.cnzz.com/z_stat.php?id=1278135046&web_id=1278135046"></script><script>
var _hmt = _hmt || [];
(function() {
var hm = document.createElement("script");
hm.src = "https://hm.baidu.com/hm.js?70ec0a2c78df5a4a3d49e475e943ceb6";
var s = document.getElementsByTagName("script")[0];
s.parentNode.insertBefore(hm, s);
})();
</script>
<script>
(function(){
var bp = document.createElement('script');
var curProtocol = window.location.protocol.split(':')[0];
if (curProtocol === 'https') {
bp.src = 'https://zz.bdstatic.com/linksubmit/push.js';
}
else {
bp.src = 'http://push.zhanzhang.baidu.com/push.js';
}
var s = document.getElementsByTagName("script")[0];
s.parentNode.insertBefore(bp, s);
})();
</script><script>
(function(){
var src = (document.location.protocol == "http:") ? "https://js.passport.qihucdn.com/11.0.1.js?d1f620a645f12a1c5b0bbce7b998d51e":"https://jspassport.ssl.qhimg.com/11.0.1.js?d1f620a645f12a1c5b0bbce7b998d51e";
document.write('<script src="' + src + '" id="sozz"><\/script>');
})();
</script></div>
</body>
</html>
