利用Java爬虫技术做一个小说网站

admin · 发表于 2020-2-16 23:15:10

如何利用JAVA爬虫技术做一个小说网站,主要会涉及到Java语言,Httpclient技术,爬虫原理,网站抓取等技术。
用Java做一个自己的小说网站共10课，教程完结，带完整依赖jar。
【课程内容】
第一课更新：
本教程要求：
有一定Java开发基础
有一点网页开发基础
开发环境：
JDK1.7及以上
Maven
Eclipse
Tomcat7及以上
第二课更新：
1.为原来的抓取解析增加了一个工具方法：该方法可以很方便的用来扩展支持更多的小说网站。
2.增加了一个枚举，用来表示我们目前支持的小说网站。
第三课更新：
1.实现了笔趣阁，顶点小说的内容的抓取
第四课更新：
1.对笔下文学，看书中的完整支持
2.多线程下载任意网站的小说第1节3.对之前教程的一点解释
第73分钟处有个错误
那个重载的substring方法只有两个参数 "".substring(int beginIndex,int endIndex)，我在里面误说成三个参数了
第五课更新：
1.实现了多线程下载任意网站的小说的功能
错误预警：
视频中有个给线程分配任务的bug，这个bug会导致每个线程少下载一个章节的内容。undefined
修复起来很简单。我会在今晚录制的视频中修复它
第六课更新：
1.修复了三个不合理的bug，这些bug会导致小说下载的成功率，以及丢失章节的问题
第七课更新：
1.增加了对看书中，笔下文学中的书库列表的抓取功能
超长时间预警：该节课有110分钟
Debug预警：大概有30分钟用来调试bug
第八课更新：
1.引入了一种简单的Java设计模式:迭代器模式
2.利用mybatis完整的实现了将看书中和笔下文学的书库存储到我们的数据库
第九课更新：
1.新建了一个项目，并对我们的项目进行简单的配置：spring的配置文件，mybatis的配置文件
2.并在NovelController中写了两个测试方法，可以返回json形式的章节列表和章节详细内容
第十课更新（最后一课）：
1.完整的实现了在浏览器端搜索小说，显示章节列表，显示章节内容的功能
【下载地址】

游客，如果您要查看本帖隐藏内容请回复

[/td][/tr][/table]
本帖子中包含更多资源
您需要登录才可以下载或查看，没有帐号？立即注册