完整的小说站点爬虫-spring-mybatis-jsoup-http-client

首先截个图:
完整的小说站点爬虫-spring-mybatis-jsoup-http-client
完整的小说站点爬虫-spring-mybatis-jsoup-http-client
完整的小说站点爬虫-spring-mybatis-jsoup-http-client
完整的小说站点爬虫-spring-mybatis-jsoup-http-client

项目初衷:
前段时间迷上了辰东大大的完美世界,所以开始用微信读书来看,可惜太贵啦,后来只能去百度搜索了。
可是wap端的小说站点简直太没节操了,那些广告真是 完整的小说站点爬虫-spring-mybatis-jsoup-http-client
实在是不堪忍受。所以想做一个没有任何广告的自己的小说站点(果然,做出的站点也够简单的!)。
然后就付诸实践了!
==========================================
闲话少说,介绍一下如何运行这(几)个项目:
第一个项目:novel.spider(姑且叫他为spider吧 完整的小说站点爬虫-spring-mybatis-jsoup-http-client)-jsoup,http-client
提供了三个最为底层的方法:
ChapterFactory.getChapterSpider(NovelSiteEnum novelSiteEnum).getChapters(NovelSpiderUtil.getRelativeUrl(NovelSiteEnum novelSiteEnum, url))  获取一个爬取对应网站的章节的实体,并执行爬取任务
ContentFactory.getContentSpider(NovelSiteEnum novelSiteEnum).getContent(NovelSpiderUtil.getRelativeUrl(NovelSiteEnum novelSiteEnum,url)) 获取一个爬取对应网站的内容的实体,并执行爬取任务
NovelDownloaderObserver observer = new NovelDownloaderObserver(url) 下载小说...

这三个都依赖于一个方法:NovelSpiderUtil.setRootPath(path) 该方法用来指定爬取规则的配置文件存放的路径,以及下载的小说存放在哪个文件夹下
该项目下有个测试类,可以参考一下使用方式:NovelSpiderTest.java

第二个项目:novel.book.storage(用来爬取某个网站的所有书列表)-mybatis
唯一的难点就是指定好配置文件,以及配置好数据库的连接信息。config目录下还有一个sql文件,该文件用来创建数据库和表,没有库爬到的数据没地方存呀。
这个项目很简单,总共2个类+1个接口,就不细说了!

第三个项目:novel (这是一个web站点)-spring,mybatis
稍微重要点的类是NovelController和NovelServiceImpl(写这个实现类的是才发现之前给自己挖的坑有多么的深,所以在spider项目里面多了一个抽象...)

稍微要注意的是,NovelServiceImpl中也调用了NovelSpiderUtil.setRootPath(path)方法来指定配置文件的位置。

下载地址:
novel.spider : http://share.weiyun.com/40b6bfbb2fe13cce449756901961e99a
novel.book.storage http://share.weiyun.com/b1a8e1ab18c5ba03221583365723cb47
novel站点 http://share.weiyun.com/2d8afb9436feb5ef84cc8830632809cf

一个依赖的简单工具jar包、
http://share.weiyun.com/b3dc4bba20896e87e864712f241f7edd

评论区

评论一下~


7+4=?

暂无评论,要不来一发?

回到顶部