本次项目中主要用到了多线程爬虫的知识,通过多个线程分别请求获取页面源码,然后使用解析器进行解析,对于一些比较特殊的地方则使用正则表达式进行解析处理,然后将结果信息加入queue队列,写入文件;同时,在存入文件时,另外建立了写文件线程 ...