毕业设计项目需要从coursera,edx等大型MOOC网站爬取大量公开课课程信息，尝试着爬取了coursera的课程信息，但是每次都要重新在python代码中写入新的url，如：coursera.org/computer/database和coursera.org/computer/algorithm才可以分别爬去database和algorithm的信息，可是coursera中有10大类，平均每类课程又分有6-8个小分类，也就是我需要该大概80次链接，感觉虽然已经比手动录入快很多了，但是自动化程度仍旧带来了一个效率低下的问题，请问有什么方法可以深度爬取一个网站的信息，让人工操作的的工序少一些呢？了解过深度搜索和广度搜索的算法，但是不知道在这里应该如何使用呢？P.S.在这里我是用的python中beautifulsoup4的package进行的html代码解析从而实现crawler。
码渣跪求，大神们能配合代码或者伪码来指导一下就最好啦！thx！
![[Web front-end] Node.js quick start](https://img.php.cn/upload/course/000/000/067/662b5d34ba7c0227.png)
When crawling, add these urls to a url array, and crawl the urls in the url array in sequence. This can be understood as breadth-first search
First crawl the list page, and then crawl the sub-pages. Now that the sub-pages have been processed, just crawl more list pages.
No need for any depth-breadth algorithm
Use scrapy directly