简体中文(ZH-CN) English(EN) 繁体中文(ZH-TW) 日本語(JA) 한국어(KO) Melayu(MS) Français(FR) Deutsch(DE)
python - 前端er 想爬数据 从什么入门好?
PHP中文网
PHP中文网 2017-04-18 09:56:30
0
9
321

本人前端一枚

想做一个demo练手，需要得到爬取数据的本领，请问从哪里开始学习呢？

场景：爬取商品价格的数据，得到双十一前后的价格趋势变化，我可以如何入手呢？

我是JavaScript使用者，尽量使用node，如果Python学习成本比较高，求推荐教程和爬取数据的方法

PHP中文网
PHP中文网

认证0级讲师

répondre à tous (9)
Peter_Zhu
Peter_Zhu2017-04-18 09:58:30 9 plancher

推荐 https://github.com/alsotang/n...

Comme+0
Ajouter une réponse
    洪涛
    洪涛2017-04-18 09:58:30 8 plancher

    爬虫工具链：

    使用superagent发起一个http请求，拿到response之后使用cheerio解析text文本，之后可以使用类似jQuery语法操作Dom。

    数据存贮可以使用Mongodb，对应的orm工具可以使用mongoose。

    代码示例
    https://github.com/zhanyouwei...

    Comme+0
    Ajouter une réponse
      洪涛
      洪涛2017-04-18 09:58:30 7 plancher

      Python的学习成本不是号称最低吗？？Python爬虫入门的话也是很容易得，网上教程教程很多

      Comme+0
      Ajouter une réponse
        Ty80
        Ty802017-04-18 09:58:30 6 plancher

        scrapy 绝对排在第一名！！！

        Comme+0
        Ajouter une réponse
          小葫芦
          小葫芦2017-04-18 09:58:30 5 plancher

          果断上手 Node，可以参考下我的小白经历 https://github.com/hanzichi/f...

          Comme+0
          Ajouter une réponse
            洪涛
            洪涛2017-04-18 09:58:30 4 plancher

            Python的学习成本不是很高，我说说我的经历吧
            最开始我用urllib，或者urllib2，发现能够爬到数据很兴奋
            接下来我见识到了Connection是Closed的网页，我知道了httplib2
            然后又看到了requests
            现在在看scrapy

            爬虫是个玄学，我觉得题主的目标不错查询价格变化趋势，但是我觉得可以先定个小目标，爬百度百科~

            Comme+0
            Ajouter une réponse
              迷茫
              迷茫2017-04-18 09:58:30 3 plancher

              node爬虫就20来行

              Comme+0
              Ajouter une réponse
                小葫芦
                小葫芦2017-04-18 09:58:30 2 plancher

                nodejssuperagent + cheerio

                Comme+0
                Ajouter une réponse
                  伊谢尔伦
                  伊谢尔伦2017-04-18 09:58:30 1 plancher

                  nodejsrequest+cheerio也不错的。

                  Comme+0
                  Ajouter une réponse
                    Sujets populaires
                    Plus>
                    Articles populaires
                    Tutoriels populaires
                    Plus>
                    Tutoriels associés
                    Recommandations populaires
                    Derniers cours
                    Derniers téléchargements
                    Plus>
                    effets Web
                    Code source du site Web
                    Matériel du site Web
                    Modèle frontal
                    À propos de nous Clause de non-responsabilité Sitemap
                    Site Web PHP chinois：Formation PHP en ligne sur le bien-être public，Aidez les apprenants PHP à grandir rapidement！