电商信息爬虫项目

• 目标站点: 淘宝

• 需求数据：指定关键词的商品数据(包括商品名、商品价格、评论数等)

• 要求：自动翻页并输出

• 选择模块: urllib

• 分析:
  关键词:女装

  第一页: https://s.taobao.com/search?q=女装&imgfile=&commend=all&ssid=s5-e&search_type=item&sourceId=tb.index&spm=a21bo.2017.201856-taobao-item.2&ie=utf8&initiative_id=tbindexz_20170306

  第二页: https://s.taobao.com/search?q=女装&imgfile=&commend=all&ssid=s5-e&search_type=item&sourceId=tb.index&spm=a21bo.2017.201856-taobao-item.2&ie=utf8&initiative_id=tbindexz_20170306&bcoffset=3&ntoffset=3&p4ppushleft=1%2C48&s=44

  第三页: https://s.taobao.com/search?q=女装&imgfile=&commend=all&ssid=s5-e&search_type=item&sourceId=tb.index&spm=a21bo.2017.201856-taobao-item.2&ie=utf8&initiative_id=tbindexz_20170306&bcoffset=0&ntoffset=6&p4ppushleft=1%2C48&s=88

  url: https://s.taobao.com/search?q=女装&imgfile=&commend=all&ssid=s5-e&search_type=item&sourceId=tb.index&spm=a21bo.2017.201856-taobao-item.2&ie=utf8&initiative_id=tbindexz_20170306&s=(page-1)*44

  https://s.taobao.com/search?q=女装&s=(page-1)*44

  商品名： “raw_title”:”无印良品 MUJI 女式 减轻颈部刺痛感 罗纹 高领毛衣”

  商品价格: “view_price”:”124.00”

  评论数:

  产品链接：https://detail.tmall.com/item.htm?id=604628031536

  “detail_url”:”//detail.tmall.com/item.htm?id\u003d604628031536\u0026ad_id\u003d\u0026am_id\u003d\u0026cm_id\u003d140105335569ed55e27b\u0026pm_id\u003d\u0026abbucket\u003d14”

  评论数： https://dsr-rate.tmall.com/list_dsr_info.htm?itemId=604628031536&spuId=1372321809&sellerId=2038648986&groupId&_ksTS=1583569497006_221&callback=jsonp222

  “rateTotal”:1023

  “nid”:”604628031536”

淘宝太难爬了，爬的时候需要验证登录，验证登录需要获取st!暂时先鸽了吧

I'm so cute. Please give me money.

• 本文作者：先逃跑再说
• 本文链接：https://wentianhao.github.io/2020/03/04/%E7%94%B5%E5%95%86%E4%BF%A1%E6%81%AF%E7%88%AC%E8%99%AB%E9%A1%B9%E7%9B%AE/
• 版权声明：本博客所有文章除特别声明外，均默认采用 许可协议。