网址:https://www.toutiao.com/

检索今日头条

能够 获得这一网址:

https://www.toutiao.com/search/?keyword=街拍

微信开发工具查询

爬取今日头条Ajax请求 请求 ajax AJAX相关  第1张

我们在检索中并沒有发觉上边的文本,那麼我们可以基本判断,这一由ajax载入,随后3D渲染出去的。这时转换到xhr过虑,能够 见到的确是Ajax要求。

爬取今日头条Ajax请求 请求 ajax AJAX相关  第2张

观查要求的特性,发觉仅有offset是更改的,并且一次加20,。

大家可以用它来控制参数分页查询,随后把图片免费下载出来。编码以下:

import requests
import os
from urllib.parse import urlencode
from hashlib import md5
from multiprocessing.pool import Pool
from requests import codes
def get_page(offset):
  params = {
    "offset":offset,
    "format":"json",
    "keyword":"街拍",
    "autoload":"true",
    "count":"20",
    "cur_tab":"1",
    "from":"search_tab"
  }
  url = 'https://www.toutiao.com/search_content/?' urlencode(params)
  try:
    response = requests.get(url)
    if response.status_code == 200:
      # print(url)
      return response.json()
  except requests.ConnectionError:
    return None
# get_page(0)
def get_images(json):
  if json.get('data'):
    for item in json.get('data'):
      if item.get('cell_type') is not None:
        continue
      title = item.get('title')
      images = item.get('image_list')
      for image in images:
        yield {
          'title':title,
          'image':'https:'   image.get('url'),
        }
def save_image(item):
  #os.path.sep  途径分隔符‘//'
  img_path = 'img'   os.path.sep   item.get('title')
  if not os.path.exists(img_path):
    os.makedirs(img_path)
  try:
    resp = requests.get(item.get('image'))
    # print(type(resp))
    if codes.ok == resp.status_code:
      file_path = img_path   os.path.sep   '{file_name}.{file_suffix}'.format(
        file_name=md5(resp.content).hexdigest(),#md5是一种加密技术获得图片的二进制数据信息,以二进制方式载入文档
        file_suffix='jpg')
      if not os.path.exists(file_path):
        with open(file_path,'wb')as f:
          f.write(resp.content)
          print('Downladed image path is %s' % file_path)
      else:
        print('Already Downloaded',file_path)
  except requests.ConnectionError:
    print('Failed to Save Image,item %s' % item)
def main(offset):
  json = get_page(offset)
  for item in get_images(json):
    print(item)
    save_image(item)
GROUP = 0
GROUP_END = 2
if __name__ == '__main__':
  pool = Pool()
  groups = ([x*20 for x in range(GROUP,GROUP_END)])
  pool.map(main,groups)  #将groups一个个调出去发送给main涵数
  pool.close()
  pool.join()   #确保子过程完毕后再向下实行 pool.join(1) 等候一秒

小结

之上便是本文的所有内容了,期待文中的內容对大伙儿的学习培训或是工作中具备一定的参照学习培训使用价值,谢谢你们对的适用。假如你要掌握大量相关内容请查询下边有关连接