首页   注册   登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python 学习手册
Python Cookbook
Python 基础教程
Python Sites
PyPI - Python Package Index
http://www.simple-is-better.com/
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
华为云
V2EX  ›  Python

58 同城爬虫出了问题只爬了几十条数据,以前能上千条的

  •  
  •   koekoekoe · 124 天前 · 877 次点击
    这是一个创建于 124 天前的主题,其中的信息可能已经有所发展或是发生改变。
    import ...

    def get_links():
    urls = []
    for page in range(1, 71):
    list_view = 'http://sz.58.com/tech/pn{}'.format(page)
    url_1 = 'http://sz.58.com/tech/'
    url_2 = 'x.shtml'
    wb_data = requests.get(list_view, headers=headers)
    soup = BeautifulSoup(wb_data.text, 'html.parser')
    for link in soup.select('div.job_name a'):
    urls.append(url_1+str(link.get('urlparams').split('=')[-1].strip('_q'))+url_2)
    return urls


    def get_info():
    urls = get_links()
    try:
    for url in urls:
    wb_data = requests.get(url, headers=headers)
    soup = BeautifulSoup(wb_data.text, 'html.parser')
    time.sleep(2)
    data = {
    'job': soup.select('.pos_title')[0].text,
    'salary': soup.select('.pos_salary')[0].text,
    'condition': soup.select('.item_condition')[1].text,
    'exprience': soup.select('.item_condition')[2].text
    }
    print(data)
    except IndexError:
    pass
    except requests.exceptions.ConnectionError:
    pass

    get_info()
    4 回复  |  直到 2018-07-16 11:44:02 +08:00
        1
    cuzfinal   124 天前
    肯定是 58 更新了反爬策略呗。还有并不想看你的代码。
        2
    beforeuwait   124 天前
    楼上+1
        3
    JCZ2MkKb5S8ZX9pq   124 天前
    是有一点反爬,但不算严格。正在跑,稳得一比。
        4
    jmjiafan   93 天前 via Android
    关键是电话号码的信息采集不到了
    关于   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   2815 人在线   最高记录 3762   ·  
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.1 · 23ms · UTC 05:20 · PVG 13:20 · LAX 22:20 · JFK 01:20
    ♥ Do have faith in what you're doing.
    沪ICP备16043287号-1