请问代理ip这里怎么弄

[angolin22]

爬取一部分数据后，报错，ip被封了。请问代理ip那里的fetch_proxy函数该怎样解决

[gyqGitHub]

大佬，我也遇到了这个问题，请问你也解决了吗 @XiaolinFan

[nghuyong]

这个函数返回一个代理IP即可，这个代理IP你可以通过买代理IP的服务得到

[gyqGitHub]

这个函数返回一个代理IP即可，这个代理IP你可以通过买代理IP的服务得到

找了亿牛云，但是接入还需要输入账户密码，不知道怎么改，哪个网站可以直接给代理ip的，大佬能推荐一个吗 @ nghuyong

[nghuyong]

我用的是 快代理

[gyqGitHub]

我用的是 快代理

谢谢！！！问题已解决

[arthur-cen]

我用的是 快代理

可否给个使用快代理建立IP池的代码示例？我用了他们官方的API scrapy代码示例 但是在爬的时候总是不成功。

[sch919131030]

我用的是 快代理

谢谢！！！问题已解决

请问你是买的快代理的哪一种？是隧道代理吗？

[muyufujianxiaobawang]

请问微博关注、粉丝都只能看五页，这个这么破啊

[PeiyangTang]

请问微博关注、粉丝都只能看五页，这个这么破啊

你需要获得你要爬取人的授权， 拿到token，才能看到所有的关注和粉丝

[mango941231]

我用的是 快代理

用的哪个套餐呢 比较适合的

[arthur-cen]

我用的是 快代理

用的哪个套餐呢 比较适合的

我用了他们的隧道代理，感觉最方便。
下面是代码示例，购买后只要替换<你的用户名>和<你的密码>即可：

只要改写middlewares.py中的IPProxyMiddleware class 即可：

class IPProxyMiddleware(object):
    def process_request(self, request, spider):
        proxy = "tps125.kdlapi.com:15818"
        request.meta['proxy'] = "http://%(proxy)s" % {'proxy': proxy}
        # 用户名密码认证
        username = <你的用户名>
        password= <你的密码>
        request.headers['Proxy-Authorization'] = basic_auth_header(username, password)  # 白名单认证可注释此行
        request.headers['Accept-Encoding']='gzip'
        return None

[kuaidaili-dev]

我用的是 快代理

可否给个使用快代理建立IP池的代码示例？我用了他们官方的API scrapy代码示例 但是在爬的时候总是不成功。

您好，我们的代码样例新增了Python-Scrapy的本地IP池维护，您可以参考参考。

[no1991]

我先拿到一次数据， 然后程序报错raise error.ReactorNotRestartable()， 之后用了快代理，也还是不行

[no1991]

我用的是 快代理

用的哪个套餐呢 比较适合的

我用了他们的隧道代理，感觉最方便。 下面是代码示例，购买后只要替换<你的用户名>和<你的密码>即可：

只要改写middlewares.py中的IPProxyMiddleware class 即可：

class IPProxyMiddleware(object):
    def process_request(self, request, spider):
        proxy = "tps125.kdlapi.com:15818"
        request.meta['proxy'] = "http://%(proxy)s" % {'proxy': proxy}
        # 用户名密码认证
        username = <你的用户名>
        password= <你的密码>
        request.headers['Proxy-Authorization'] = basic_auth_header(username, password)  # 白名单认证可注释此行
        request.headers['Accept-Encoding']='gzip'
        return None

请问下这个
basic_auth_header，是在哪里定义的