哎,最近是不是又遇到IP被封、爬虫被限制或者单纯想隐藏自己真实地址的情况?别急,我这儿刚好整理了一批新鲜出炉的代理IP资源,顺手也聊聊怎么把它们用起来,不整那些虚头巴脑的理论,直接上能操作的。
先说说代理IP的类型吧,毕竟不是所有代理都适合你。透明代理、匿名代理、高匿代理——听着头大吧?简单说,透明代理会告诉服务器你的真实IP,基本等于没用;匿名代理会隐藏你的真实IP,但会告诉服务器你在用代理;高匿代理则完全假装成普通用户,最适合干那些需要隐蔽性的活儿。咱们今天重点聊匿名和高匿,尤其是2025年9月这会儿还能用的。
从哪里搞这些代理?免费的和付费的都有,但免费的吧,就像路边捡的饼干,看着香,可能硌牙。我常用的一些免费源包括Spys.one、FreeProxyList.net,这些网站每天更新列表,但速度慢、稳定性差,适合临时测试或低频率任务。付费的推荐Bright Data、Oxylabs,或者Smartproxy,一个月几十美元,但稳定性和速度杠杠的,如果你是做大规模数据采集或需要高匿名性,投资点钱省心多了。
好了,假设你现在手头有个列表,比如从2025年9月的更新里扒拉下来的:103.152.203.34:8080
、45.77.89.12:3128
,或者socks5://192.168.1.1:1080
。怎么测试它们是不是真的能用?别傻乎乎直接往项目里塞,先用个简单工具检查一下。我习惯用Python写个小脚本,或者在线工具像ProxyCheck.io。这里扔个Python代码片段,你复制粘贴就能跑:
import requests
proxies = {
'http': 'http://103.152.203.34:8080',
'https': 'http://103.152.203.34:8080'
}
try:
response = requests.get('https://httpbin.org/ip', proxies=proxies, timeout=10)
print(f"Working! Response: {response.text}")
except Exception as e:
print(f"Failed: {e}")
跑一下,如果返回的IP是代理的IP而不是你自己的,那就说明这代理还行。超时时间设短点,比如10秒,免得等太久。测试通过后,再往正式项目里整合。
整合到项目里?看你在用什么工具。如果是Python的Scrapy,就在settings.py里加几行:
ROTATING_PROXY_LIST = [
'103.152.203.34:8080',
'45.77.89.12:3128'
]
DOWNLOADER_MIDDLEWARES = {
'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware': 400,
}
如果是用浏览器,比如Chrome,安装个SwitchyOmega插件,手动配置代理服务器,一键切换。方便是方便,但别指望它能自动处理大量IP轮换。
说到轮换,代理IP容易失效,尤其是免费的。可能今天还用得好好的,明天就挂了。所以最好建个自己的代理池,定期更新。我用cron job每天跑一次测试脚本,自动剔除失效的IP,补充新的。数据库?不用搞太复杂,一个JSON文件或SQLite就行。比如:
import json
proxy_list = ['ip1:port', 'ip2:port'] # 从源获取的新列表
working_proxies = []
for proxy in proxy_list:
if test_proxy(proxy): # 假设test_proxy是上面的测试函数
working_proxies.append(proxy)
with open('proxies.json', 'w') as f:
json.dump(working_proxies, f)
这样你总有备用的IP可以用。
哦对了,匿名性测试也很重要。有些代理号称高匿,但实际上会泄露你的真实IP。去访问一下像WhatIsMyIPAddress.com这样的网站,看看它显示的是什么。如果显示的是代理IP,且没有X-Forwarded-For头信息泄露,那就算靠谱。
末尾,提醒点杂七杂八的。免费代理可能被用来干坏事,所以小心点,别用来登录敏感账户。付费代理虽然贵,但提供API和支持,比如Bright Data允许你按需提取IP,减少浪费。还有,SOCKS代理比HTTP代理更灵活,适合非网页流量,比如游戏或P2P。
总而言之,代理IP这东西,实践出真知。多测试、多轮换,别依赖单一源。顺手分享个我最近在用的免费源:GitHub上的proxy-list项目,更新挺勤快的。但记住,免费的东西总有代价,可能是速度,也可能是安全。好了,扔点干货就走人,希望帮你省点时间。