搜索到
4
篇与
Python爬虫知识
的结果
-
Python生成随机头部------JaysonBlog {mtitle title="Python生成随机"/}Python生成随机头部{lamp/}前言如果网站对请求头部有限制，短时间内频繁访问会被锁定，可以使用随机请求头部伪装不同浏览器使用 python 第三方模块 fake_useragent 随机生成请求头部 UserAgent安装用python的好基友pip工具进行安装第三方模块fake_useragent pip install fake_useragent --index-url https://pypi.douban.com/simple使用实例可以指定浏览器名称，模拟对应浏览器请求头部UserAgentfrom fake_useragent import UserAgent # 指定浏览器名称 ua = UserAgent() # 显示ie头部 print(ua.ie) # 显示火狐的头部 print(ua.firefox) # 显示谷歌头部 print(ua.chrome) 运行结果：# ie头部 Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0; chromeframe/13.0.782.215) # 火狐头部 Mozilla/5.0 (Macintosh; Intel Mac OS X 10.6; rv:25.0) Gecko/20100101 Firefox/25.0 # 谷歌头部 Mozilla/5.0 (Windows NT 6.2; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/32.0.1667.0 Safari/537.36随机生成请求头部调用random方法随机生成请求头部from fake_useragent import UserAgent ua = UserAgent() # 通过random 生成随机的头部 headers = {"User-Agent": ua.random} print(headers) 运行结果：{'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_8_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/32.0.1664.3 Safari/537.36'}
-
Python调用Js脚本进行加密处理 ------JaysonBlog 前言python爬虫的时候,可能需要通过加密数据来进行发包,这里我将会分享一个好用的模块来进行调用JS脚本进行数据的加密处理{lamp/}execjs模块调用js脚本函数这里我会调用一个叫做‘execjs’模块。安装方法：pip install execjs安装完后，我举个例子，讲解一下：import execjs # 导入execjs模块 with open('Js.js') as f: # 设置文件对象给f js_data = f.read() # 读取Js.js 到js_data这个对象 dic_key = key # 定义需要加密的对象 # print(dic_key) keys_JS = execjs.compile(js_data).call('test', password, dic_key) # 将加密的参数传到keys_JS # compile 填写自己需要调用的Js脚本 # call 参数填写自己的调用的函数 (第一个：函数名称，第二个：参数，第三个：参数) print(keys_JS) # 显示数据 就是怎么简单 {lamp/}js2py模块调用js脚本函数这里我会调用一个叫做‘js2py’模块。安装方法：pip install js2py安装完后，我举个例子，讲解一下：import js2py # 导入execjs模块 with open('Js.js',encoding='utf-8') as f: # 设置文件对象给f js_data = f.read() # 读取Js.js 到js_data这个对象 context = js2py.EvalJs() # 定义对象 context.execute(js_data) # 解读js脚本 result = context.aes(text, key) # 调用js里面的函数，返回结果 # 对象 调用函数 参数1，参数2js代码翻译解读js脚本，将js脚本翻译成python文件# 翻译js文件为py文件 print(js2py.translate_js("console.log('hello world')")) # 脚本内容 js2py.translate_file('test.js', 'test.py') #转换 -
Debian下无界面使用Selenium+chromedriver进行自动化测试 —JaysonBlog 前言在Linux无界面状态下使用Selenium进行数据抓取,把脚本放到自己的服务器上进行抓取。让他自己运行着,嘻嘻嘻！！！教程chromedriver下载地址：http://npm.taobao.org/mirrors/chromedriver/1,安装selenium 你可以使用 pip 命令来安装 Selenium：pip install selenium2,安装chromewget https://dl.google.com/linux/direct/google-chrome-stable_current_amd64.deb sudo apt-get -f install dpkg -i google-chrome-stable_current_amd64.deb报错dpkg: error processing package google-chrome-stable (--install): 为这个的话执行一下命令：sudo apt-get upgrade sudo apt-get update sudo apt-get -f install dpkg -i google-chrome-stable_current_amd64.deb出现警告 出现这个的时候修改当前目录的".bashrc"vi ~/.bashrc //编辑文件 export PATH=/usr/loca/sbin:/usr/sbin:/sbin:$PATH //添加内容 :wq 退出source ~/.bashrc //执行命令source /etc/profile#加这一条是为了保险起见 //执行命令3, 下载chromedriver查看chrome版本google-chrome --version下面是关系表将下载好的chromedriver 放到python脚本同级目录方便调用，并修改读写权限：chmod 755 chromedriver测试代码from selenium import webdriver print('开始') # 创建chrome对象 opt=webdriver.ChromeOptions() # 解决DevToolsActivePort 文件不存在的报错 opt.add_argument('--no-sandbox') # 指定浏览器分辨率 opt.add_argument('window-size=1600x900') # 规避Bug opt.add_argument('--disable-gpu') # 隐藏滚动条 opt.add_argument('--hide-scrollbars') # 不加载图片,提速 opt.add_argument('blink-settings=imagesEnabled=false') # 不提供可视化 opt.add_argument('--headless') web=webdriver.Chrome(chrome_options=opt,executable_path='./chromedriver') web.get('http://www.baidu.com') print(web.title) web.quit() print('结束')
-
