— title: Scrapy中response属性以及内容提取 date: 2021-09-09 17:02:38 categories:
- IT技术
- 爬虫
- Scrapy tags:
- IT技术
- 爬虫
- Scrapy
摘要：
一.属性
**url ：**HTTP响应的url地址,str类型
**status：**HTTP响应的状态码, int类型
**headers ：**HTTP响应的头部, 类字典类型, 可以调用get或者getlist方法对其进行访问
**body：**HTTP响应正文, bytes类型
**text：**文本形式的HTTP响应正文, str类型
`resp
Scrapy中response属性以及内容提取
一.属性
**url ：**HTTP响应的url地址,str类型
**status：**HTTP响应的状态码, int类型
**headers ：**HTTP响应的头部, 类字典类型, 可以调用get或者getlist方法对其进行访问
**body：**HTTP响应正文, bytes类型
**text：**文本形式的HTTP响应正文, str类型
response.text = response.body.decode(response.encoding)
**encoding：**HTTP响应正文的编码
**reqeust：**产生该HTTP响应的Reqeust对象
**meta：**即response.request.meta, 在构造Request对象时, 可将要传递给响应处理函数的信息通过meta参数传入, 响应处理函数处理响应时, 通过response.meta将信息提取出来
**selector：**Selector对象用于在Response中提取数据使用下面详细将,主要是 xpath,css取值之后的处理
**xpath(query)：**下面详细讲解
**css(query) ：**下面详细讲解
**urljoin(url) ：**用于构造绝对url, 当传入的url参数是一个相对地址时, 根据response.url计算出相应的绝对url.
二.Selector对象
- Selector 对象和SelectorList对象都有以下几种方法。
- extract() 返回选中内容的Unicode字符串
- re(“正则表达式”) 正则提取
- extract_first()(SelectorList独有) 返回列表中的第一个元素内容
- re_first()(SelectorList独有) 返回列表中的第一个元素内容
三.CSS
response.css('css选择器')返回值是Selector对象
获取一个
response.css('css选择器').extract_first()
获取全部
response..xpath('css选择器').extract()
获取其中某个属性
response.css('css选择器::attr(属性名)').extract()
只要标签里的文本
(response.css('css选择器::text').extract()
四.xpath
response.css('xpath选择器')返回值是Selector对象