问题： Request实例无法传递headers

python版本：3.8.0

pycharm版本：2019.2.3

1、代码：

from urllib.request import urlopen
from urllib.request import Request

url = 'http://www.baidu.com/'
# 定义user-agent 变量
headers = {
    'User-Agent': '123456'
}

# 封装request对象
req = Request(url,headers=headers)

resp = urlopen(url)

print(resp.read().decode())

2、分析

2.1 查看User-Agent

from urllib.request import urlopen
from urllib.request import Request

url = 'http://www.baidu.com/'
# 定义user-agent 变量
headers = {
    'User-Agent': '123456'
}

# 封装request对象
req = Request(url,headers=headers)
print(req.get_header('User-Agent'))

#
# resp = urlopen(url)
#
# print(resp.read().decode())

结果：

C:\Apps\Code\python3.8\python.exe D:/Datas/python/00尚学堂/code/12/spiders/02.request对象.py
None

Process finished with exit code 0

2.2 fiddler结果

所以，User-Agent对象不知道为什么无法传递进封装的request实例对象之中。

老师请问这个打码是不是每次打码都要扣取相应的账号积分

老师我想问安

装完在pycharm里面一值提示没有这个命令是什么原因在外面的CMD可以用，是要添加环境变量的原因吗？

requests
re
fake_useragent UserAgent
url=resp=requests.get(url,={:UserAgent().random})
resp.encoding=html=resp.text
(html)
contens=re.findall(,html)
temp contens:
    (contens)

老师我想请问这个代码怎么爬取 怎么爬它都会自动去匹配更后面的img很无奈

老师，xpath插件已失效，网上重新下好几个都不行，不知道您那儿是否有有效的安装包？有的话，能麻烦您发一份给我吗？

def parse_info(self, response):
    total_price = response.xpath('concat(//span[@class="total"]/text(),//span[@class="unit"]/span/text())').extract_first()
    community_name = response.xpath('//div[@class="communityName"]/a[@class="info"]/text()').extract_first()
    area_name = response.xpath('string(//div[@class="areaName"]/span[2])').extract_first()

老师为什么我获得response之后用xpath提取信息，能够正确获得总价total_price，但是小区名称就一直返回None，xpath表达式没有错，在浏览器上用xpath helper也能提取出来，就是pycharm调试的时候不行

看这个代码好像跟虚拟机没什么关系啊，怎么把爬虫部署到slave上的

selenium webdriver
selenium.webdriver ActionChains
openpyxl workbook
base_urls = []
shop_names = []
m_names = []
prices = []
com_names = []
offers = []
driver_base(url):
    driver = webdriver.Chrome()
    driver.get(url)
    driver.set_window_size(=, =, =)
    driver.implicitly_wait()
    driver

p_url(driver,shop_page):
    input = driver.find_element_by_id()
    input.send_keys()
    botton = driver.find_element_by_xpath()
    botton.click()
    source = driver.find_element_by_xpath()
    target = driver.find_element_by_class_name()
    actions = ActionChains(driver)
    actions.drag_and_drop(source, target)
    actions.perform()
    base_url_0 = driver.find_elements_by_xpath()
    num (,(base_url_0)):
        base_urls.append(base_url_0[num].get_attribute())
    shop_page != :
        pn_next = driver.find_element_by_class_name()
        pn_next.click()
        shop_page = shop_page - :
            source = driver.find_element_by_xpath()
            target = driver.find_element_by_class_name()
            actions = ActionChains(driver)
            actions.drag_and_drop(source, target).perform()
            base_url_1 = driver.find_elements_by_xpath()
            num (, (base_url_1)):
                base_urls.append(base_url_1[num].get_attribute())
            base_url_1.clear()
        :
            (.format( shop_page))
        :
            (.format(shop_page))
    base_urls_1 = ((base_urls))
    (.format((base_urls_1)), , base_urls_1)
    base_urls_1

p_data(base_urls_1):
    y_num = (base_urls_1)
    href base_urls_1:
        y_num =y_num - (.format(y_num))
        href_driver = webdriver.Chrome()
        href_driver.get(href)
        href_driver.set_window_size(=, =, =)
        :
            shop_name = href_driver.find_element_by_xpath()
            shop_name = shop_name.text
            m_name = href_driver.find_element_by_xpath()
            m_name = m_name.text
            price = href_driver.find_element_by_xpath()
            price = price.text
            com_num = href_driver.find_element_by_xpath()
            com_num = com_num.text
            offer = href_driver.find_element_by_id()
            offer = offer.text
            shop_names.append(shop_name)
            m_names.append(m_name)
            prices.append(price)
            com_names.append(com_num)
            offers.append(offer)
            href_driver.close()
        :
            ()
    :
            save_data(shop_names, m_names, prices, com_names, offers)


save_data(shop_names,m_names,prices,com_names,offers):
    wb = workbook.Workbook()
    ws = wb.active
    ws.append([])
    ws.append([,, , , ,])
    n ((offers)):
        ws.append([n + ,shop_names[n],m_names[n],prices[n],com_names[n],offers[n]])
    wb.save()

__name__ == :
    shop_page = (())
    url = driver = driver_base(url)
    base_urls_1 = p_url(driver,shop_page)
    p_data(base_urls_1)
    driver.close()

多线程爬虫怎么保证写入数据的时候顺序不乱

老师，请问我调试程序的时候 debugger之后出现：

想请问这是怎么回事呀

然后想要重新执行程序的时候，出现下面的内容？想请问这是怎么回事呀？要怎么解决？

用crawlspider爬小说怎么停下来，爬取到最后一章时提取的下一章的url指向了目录页面，这样又会匹配到写的第一个rule了，又会从第一章开始爬了

安装whl 出现pip没有更新

可是我升级pip之后，还是出现一样的问题，说pip没有更新，为什么呀？导致whl安装不成功

老师，如何在网页源代码里面调出query黑色命令行

老师，如何在网页源代码里面调出query黑色命令行

老师，我没使用cookie怎么直接登上来了，我试验网易云音乐也是，直接登上来了。

from urllib.request import Request,urlopen
from fake_useragent import UserAgent

url='https://www.itbaizhan.cn/'

headers={
    "User-Agent":UserAgent().random
}
request=Request(url,headers=headers)

rep=urlopen(request)
print(rep.read().decode())