盘点三种Python网络爬虫过程中的中文乱码的处理方法
发布时间：2021-11-05 05:31:00 所属栏目：语言 来源：互联网
导读：大家好，我是Python进阶者。前几天给大家分享了一些乱码问题的文章，感兴趣的小伙伴可以前往：UnicodeEncodeError: gbk codec cant encode character解决方法，这里再次给大家祭出网络爬虫过程中三种中文乱码的处理方案，希望对大家的学习有所帮助。前言前
|
大家好，我是Python进阶者。前几天给大家分享了一些乱码问题的文章，感兴趣的小伙伴可以前往：UnicodeEncodeError: 'gbk' codec can't encode character解决方法，这里再次给大家祭出网络爬虫过程中三种中文乱码的处理方案，希望对大家的学习有所帮助。
前言
前几天有个粉丝在Python交流群里问了一道关于使用Python网络爬虫过程中中文乱码的问题，如下图所示。
看上去确实头大，对于爬虫初学者来说，这个乱码摆在自己面前，犹如拦路虎一般难顶。不过别慌，小编在这里给大家整理了三种方法，专门用于针对中文乱码的，希望大家在后面再次遇到中文乱码的问题，在此处可以得到灵感!
一、思路
其实解决问题的关键点就是在于一点，就是将乱码的部分进行处理，而处理的方案主要可以从两个方面进行出发。其一是针对整体网页进行提前编码，其二是针对局部具体中文乱码的部分进行编码处理。这里例举3种方法，肯定还有其他的方法的，也欢迎大家在评论区谏言。
二、分析
其实关于中文乱码的表现形式有很多，但是常见的两种如下：
1、当出现网页编码为gbk，获取到的内容在控制台打印类似如下情况的时候：
ÃÀÅ® µçÄÔ×À ¼üÅÌ »ú·¿ ¿É°® С½ã½ã4k±ÚÖ½
2、当出现网页编码为gbk，获取到的内容在控制台打印类似如下情况的时候：
�װŮ�� ��Ů ˮ СϪ Ψ��
虽然看上去控制台输出正常，没有报错：
Process finished with exit code 0
但是输出的中文内容，却不是普通人能看得懂的。
这种情况下的话，就可以通过使用本文给出的三种方法进行解决，屡试不爽!
三、具体实现
1)方法一：将requests.get().text改为requests.get().content 我们可以看到通过text()方法获取到的源码，之后进行打印输出的话，确实是会存在乱码的，如下图所示。
此时可以考虑将请求变为.content，得到的内容就是正常的了。
2)方法二：手动指定网页编码
# 手动设定响应数据的编码格式
response.encoding = response.apparent_encoding
这个方法稍微复杂一些，但是比较好理解，对于初学者来说，还是比较好接受的。
如果觉得上面的方法很难记住，或者你可以尝试直接指定gbk编码也可以进行处理，如下图所示：
上面介绍的两种方法都是针对网页进行整体编码，效果显著，接下来的第三种方法就是针对中文局部乱码部分使用通用编码方法进行处理。
3)方法三：使用通用的编码方法
img_name.encode('iso-8859-1').decode('gbk')
使用通用的编码方法，对中文出现乱码的地方进行编码设定即可。还是当前的这个例子，针对img_name进行编码设定，指定编码并进行解码，如下图所示。
如此一来，中文乱码的问题就迎刃而解了。
四、总结
我是Python进阶者。本文基于粉丝提问，针对Python网络爬虫过程中的中文乱码问题，给出了3种乱码解决方法，顺利帮助粉丝解决了问题。 （编辑：云计算网_宿迁站长网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
站长推荐