Python - 版本历史

Reiziuh：/* 常见相关库 */

2019-12-20T10:00:27Z

‎常见相关库

2019年12月15日 (日) 06:07 Reiziuh

2019-12-15T06:07:13Z

2018年12月30日 (日) 03:22 Reiziuh

2018-12-30T03:22:00Z

2018年12月27日 (四) 02:28 Reiziuh

2018-12-27T02:28:27Z

2018年10月5日 (五) 01:18 Reiziuh

2018-10-05T01:18:10Z

2018年10月4日 (四) 15:50 Reiziuh

2018-10-04T15:50:19Z

2018年10月3日 (三) 01:39 Reiziuh

2018-10-03T01:39:23Z

2018年8月30日 (四) 09:46 Reiziuh

2018-08-30T09:46:31Z

2018年5月28日 (一) 00:52 Reiziuh

2018-05-28T00:52:16Z

2018年5月26日 (六) 00:31 Reiziuh

2018-05-26T00:31:24Z

@@ 第121行： / 第121行： @@
 |-
 | '''MySQLdb''' || 数据库操作 || 提供MySQL数据库连接等功能的Python库；
 |-
 | '''xlrd''' || Excel文档操作 || 提供读取Excel文件功能的Python库；

@@ 第135行： / 第135行： @@
 |-
 | '''Django''' || 网站框架 || 最常用的用Python编写的网页框架，代表网站Instagram、Disqus；Django包括很多有用的特性，且大多缺失功能可用扩展包来解决；（[https://www.djangoproject.com/ 官方网站]）
 |}

@@ 第14行： / 第14行： @@
 * Python是一种[[解释性语言]],特别强调代码的可读性，最典型的例子就是Python用行缩进来区分代码块，而不是其他编程语言中较为常见的大括号。
 * Python常常被称为[[胶水语言]]，能将其他编程语言制作的各种模块连接在一起。
 === 设计哲学 ===
 * Python设计哲学（Zen of Python）包括了19条Python语言的基本原则，由Tim Peter于1999年在Python邮件列表中首次提出和发布。原始文档及后续的版本中都提及，应为20条基本原则而非19条，缺失的原则由Gindo进行补充，但实际上从未发布；
 * Python设计哲学被Python优化提议（PEP，Python Enhancement Proposals）收录，作为第20号信息文档，可在Python官方网站中查看。同时作为Python编译器的复活节彩蛋，输入代码 <code>import this</code> 即会显示；
-{| class="wikitable"
+{| class="wikitable" width=100%
 |- valign = "top"
 |  Beautiful is better than ugly.<br/>Explicit is better than implicit.<br/>Simple is better than complex.<br/>Complex is better than complicated.<br/>Flat is better than nested.<br/>Sparse is better than dense.<br/>Readability counts.<br/>Special cases aren't special enough to break the rules.<br/>Although practicality beats purity.<br/>Errors should never pass silently.<br/>Unless explicitly silenced.<br/>In the face of ambiguity, refuse the temptation to guess.<br/>There should be one—and preferably only one—obvious way to do it.<br/>Although that way may not be obvious at first unless you're Dutch.<br/>Now is better than never.<br/>Although never is often better than right now.<br/>If the implementation is hard to explain, it's a bad idea.<br/>If the implementation is easy to explain, it may be a good idea.<br/>Namespaces are one honking great idea—let's do more of those! <br/> ''Zen of Python, by Tim Peter''
@@ 第64行： / 第72行： @@
 === 数据分析 ===
 ==== 基本操作流程 ====
-{| class="wikitable"
+{| class="wikitable" width=100%
 |-
 ! 操作流程 !! 步骤说明 !! 常用命令/库.函数
@@ 第104行： / 第112行： @@
 ==== 常见相关库 ====
-{| class="wikitable"
+{| class="wikitable" width = 100%
 |-
-! 名称 !! 功能概述
+| '''pandas''' || 科学计算 ||提供了能够快速便捷处理结构化数据的大量数据结构和函数；pandas兼具numpy高性能的数组计算功能以及电子表格和关系型数据（如SQL）灵活的数据处理能力，提供了复杂精细的索引功能，以便更为便捷地完成重塑、切片和切块、聚合以及选取数据子集等操作；
 |-
-| '''numpy''' || python科学计算的基础包；numpy提供了快速高效的多维数组对象ndarray、对数组执行元素级计算以及直接对数组执行数学运算的函数、读写硬盘上基于数组的数据集的工具，线性代数运算、傅里叶变换、随机数生成功能，以及将C、C++、Fortran代码集成到python的工具；
+| '''MySQLdb''' || 数据库操作 || 提供MySQL数据库连接等功能的Python库；
 |-
-| '''pandas''' || 提供了能够快速便捷处理结构化数据的大量数据结构和函数；pandas兼具numpy高性能的数组计算功能以及电子表格和关系型数据（如SQL）灵活的数据处理能力，提供了复杂精细的索引功能，以便更为便捷地完成重塑、切片和切块、聚合以及选取数据子集等操作；
+| '''xlrd''' || Excel文档操作 || 提供读取Excel文件功能的Python库；
 |-
-| '''MySQLdb''' || 提供MySQL数据库连接等功能的Python库；
+| '''matplotlib''' || 数据图表绘制 || 最为流行的数据图表绘制Python库；
 |-
-| '''xlrd''' || 提供读取Excel文件功能的Python库；
+| '''scipy''' || 科学计算 || 一组专门解决科学计算中各种标准问题域的包的集合；
 |-
-| '''matplotlib''' || 最为流行的数据图表绘制Python库；
+| '''statsmodels''' || 统计分析 || 用于统计分析各类模型的模型集合；（[https://github.com/statsmodels/statsmodels Github页面]）
 |-
-| '''scipy''' || 一组专门解决科学计算中各种标准问题域的包的集合；
+| '''scikit-learn''' || 数据分析 || 一些用于数据挖掘与分析的，简单、高效的工具集；（[http://scikit-learn.org/stable/ 官方网站]）
 |-
-| '''statsmodels''' || 用于统计分析各类模型的模型集合；（[https://github.com/statsmodels/statsmodels Github页面]）
+| '''BeautifulSoup''' || 网络数据抓取 || 利用HTTP请求方式简化网站访问，提供更为强大的数据提取工具，效果通常比自己用正则表达式建立的爬虫要好；（[https://www.crummy.com/software/BeautifulSoup/ 官方网站]）
 |-
-| '''scikit-learn''' || 一些用于数据挖掘与分析的，简单、高效的工具集（[http://scikit-learn.org/stable/ 官方网站]）
+| '''Django''' || 网站框架 || 最常用的用Python编写的网页框架，代表网站Instagram、Disqus；Django包括很多有用的特性，且大多缺失功能可用扩展包来解决；（[https://www.djangoproject.com/ 官方网站]）
 |}

@@ 第14行： / 第14行： @@
 * Python是一种[[解释性语言]],特别强调代码的可读性，最典型的例子就是Python用行缩进来区分代码块，而不是其他编程语言中较为常见的大括号。
 * Python常常被称为[[胶水语言]]，能将其他编程语言制作的各种模块连接在一起。
 === 库 ===

@@ 第59行： / 第59行： @@
 ! 操作流程 !! 步骤说明 !! 常用命令/库.函数
 |-
-| '''数据导入/导出''' || 读写csv、Excel等格式文件；<br/>连接、读写、查询MySQL数据库； || pandas.read_csv("路径文件名或文件网址")、pandas.read_excel("路径文件名或文件网址")、to_csv('文件名', encoding='utf-8', index=False)；<br/>MySQLdb.connect(host='服务器URL', port=端口号,user='用户名', passwd='密码', db='数据库名称')、pandas.read_sql('SQL语句', con=连接变量)；
+| rowspan = 2 | '''数据导入/导出''' || 读写csv、Excel等格式文件 || pandas.read_csv("路径文件名或文件网址")、pandas.read_excel("路径文件名或文件网址")、to_csv('文件名', encoding='utf-8', index=False)；
 |-
-| '''提取和筛选需要的数据''' || -- || --
+| 连接、查询、读写MySQL数据库 || MySQLdb.connect(host='服务器URL', port=端口号,user='用户名', passwd='密码', db='数据库名称')、pandas.read_sql('SQL语句', con=连接变量)；
 |-
-| '''统计描述''' || -- || --
+| rowspan =2 | '''提取和筛选数据''' || 浏览与提取数据 || df.head(), df.tail(), df.columns, df.index, df.ix[行范围,列范围 (.loc、.iloc、.iat等）, df.shape；
 |-
-| '''数据处理''' || 转置；<br/>排序；<br/>处理缺失值；<br/>数据分组；<br/>值替换； || dataframe.T；<br/>dataframe.sort_values(by='字段名’)；<br/>dataframe['字段名'].fillna(缺失替换值)；<br/>df.groupby('字段名')；<br/>data.replace(查找值,替换值)；
+| 筛选数据 || dataframe[筛选条件（支持逻辑运算符）]；
 |-
-| '''统计分析''' || t检验；<br/>方差分析；<br/>卡方检验；<br/>计数统计；<br/>回归分析；|| --
+| '''统计描述''' || 计数、均值、分位指等 ||  dataframe.describe()；
 |-
-| '''可视化''' || -- || --
+| rowspan = 5 | '''数据处理''' || 转置 || dataframe.T；
+|-
 |}

@@ 第16行： / 第16行： @@
 === 库 ===
-Python拥有一个强大的标准库，提供了系统管理、网络通信、文本处理、数据库接口、图形系统、XML处理等额外的功能。Python标准库提供的工具适用于多种类型的任务，如：针对面向互联网的应用，提供了对MIME、HTTP等标准格式与协议的支持；针对图形用户界面（GUI）应用，提供了关系数据库连接、随机数生成、任意位数小数算法支持、[[正则表达式]]操作、单元测试等各类模块。Python标准库命名接口清晰、文档良好，很容易学习和使用。
+* Python拥有一个强大的标准库，提供了系统管理、网络通信、文本处理、数据库接口、图形系统、XML处理等额外的功能。Python标准库提供的工具适用于多种类型的任务，如：针对面向互联网的应用，提供了对MIME、HTTP等标准格式与协议的支持；针对图形用户界面（GUI）应用，提供了关系数据库连接、随机数生成、任意位数小数算法支持、[[正则表达式]]操作、单元测试等各类模块。Python标准库命名接口清晰、文档良好，很容易学习和使用。
-Python社区提供了大量的第三方模块，使用方式与标准库类似。它们的功能无所不包，覆盖科学计算、Web开发、数据库接口、图形系统多个领域，并且大多成熟而稳定。第三方模块可以使用Python或者C语言编写。截止2018年3月， Python官方第三方资源库[https://pypi.org/ Python Package Index] (PyPI)已收录超过13万项各类功能包。
+=== 与R语言的比较 ===
+* '''共同点'''：[[R语言]]与Python是数据分析领域中最流行的两个编程语言，他们都是免费的、都有活跃的社区支持，以及都提供开源的工具和库；
-====数据分析相关Python库====
+* '''应用场景'''：R语言的优势在于统计和图形模型，因此它更多的被学者、数据科学家和统计人员所采用；而Python更注重生产力和代码可读性，作为一种通用语言，Python拥有相对R语言更为广泛的应用领域，如Web开发、机器学习、智能控制等，因而在具有软件工程背景的数据科学工作者、开发者、工程师和程序员中更受欢迎；
-* '''numpy'''：python科学计算的基础包；numpy提供了快速高效的多维数组对象ndarray、对数组执行元素级计算以及直接对数组执行数学运算的函数、读写硬盘上基于数组的数据集的工具，线性代数运算、傅里叶变换、随机数生成功能，以及将C、C++、Fortran代码集成到python的工具；
+* '''学习曲线'''：Python的用户学习曲线较平缓；而R语言对初学者来说，有一个较为陡峭的学习曲线，且R语言在数据分析之外的功能很有限，一些用户库写得较差、运行较为缓慢；
 == 应用 ==
@@ 第54行： / 第52行： @@
 fhandle.close()
 </pre>
 == 参考 ==
@@ 第66行： / 第83行： @@
 * [https://www.zhihu.com/question/20899988 知乎：如何入门 Python 爬虫？]
 * [http://python.jobbole.com/81332/ 伯乐在线：Python爬虫入门]
 [[分类:编程语言]]

@@ 第19行： / 第19行： @@
 Python社区提供了大量的第三方模块，使用方式与标准库类似。它们的功能无所不包，覆盖科学计算、Web开发、数据库接口、图形系统多个领域，并且大多成熟而稳定。第三方模块可以使用Python或者C语言编写。截止2018年3月， Python官方第三方资源库[https://pypi.org/ Python Package Index] (PyPI)已收录超过13万项各类功能包。
 == 应用 ==
 Python灵活且各类爬虫库、数据分析库、数据可视化库较为丰富，很适合用于做数据抓取的主体架构，并基于这些数据做分析及可视化<ref>[https://www.zhihu.com/question/28975391 知乎：你用 Python 做过什么有趣的数据挖掘/分析项目？]</ref>，可将互联网上越来越丰富的数据为各种类型的城市规划与研究所用。
 * 交通：抓取12306火车、机票网站数据；搭建各个机场的实时流量图；
 * 财经：抓取雪球及各类财经网站数据；
-* 住宅：58、抓取搜房、链家等房屋租售数据；
+* 住宅：抓取58、搜房、链家等房屋租售数据；
-* 自然资源：天气数据，环境质量（PM2.5）数据；
+* 自然资源：抓取天气数据，环境质量（PM2.5）数据；
 * 地点舆情：抓取新浪微博的用户发言及舆论数据；
 * 科技行业：抓取各应用商店的App的下载量及评论数据；追踪各门类App下载量热点，热点行业走势；
 * 服务行业：抓取大众点评及美团网的餐饮及各类线下门店消费及评价情况；绘制城市早晚高峰时段（某类）人群出行的热点图；
 == 上手 ==

←上一版本		2018年5月28日 (一) 00:52的版本
第31行：		第31行：

	== 上手 ==		== 上手 ==
		+	=== 网络爬取 ===
		+	Python3.x的标准库urllib，将Python2.x的标准库urllib，urllib2功能进行了整合，提供网络爬取的相关功能。一个简单的抓取基本操作如下：
		+	<pre>
		+	from urllib import request #Python3.x下引用库，Python2.x下引用urllib2，通过urllib2.urlopen()调用
		+
		+	file = request.urlopen("http://wiki.citydatum.com")
		+
		+	data = file.read() #读取全部页面，数据格式为bytes类型
		+
		+	data_str = data.decode('utf-8') #解码，转换为str类型
		+
		+	fhandle=open("./1.html","wb") #将爬取的网页保存在本地
		+	fhandle.write(data)
		+	fhandle.close()
		+	</pre>

	== 参考 ==		== 参考 ==