首页 > 数据库 > mysql教程 > 如何在 Pandas 的 SQL 查询样式中选择数据子集?

如何在 Pandas 的 SQL 查询样式中选择数据子集?

WBOY
发布: 2023-08-31 10:13:10
转载
1174 人浏览过

如何在 Pandas 的 SQL 查询样式中选择数据子集?

简介

在这篇文章中,我将向您展示如何使用 Pandas 通过 SQL 样式过滤来执行数据分析。大多数企业数据都存储在需要 SQL 来检索和操作的数据库中。例如,像 Oracle、IBM、Microsoft 这样的公司拥有自己的数据库和自己的 SQL 实现。

数据科学家必须在其职业生涯的某个阶段处理 SQL,因为数据并不总是存储在CSV 文件。我个人更喜欢使用 Oracle,因为我公司的大部分数据都存储在 Oracle 中。

场景 – 1 假设我们有一个任务,从我们的电影中查找所有电影具有以下条件的数据集。

  • 电影的语言应该是英语(en)或西班牙语(es)。
  • 电影的受欢迎程度必须介于 500 到 1000 之间。
  • 电影的状态必须已发布。
  • 投票数必须大于 5000。对于上述场景,SQL 语句类似于如下。
SELECT
FROM WHERE
title AS movie_title
,original_language AS movie_language
,popularityAS movie_popularity
,statusAS movie_status
,vote_count AS movie_vote_count movies_data
original_languageIN ('en', 'es')

AND status=('Released')
AND popularitybetween 500 AND 1000
AND vote_count > 5000;
登录后复制

现在你已经看到了满足需求的SQL语句,让我们使用pandas一步一步地进行操作。我将向你展示两种方法。

方法1:布尔索引

1. 将movies_data数据集加载到DataFrame中。

import pandas as pd movies = pd.read_csv("https://raw.githubusercontent.com/sasankac/TestDataSet/master/movies_data.csv")
登录后复制

为每个条件分配一个变量。

languages = [ "en" , "es" ] condition_on_languages = movies . original_language . isin ( languages )
condition_on_status = movies . status == "Released"
condition_on_popularity = movies . popularity . between ( 500 , 1000 )
condition_on_votecount = movies . vote_count > 5000
登录后复制

3.将所有条件(布尔数组)组合在一起。

final_conditions = ( condition_on_languages & condition_on_status & condition_on_popularity & condition_on_votecount )
columns = [ "title" , "original_language" , "status" , "popularity" , "vote_count" ]
# clubbing all together movies . loc [ final_conditions , columns ]
登录后复制

标题

original_language

状态

受欢迎程度

vote_count

< p>
95星际

zh

已发布

724.247784

10867

< /td>

788死侍

zh

已发布

514.569956

10995

方法2:- .query()方法。

.query()方法是SQL where子句样式过滤数据的方法。条件可以作为字符串传递给此方法,但是,列名称不得包含任何空格。

如果列名称中有空格,请使用 python 替换函数将其替换为下划线。< /p>

根据我的经验,我发现 query() 方法在应用于较大的 DataFrame 时比以前的方法更快。

import pandas as pd movies = pd . read_csv ( "https://raw.githubusercontent.com/sasankac/TestDataSet/master/movies_data.csv" )
登录后复制

4.构建查询字符串并执行该方法。

请注意,.query 方法不适用于跨越多行的三重引号字符串。

final_conditions = (
"original_language in [&#39;en&#39;,&#39;es&#39;]"
"and status == &#39;Released&#39; "
"and popularity > 500 "
"and popularity < 1000"
"and vote_count > 5000"
) final_result = movies . query ( final_conditions )
final_result
登录后复制

< td>293660

预算< /p>

id

original_language

original_title

受欢迎程度

发布日期

收入

运行时

st

95

165000000

157336

zh

星际

724.247784

2014年5月11日< /p>

675120017

169.0

关系

788

58000000

zh

死侍

514.569956

2016年9月2日

783112979

108.0

关系

< p>还有更多,通常在我的编码中,我有多个值要检查我的“in”子句。所以上面的语法并不理想。可以使用 at 符号 (@) 引用 Python 变量。

您还可以以编程方式将值创建为 Python 列表,并将它们与 (@) 一起使用。

movie_languages = [ &#39;en&#39; , &#39;es&#39; ]
final_conditions = (
"original_language in @movie_languages "
"and status == &#39;Released&#39; "
"and popularity > 500 "
"and popularity < 1000"
"and vote_count > 5000" )
final_result = movies . query ( final_conditions )
final_result
登录后复制

293660

预算

id

original_language

original_title

受欢迎程度

发布日期

收入

运行时

st

95

165000000

157336

zh

星际

724.247784

2014年5月11日

675120017

169.0

关系

788

58000000

zh

死侍

514.569956 p>

2016年9月2日

783112979

108.0

关系

以上是如何在 Pandas 的 SQL 查询样式中选择数据子集?的详细内容。更多信息请关注PHP中文网其他相关文章!

来源:tutorialspoint.com
本站声明
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn
热门教程
更多>
最新下载
更多>
网站特效
网站源码
网站素材
前端模板