在数据分析和处理中，将dataframe从“长格式”转换为“宽格式”是一种常见的需求，即所谓的“数据透视”或“重塑”。pandas提供了多种强大的工具来实现这一目标，其中pivot()函数是常用的一个。然而，在某些特定场景下，pivot()函数可能无法直接生成我们期望的单行聚合结果，例如当原始数据结构导致其在转置时产生多行并伴随nan值。
理解 pandas.pivot 的局限性
让我们从一个具体的例子开始。假设我们有一个DataFrame df2，其中包含产品名称和对应的最大功率：
import pandas as pd
df2 = pd.DataFrame({
'nombreNumeroUnico': ['UP2_G1_B', 'UP2_G2_B'],
'pMax': [110.0, 110.0]
})
print("原始DataFrame:")
print(df2)输出：
原始DataFrame: nombreNumeroUnico pMax 0 UP2_G1_B 110.0 1 UP2_G2_B 110.0
我们的目标是将其转换为以下形式：
UP2_G1_B UP2_G2_B 0 110.0 110.0
即将nombreNumeroUnico列的值作为新的列标题，pMax列的值作为对应的新列的数据，并且所有数据都聚合到一行中。
如果直接使用pivot()函数，并尝试将nombreNumeroUnico作为列，pMax作为值，会遇到以下情况：
# 尝试使用 pivot() 函数
pivot_result = df2.pivot(index=None, columns="nombreNumeroUnico", values="pMax")
print("\n使用 pivot() 函数的结果:")
print(pivot_result)输出：
使用 pivot() 函数的结果: nombreNumeroUnico UP2_G1_B UP2_G2_B 0 110.0 NaN 1 NaN 110.0
可以看到，pivot()函数为每个原始行创建了一个新行，并在其他位置填充了NaN。这是因为pivot函数旨在根据指定的index、columns和values参数重新排列数据，如果index没有明确指定（或指定为None），它会保留原始的行索引，并尝试将每个唯一组合的数据放置到相应的位置，导致在我们的单值场景下出现NaN。
解决方案：set_index()、T 和 reset_index() 的组合
为了实现精确的单行透视，我们可以结合使用set_index()、T（转置）和reset_index()这三个Pandas方法。这种组合的原理是：
- set_index('nombreNumeroUnico'): 将我们希望作为新列标题的列（nombreNumeroUnico）设置为DataFrame的索引。这使得每个唯一的名称都成为了一个行标签。
- .T (转置): 对DataFrame进行转置操作。此时，原先的索引（nombreNumeroUnico的值）会变成列标题，而原先的数据列（pMax）会变成行标签。由于pMax是唯一的数据列，它将形成一个新行。
- .reset_index(drop=True): 转置后，原先的数据列名（pMax）会变为一个名为index的列。reset_index(drop=True)会移除这个新的索引列，使其成为一个普通的从0开始的整数索引，从而获得一个干净的单行DataFrame。
下面是实现这一过程的代码：
import pandas as pd
df2 = pd.DataFrame({
'nombreNumeroUnico': ['UP2_G1_B', 'UP2_G2_B'],
'pMax': [110.0, 110.0]
})
# 1. 将 'nombreNumeroUnico' 设置为索引
df_indexed = df2.set_index('nombreNumeroUnico')
print("\n步骤1: set_index 后的 DataFrame:")
print(df_indexed)
# 2. 对 DataFrame 进行转置
df_transposed = df_indexed.T
print("\n步骤2: 转置后的 DataFrame:")
print(df_transposed)
# 3. 重置索引并删除旧索引列
result_df = df_transposed.reset_index(drop=True)
# 可选优化：清除 columns.name 属性，使输出更简洁
result_df.columns.name = None
print("\n最终结果 DataFrame:")
print(result_df)输出：
步骤1: set_index 后的 DataFrame:
pMax
nombreNumeroUnico
UP2_G1_B 110.0
UP2_G2_B 110.0
步骤2: 转置后的 DataFrame:
nombreNumeroUnico UP2_G1_B UP2_G2_B
pMax 110.0 110.0
最终结果 DataFrame:
UP2_G1_B UP2_G2_B
0 110.0 110.0通过这三个步骤的组合，我们成功地将nombreNumeroUnico列的值转换为新的列标题，并将pMax的值作为对应的数据，最终得到了一个精确的单行DataFrame，完全符合预期。
总结与注意事项
- pivot() 函数的适用场景：pivot()函数通常适用于当你的数据可以明确地通过一个或多个索引、一个或多个列以及一个或多个值进行重塑时。如果你的目标是创建一个所有值都在一行的“宽格式”DataFrame，并且列名来源于原始DataFrame的某个唯一标识符列，那么set_index().T.reset_index()组合往往是更直接和有效的方案。
- 处理重复值：如果set_index()所用的列中存在重复值，set_index()会报错，除非你将其转换为多级索引。在这种情况下，你需要先处理重复值（例如通过聚合），或者考虑使用pivot_table()。
- 清除 columns.name：在执行set_index().T操作后，新的列名（即原始的索引名）会带有一个name属性。通过设置result_df.columns.name = None可以移除这个属性，使DataFrame的输出更加整洁。
掌握set_index().T.reset_index()这一组合技巧，将极大地扩展你在Pandas中进行数据重塑的能力，尤其是在处理需要将特定列值转换为列标题并聚合为单行数据的场景中。
以上就是Pandas DataFrame 高效重塑：实现单行透视的精确方法的详细内容，更多请关注资源网其它相关文章！
发表评论:
◎欢迎参与讨论，请在这里发表您的看法、交流您的观点。