在Python中,爬取的数据可以通过多种方式保存,其中CSV(逗号分隔值)是一种非常常见的数据交换格式。CSV文件简单易读,易于处理,是数据保存和传输的常用格式。
以下是一个简单的例子,展示如何使用Python的内置库`csv`来保存爬取的数据到CSV文件:
```python
import csv
# 假设我们爬取到了以下数据
data = [
['name', 'age', 'city'],
['Alice', 28, 'New York'],
['Bob', 22, 'Los Angeles'],
['Charlie', 35, 'Chicago']
]
# CSV文件名
filename = 'data.csv'
# 写入CSV文件
with open(filename, 'w', newline='', encoding='utf-8') as csvfile:
writer = csv.writer(csvfile)
# 写入表头
writer.writerow(data[0])
# 写入数据
for row in data[1:]:
writer.writerow(row)
print(f"数据已保存到 {filename}")
```
这段代码首先创建了一个名为`data.csv`的文件,并使用`csv.writer`对象来写入数据。`data`列表中的第一行是表头,后续的行是具体的数据。
如果你想将爬取到的网页内容保存为CSV,你需要先解析网页内容,提取出需要的数据,然后再按照上面的方式写入CSV文件。
以下是一个使用`BeautifulSoup
相关内容:
大家好我是小帅b是一个练习时长两年半的练习生喜欢唱!跳!rap!篮球!敲代码!装逼!
不好意思我又走错片场了接下来的几篇文章小帅b将告诉你如何将你爬取到的数据保存下来有文本文件、redis、数据库(MySQL、MangoDB)等的存储方式今天先说说CSV什么是 CSV?怎么玩?牛逼么?那么接下来就是学习 Python 的正确姿势
CSV 是一个文本文件来的有点像 excel也就是它是以一定的表格的格式来展示数据的我们通常会使用逗号(,)来对每一个单元数据进行分割分隔符不止是逗号也可以是制表符(tab)、冒号(:)、分号(;)比如我们要来表示一个表格中的数据就可以这样
有啥好处呢说 3 点足以它支持存储比较大量的数据我们可以非常方便地利用它进行数据的导入或者导出到电子表格或者数据库所有支持文本文件的输入输出的编程语言(比如我们的 python),都可以直接操作使用 CSV 文件。
恩了解什么是 CSV 之后接下来小帅b会告诉你怎么使用 python 去存储数据到 CSV 文件中代码走起
我们导入 CSV 这个库通过 csv.DictWriter 获取 writer 对象然后就可以写入了
具体看下代码
打开看看
可以看到我们的数据就被写进来了说:是高还是长?
再给大家介绍一个库
是不是又方便又好看呢用 pandas 来存储 CSV 数据也是很简单的一个方法就搞定to_csv
ok以上就是对 CSV 的主要操作当你把数据爬取下来的时候可以使用这招试试把数据存储下来好了那么我们下篇再见peace
点个赞啊~~(破音)


第1列的名称,第2列的名称,第3列的名称第1行第1格的数据,第1行第2格的数据,第1行第3格的数据第2行第1格的数据,第2行第2格的数据,第2行第3格的数据...
这就是 CSV 的格式


具体看下代码
import csv
with open('xiaoshuaib.csv', mode='w') as csv_file: fieldnames = writer = csv.DictWriter(csv_file, fieldnames=fieldnames)
writer.writeheader() writer.writerow({'你是谁': '小帅b', '你几岁': '18岁', '你多高': '18cm'}) writer.writerow({'你是谁': '小帅c', '你几岁': '19岁', '你多高': '17cm'}) writer.writerow({'你是谁': '小帅d', '你几岁': '20岁', '你多高': '16cm'})
我们这里以字典的方式写入数据到 xiaoshuaib.csv 这个文件中运行之后可以看到多了一个文件


pandas
它可以更加方便的操作 CSV 文件我们先安装一下 pandaspip install pandas
安装完之后我们用 pandas 来读取一下我们刚存储的 xiaoshuaib.cvs 文件import pandasxiaoshuaib = pandas.read_csv('xiaoshuaib.csv')print(xiaoshuaib)
打印结果是这样的
import pandas as pd
b = c = d =
df = pd.DataFrame({'你是谁' : b, '你几岁' : c, '你多高' : d})df.to_csv("xsb.csv", index=False, sep=',')
运行一下
点个赞啊~~(破音)
