03月21, 2019

【爬虫】把抓到数据存起来——爬虫绝配mongodb

抓取数据的方法,前面的课程该讲的都已经讲了,爬取下来数据只是第一步,第二步就是要先存起来。我们最容易想到的就是存文件里喽,python写文件之前的课程也已经讲过了。存到文件里当然是可以的,但是你是否想过,每次使用都要把整个文件打开,然后读取,实在是有点不geek啊。 所以我们通常会选择存进数据库,方便写入和读取数据,并且对于大部分情况而言,python数据结构中的dict足够我们去结构化抓取的数据,那么能把两者发挥到极致的神器就是——mongodb!

mongodb

  1. 分布式
  2. 松散数据结构(json)
  3. 查询语言强大

文档

你可以看做是一个dict,dict里面还可以嵌套dict,例如:

{"name": "alan", score_list: {"chinese": 90, "english": 80}}

集合

一组文档,就是一堆dict。

###数据库 多个集合组成数据库

这么理解:你可以把mongodb看做一个图书馆,图书馆中每本书就是文档,一个书架上的书是个集合,每个图书室的书架加起来就是个数据库。

安装

官方安装方法 学我教程的同学应该都知道,我不会给出具体步骤,鼓励大家按照官方文档去摸索,屏蔽伸手党。

该如何把抓取到的数据存入mongodb

  1. 把抓到的数据写成你想要的dict形式
  2. insert到指定的书架上
  3. 没了。。。

增删查改例子 python2版本

需要安装pymongo

pip install pymongo

mongo_api.py

# -*- coding: utf-8 -*-

# Define your item pipelines here
#
# Don't forget to add your pipeline to the ITEM_PIPELINES setting
# See: http://doc.scrapy.org/en/latest/topics/item-pipeline.html

import pymongo
import sys
import unittest
reload(sys) 
sys.setdefaultencoding('utf-8')

class MongoAPI(object):
    def __init__(self, db_ip, db_port, db_name, table_name):
        self.db_ip = db_ip
        self.db_port = db_port
        self.db_name = db_name
        self.table_name = table_name
        self.conn = pymongo.MongoClient(host=self.db_ip, port=self.db_port)
        self.db = self.conn[self.db_name]
        self.table = self.db[self.table_name]

    def get_one(self, query):
        return self.table.find_one(query, projection={"_id": False})

    def get_all(self, query):
        return self.table.find(query)

    def add(self, kv_dict):
        return self.table.insert(kv_dict)

    def delete(self, query):
        return self.table.delete_many(query)

    def check_exist(self, query):
        ret = self.get(query)
        return len(ret) > 0

    # 如果没有 会新建
    def update(self, query, kv_dict):
        ret = self.table.update_many(
            query,
            {
                "$set": kv_dict,
            }
        )
        if not ret.matched_count or ret.matched_count == 0:
            self.add(kv_dict)
        elif ret.matched_count and ret.matched_count > 1:
            self.delete(query)
            self.add(kv_dict)

class DBAPITest(unittest.TestCase):
    def setUp(self):
        self.db_api = MongoAPI("127.0.0.1",  # 图书馆大楼地址
                                27017,  # 图书馆门牌号
                                "test",  # 一号图书室
                                "test_table")  # 第一排书架

    def test(self):
        db_api = self.db_api
        db_api.add({"url": "test_url", "k": "v"})
        self.assertEqual(db_api.get_one({"url": "test_url"})["k"], "v")

        db_api.update({"url": "test_url"}, {"url_update": "url_update"})
        ob = db_api.get_one({"url": "test_url"})
        self.assertEqual(ob["url_update"], "url_update")

        db_api.delete({"url": "test_url"})
        self.assertEqual(db_api.get_one({"url": "test_url"}), None)

if __name__ == '__main__':
    unittest.main()

本文链接:http://www.yuqiaochuang.com/post/【爬虫】把抓到数据存起来——爬虫绝配mongodb.html

-- EOF --

Comments

""