mysql - 数据库插入频繁导致数据丢失
天蓬老师
天蓬老师 2017-04-17 15:14:37
0
4
1754

插入语句有两条,循环插入这两条
只是简单写了下插入语句,没有捕捉到异常

    def process_item(self, item, spider):
        #print(item)
        try:
            with self.connection.cursor() as cursor:
                #Create a new record
                sql1 = "INSERT INTO staff (XNXQ, \
                                          department, \
                                          teacher, \
                                          gender, \
                                          title, \
                                          note1, \
                                          note2) VALUES (%s, %s, %s, %s, %s, %s, %s)"
                cursor.execute(sql1, (item['first']['XNXQ'],
                                     item['first']['department'],
                                     item['first']['teacher'],
                                     item['first']['gender'],
                                     item['first']['title'],
                                     item['first']['note1'],
                                     item['first']['note2']))
                self.connection.commit()

                #Create a new record
                cursor.execute("select max(id) from staff")
                teacherId = cursor.fetchone()['max(id)']
                print('teacherId:' + str(teacherId))
                print(item['second'])
                    
                sql2 = "INSERT INTO staffCourse (teacherId, \
                                                 snum, \
                                                 course, \
                                                 credit, \
                                                 teachWay, \
                                                 courseType, \
                                                 classNum, \
                                                 className, \
                                                 stuNum, \
                                                 week, \
                                                 section, \
                                                 location) VALUES (%s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s)"
                cursor.execute(sql2, (teacherId,
                                      item['second']['snum'],
                                      item['second']['course'],
                                      item['second']['credit'],
                                      item['second']['teachWay'],
                                      item['second']['courseType'],
                                      item['second']['classNum'],
                                      item['second']['className'],
                                      item['second']['stuNum'],
                                      item['second']['week'],
                                      item['second']['section'],
                                      item['second']['location']))
                self.connection.commit()

        except Exception as e:
            print('------------------------------------------')
            print(e)

查看数据库时,发现少了很多,我猜应该是频繁插入导致数据丢失的,因为我在插入数据库之前把数据print了一下,没少。
怎么解决这个问题?

天蓬老师
天蓬老师

欢迎选择我的课程,让我们一起见证您的进步~~

全員に返信(4)
Peter_Zhu

一度に何回も繰り返しましたか?
私の記憶が正しければ。データベースにはキュー キャッシュがあります。一度に大量のデータをキャッシュに詰め込んでキャッシュがいっぱいになると、キャッシュが失われます
挿入するデータが大量にある場合は、キューを自分で実装する必要があります。その後定期的に挿入してください

またはトランザクションを試してください

いいねを押す +0
小葫芦

私は Python 構文を理解していないため、SQL の観点から 2 つの解決策のみを提供します。
1. トランザクション メソッドを使用してデータを書き込み、1000 個のデータごとに送信します。例:

偽コード

リーリー

2. SQL をバッチ書き込みに変更すると、パフォーマンスが大幅に向上します

リーリー
いいねを押す +0
小葫芦

データベースのログや実行記録を確認できます。

いいねを押す +0
左手右手慢动作

コード内にinsertと書いていますが、commitします。ただし、いつコミットするかは、ここでのユーザーではなく、プロジェクト内のトランザクションによって制御されます。プロジェクトはトランザクションを側面から制御する場合があります。解決策:
1. ページに挿入し、トランザクションを設定します。一度に挿入せず、バッチで挿入し、データをバッチでコミットします。

いいねを押す +0
人気のチュートリアル
詳細>
最新のダウンロード
詳細>
ウェブエフェクト
公式サイト
サイト素材
フロントエンドテンプレート