Python は Web クローラー スクリプトを作成し、APScheduler スケジューリングを実装します。

import urllib2
from sgmllib import SGMLParser

content = urllib2.urlopen('http://sale.jd.com/act/yufbrhZtjx6JTV.html').read()
listhref = ListHref()
listhref.feed(content)

 など、または <br> や <img  alt="Python は Web クローラー スクリプトを作成し、APScheduler スケジューリングを実装します。" > などの固有のタグ。この例では、開始タグ <a> を見つけると、SGMLParser は start_a または do_a という名前のメソッドを探します。見つかった場合、SGMLParser はタグの属性リストを使用してこのメ​​ソッドを呼び出し、それ以外の場合は、タグの名前と属性リストを使用して、unknown_starttag メソッドを呼び出します。 <br/>終了タグ (End_tag) <br/> は、</html>、</head>、</body>、

文字の 10 進数または同等の 16 進数で表されるエスケープ文字。文字が見つかると、SGMLParser は handle_charref を呼び出します。文字。
エンティティ参照 (Entity Reference)
HTML エンティティ (&ref と同様) エンティティが見つかると、SGMLParser はエンティティの名前を指定して handle_entityref を呼び出します。
コメント
HTML コメント。 の間に含まれます。見つかった場合、SGMLParser はコメントの内容を指定して handle_comment を呼び出します。
処理命令
HTML 処理命令。< ... > の間に含まれます。見つかった場合、SGMLParser はコマンドの内容を使用して handle_pi を呼び出します。
宣言
の間に含まれる DOCTYPE などの HTML 宣言。見つかった場合、SGMLParser は宣言内容を使用して handle_decl を呼び出します。

具体的な手順については、API を参照してください: //m.sbmmt.com/

まず、Pythonをインストールします mongoDBドライバーPyMongoの場合は、ダウンロードアドレス: //m.sbmmt.com/

インポートモジュール

import pymongo

mongoCon=pymongo.Connection(host="127.0.0.1",port=27017)
db= mongoCon.mydatabase

bookInfo = db.book.find_one({"href":bookItem.href})

b={
"bookname":bookItem.bookname.decode('gbk').encode('utf8'),
"href":bookItem.href,
"date":bookItem.date
}
db.book.insert(b,safe=True)

# Import smtplib for the actual sending function
import smtplib
from email.mime.text import MIMEText

def send_mail(mailto_list, sub, context): 
COMMASPACE = ','
mail_host = "localhost"
me = "my@vmail.cn"
# Create a text/plain message
msg = MIMEText(context) 
msg['Subject'] = sub 
msg['From'] = "my@vmail.cn"
msg['To'] = COMMASPACE.join(mailto_list)

send_smtp = smtplib.SMTP(mail_host) 

send_smtp.sendmail(me, mailto_list, msg.as_string()) 
send_smtp.close()

from apscheduler.scheduler import Scheduler

# Start the scheduler 
sched = Scheduler()
sched.daemonic = False 
sched.add_interval_job(job,minutes=30) 
sched.start()

#-*- coding: UTF-8 -*-
import urllib2
from sgmllib import SGMLParser
import pymongo
import time
# Import smtplib for the actual sending function
import smtplib
from email.mime.text import MIMEText
from apscheduler.scheduler import Scheduler

#get freebook hrefs
class ListHref(SGMLParser):
def __init__(self):
SGMLParser.__init__(self)
self.is_a = ""
self.name = []
self.freehref=""
self.hrefs=[]

def start_a(self, attrs):
self.is_a = 1
href = [v for k, v in attrs if k == "href"]
self.freehref=href[0]

def end_a(self):
self.is_a = ""

def handle_data(self, text):
if self.is_a == 1 and text.decode('utf8').encode('gbk')=="限时免费":
self.hrefs.append(self.freehref)
#get freebook Info
class FreeBook(SGMLParser):
def __init__(self):
SGMLParser.__init__(self)
self.is_title=""
self.name = ""
def start_title(self, attrs):
self.is_title = 1
def end_title(self):
self.is_title = ""
def handle_data(self, text):
if self.is_title == 1: 
self.name=text
#Mongo Store Module
class freeBookMod:
def __init__(self, date, bookname ,href):
self.date=date
self.bookname=bookname
self.href=href

def get_book(bookList):
content = urllib2.urlopen('http://sale.jd.com/act/yufbrhZtjx6JTV.html').read()
listhref = ListHref()
listhref.feed(content)

for href in listhref.hrefs:
content = urllib2.urlopen(str(href)).read()
listbook=FreeBook()
listbook.feed(content)
name = listbook.name
n= name.index('》')
#print (name[0:n+2])
freebook=freeBookMod(time.strftime('%Y-%m-%d',time.localtime(time.time())),name[0:n+2],href)
bookList.append(freebook)
return bookList

def record_book(bookList,context,isSendMail):
# DataBase Operation
mongoCon=pymongo.Connection(host="127.0.0.1",port=27017)
db= mongoCon.mydatabase
for bookItem in bookList:
bookInfo = db.book.find_one({"href":bookItem.href})

if not bookInfo:
b={
"bookname":bookItem.bookname.decode('gbk').encode('utf8'),
"href":bookItem.href,
"date":bookItem.date
}
db.book.insert(b,safe=True)
isSendMail=True
context=context+bookItem.bookname.decode('gbk').encode('utf8')+','
return context,isSendMail 

#Send Message
def send_mail(mailto_list, sub, context): 
COMMASPACE = ','
mail_host = "localhost"
me = "my@vmail.cn"
# Create a text/plain message
msg = MIMEText(context) 
msg['Subject'] = sub 
msg['From'] = "my@vmail.cn"
msg['To'] = COMMASPACE.join(mailto_list)

send_smtp = smtplib.SMTP(mail_host) 

send_smtp.sendmail(me, mailto_list, msg.as_string()) 
send_smtp.close() 

#Main job for scheduler 
def job(): 
bookList=[]
isSendMail=False; 
context="Today free books are"
mailto_list=["mailto@mail.cn"]
bookList=get_book(bookList)
context,isSendMail=record_book(bookList,context,isSendMail)
if isSendMail==True: 
send_mail(mailto_list,"Free Book is Update",context)

if __name__=="__main__": 
# Start the scheduler 
sched = Scheduler()
sched.daemonic = False 
sched.add_interval_job(job,minutes=30) 
sched.start()