首頁 > 後端開發 > Python教學 > python做出新聞聚合項目

python做出新聞聚合項目

php中世界最好的语言
發布: 2018-04-09 13:44:30
原創
2542 人瀏覽過

這次帶給大家python做出新聞聚合項目,python做出新聞聚合項目的注意事項有哪些,下面就是實戰案例,一起來看一下。

先上程式碼,然後再來逐一分析:

from nntplib import NNTP
from time import strftime,time,localtime
from email import message_from_string
from urllib import urlopen
import textwrap
import re
day = 24*60*60
def wrap(string,max=70):
    '''
    '''
    return '\n'.join(textwrap.wrap(string)) + '\n'
class NewsAgent:
    '''
    '''
    def init(self):
        self.sources = []
        self.destinations = []
    def addSource(self,source):
        self.sources.append(source)
    def addDestination(self,dest):
        self.destinations.append(dest)
    def distribute(self):
        items = []
        for source in self.sources:
            items.extend(source.getItems())
        for dest in self.destinations:
            dest.receiveItems(items)
class NewsItem:
    def init(self,title,body):
        self.title = title
        self.body = body
class NNTPSource:
    def init(self,servername,group,window):
        self.servername = servername
        self.group = group
        self.window = window
    def getItems(self):
        start = localtime(time() - self.window*day)
        date = strftime('%y%m%d',start)
        hour = strftime('%H%M%S',start)
        server = NNTP(self.servername)
        ids = server.newnews(self.group,date,hour)[1]
        for id in ids:
            lines = server.article(id)[3]
            message = message_from_string('\n'.join(lines))
            title = message['subject']
            body = message.get_payload()
            if message.is_multipart():
                body = body[0]
            yield NewsItem(title,body)
        server.quit()
class SimpleWebSource:
    def init(self,url,titlePattern,bodyPattern):
        self.url = url
        self.titlePattern = re.compile(titlePattern)
        self.bodyPattern = re.compile(bodyPattern)
    def getItems(self):
        text = urlopen(self.url).read()
        titles = self.titlePattern.findall(text)
        bodies = self.bodyPattern.findall(text)
        for title.body in zip(titles,bodies):
            yield NewsItem(title,wrap(body))
class PlainDestination:
    def receiveItems(self,items):
        for item in items:
            print item.title
            print '-'*len(item.title)
            print item.body
class HTMLDestination:
    def init(self,filename):
        self.filename = filename
    def receiveItems(self,items):
        out = open(self.filename,'w')
        print >> out,'''
        <html>
        <head>
         <title>Today's News</title>
        </head>
        <body>
        <h1>Today's News</hi>
        '''
        print >> out, '<ul>'
        id = 0
        for item in items:
            id += 1
            print >> out, '<li><a href="#" rel="external nofollow" >%s</a></li>' % (id,item.title)
        print >> out, '</ul>'
        id = 0
        for item in items:
            id += 1
            print >> out, '<h2><a name="%i">%s</a></h2>' % (id,item.title)
            print >> out, '<pre class="brush:php;toolbar:false">%s
' % item.body         print >> out, '''                           ''' def runDefaultSetup():     agent = NewsAgent()     bbc_url = 'http://news.bbc.co.uk/text_only.stm'     bbc_title = r'(?s)a href="[^" rel="external nofollow" ]*">\s*\s*(.*?)\s*'     bbc_body = r'(?s)\s*
\s*(.*?)\s*<'     bbc = SimpleWebSource(bbc_url, bbc_title, bbc_body)     agent.addSource(bbc)     clpa_server = 'news2.neva.ru'     clpa_group = 'alt.sex.telephone'     clpa_window = 1     clpa = NNTPSource(clpa_server,clpa_group,clpa_window)     agent.addSource(clpa)     agent.addDestination(PlainDestination())     agent.addDestination(HTMLDestination('news.html'))     agent.distribute() if name == 'main':     runDefaultSetup()
登入後複製

這個程序,首先從整體上進行分析,重點部分在於NewsAgent,它的作用是儲存新聞來源,儲存目標地址,然後在分別呼叫來源伺服器(NNTPSource以及SimpleWebSource)以及寫新聞的類別(PlainDestination和HTMLDestination)。所以從這裡也看的出,NNTPSource是專門用來取得新聞伺服器上的資訊的,SimpleWebSource是取得一個url上的資料的。而PlainDestination和HTMLDestination的作用很明顯,前者是用來輸出獲取到的內容到終端的,後者是寫資料到html檔案中的。

有了這些分析,然後在來看主程式中的內容,主程式就是來為NewsAgent添加資訊來源和輸出目的位址的。

這確實是個簡單的程序,不過這個程式可是用到了分層了。

相信看了本文案例你已經掌握了方法,更多精彩請關注php中文網其它相關文章!

推薦閱讀:

配置OpenCV3 Python3的方法

Python3 opencv的設定教學

#

以上是python做出新聞聚合項目的詳細內容。更多資訊請關注PHP中文網其他相關文章!

相關標籤:
來源:php.cn
本網站聲明
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn
熱門教學
更多>
最新下載
更多>
網站特效
網站源碼
網站素材
前端模板