שיחת משתמש:Rotemliss/ארכיון ספטמבר 2011

#!/usr/bin/python
# -*- coding: utf-8  -*-

import time, re, sys
import bot, wikipedia, pagegenerators

site = wikipedia.getSite()
outputPage = wikipedia.Page(site, u'משתמש:Rotemliss-bot/דפי פירושונים')
try:
    output = outputPage.get()
except wikipedia.NoPage:
    output = u''
if u'רשימת דפי פירושונים' in output:
    # Old output
    output = u''
regexp = ur'# \[\[%s\]\]: (\d+) קישורים'

# Get disambiguation pages
template = wikipedia.Page(site, u'תבנית:פירושונים')
pages = template.getReferences(follow_redirects = False, onlyTemplateInclusion = True)
pages = pagegenerators.NamespaceFilterPageGenerator(pages, [0])
pages = list(pages)

try:
    # Calculate number of links
    i = 0
    pagesLen = len(pages)
    linksPage = {}
    for page in pages:
        i += 1
        print u'%d/%d: %s' % (i, pagesLen, page.title())
        p = re.compile(regexp % page.title().replace(u'(', u'\\(').replace(u')', u'\\)'))
        m = p.search(output)
        if m:
            # Get from recent runs
            linksPage[page] = int(m.group(1))
        else:
            # Get from API
            refs = list(page.getReferences(follow_redirects = False, withTemplateInclusion = False))
            links = 0
            for ref in refs:
                if ref.namespace() == 0:
                    links += 1
            linksPage[page] = links

            # Save each 500 pages
            if len(linksPage) % 500 == 0:
                output = u'זהו דף הריצה של הבוט ליצירת רשימה של דפי הפירושונים.\n\n'
                for page, links in linksPage.items():
                    output += u'# %s: %d קישורים\n' % (page.aslink(textlink=True, noInterwiki=True), links)
                print u'Saving output for %d first pages...' % len(linksPage)
                outputPage.put(output, u'בוט: בתהליך יצירת הרשימה של דפי הפירושונים')

    # Final output
    print 'First output:'
    output = u'רשימת כל דפי הפירושונים שאינם ממוינים - תוחלף במהרה ברשימה ממוינת ומקוצרת:\n\n'
    for page, links in linksPage.items():
        output += u'# %s: %d קישורים\n' % (page.aslink(textlink=True, noInterwiki=True), links)
    print output
    outputPage.put(output, u'בוט: רשימה מלאה של דפי הפירושונים')

    # Sort by latest
    print u'Second output:'
    sum = 0
    output = u'== רשימת דפי פירושונים ==\n'
    while True:
        if len(pages) == 0:
            # No more pages
            break

        # Get latest page
        latest = None
        for page in pages:
            if linksPage[page] > 5 and (latest is None or linksPage[page] > linksPage[latest]):
                latest = page
        if not latest:
            # No more pages with more than 5 links
            break
        sum += linksPage[latest]

        # Output latest pages
        output += u'# %s: %d [[מיוחד:דפים המקושרים לכאן/%s|קישורים]]\n' % (latest.aslink(textlink=True, noInterwiki=True), linksPage[latest], latest.title())

        # Remove latest page
        pages.remove(latest)
        del linksPage[latest]
    output += u'מספר הקישורים הכולל: %d' % sum
    print output
    outputPage.put(output, u'בוט: רשימה של דפי הפירושונים')
except:
    # Handle exceptions - save
    print 'Exception! Raw output:'
    output = u'זהו דף הריצה של הבוט ליצירת רשימה של דפי הפירושונים.\n\n'
    for page, links in linksPage.items():
        output += u'# %s: %d קישורים\n' % (page.aslink(textlink = True, noInterwiki = True), links)
    print output
    outputPage.put(output, u'בוט: בתהליך יצירת הרשימה של דפי הפירושונים')
    raise

p = re.compile(ur'\s+\{\{ויקיפדיה:מיזמי ויקיפדיה/מיזם דפי פירושונים/([\d א-ת]+)\}\}')
p2 = re.compile(ur'==\s*רשימת דפי פירושונים\s*==')

# Get date from main text
mainPage = wikipedia.Page(site, u'ויקיפדיה:מיזמי ויקיפדיה/מיזם דפי פירושונים')
mainText = mainPage.get()
m = p.search(mainText)
if not m:
    print u'Template not found in main page!'
    sys.exit()
date = m.group(1)

# Get prefixing text from old date page
page = wikipedia.Page(site, u'ויקיפדיה:מיזמי ויקיפדיה/מיזם דפי פירושונים/%s' % date)
text = page.get()
m2 = p2.search(text)
if not m2:
    print u'Header not found in date page!'
    sys.exit()
text = text[:m2.start()]

# Get current date and replace it in text
monthMap = {
    1: u'בינואר',
    2: u'בפברואר',
    3: u'במרץ',
    4: u'באפריל',
    5: u'במאי',
    6: u'ביוני',
    7: u'ביולי',
    8: u'באוגוסט',
    9: u'בספטמבר',
    10: u'באוקטובר',
    11: u'בנובמבר',
    12: u'בדצמבר',
}
currentTime = time.localtime()
currentDate = u'%s %s %s' % (currentTime[2], monthMap[currentTime[1]], currentTime[0])
text = text.replace(date, currentDate)

# Add list
text += output

# Add the new page
newPage = wikipedia.Page(site, u'ויקיפדיה:מיזמי ויקיפדיה/מיזם דפי פירושונים/%s' % currentDate)
newPage.put(text, u'בוט: רשימת פירושונים חדשה')

# Add link to main page
newLinks = u'\n* [[ויקיפדיה:מיזמי ויקיפדיה/מיזם דפי פירושונים/%s|%s]]\n\n{{ויקיפדיה:מיזמי ויקיפדיה/מיזם דפי פירושונים/%s}}' % (date, date, currentDate)
mainText = p.sub(newLinks, mainText)
mainPage.put(mainText, u'בוט: רשימת פירושונים חדשה')