HyperSpy().addChanel(urlGen, urlFilter, contentSpy, storeRoutine).start()
,其中使用addChanel方法添加了四个channel(被@channel修饰的函数).(finished, result)
,并且其中result必须是一个列表.session, ctx, lock, data
. session是requests.Session的一个实例, ctx是单个通道所有线程共享的数据,对齐修改你可能需要使用lock进行同步,data是上个通道输出的数据,如果没有前一个通道那么data就是一个空列表.# 这个实例目标是爬取一个网站的新闻,需要先从列表页面获取文章的url.对于获取到的文章url,会先查询数据库url是
# 否存在,如果存在则直接过滤掉,如果不存在则可以根据url爬取文章标题和正文,然后按(url, title, content)的格式存入
# 数据.所以实例设计了四个通道,urlGen负责爬取文章url,urlFilter负责过滤掉爬过的url,contentSpy负责爬取文章title
# 和content,storeRoutine负责数据库接入.注意数据库连接是不能线程共享的...所以urlFilter和storeRoutine都只用了
# 一个线程来跑
import pymysql
from hyperspy import HyperSpy, channel
from bs4 import BeautifulSoup, element
host = 'http://news.nwpu.edu.cn'
basePattern = host + '/gdyw'
db = pymysql.connect("localhost","root","root","test")
cursor = db.cursor()
# channel装饰器参数含义:
# nt: 线程数
# sp: 指示每次从数据输入中拿多少数据,如果sp<=0,表示一次取完,每次拿取的数据作为data实参传入
# initParams: 初始化参数,会被存放到ctx(channel context)中
@channel(nt=5, initParams={'limit': 10, 'counter': -1, 'perProcessNum': 10})
def urlGen(session, ctx, lock, data):
target = []
result = []
lock.acquire()
num = ctx.limit - ctx.counter
if num == 0:
lock.release()
return (True, None)
elif num > ctx.perProcessNum:
num = ctx.perProcessNum
for _ in range(num + 1):
ctx.counter += 1
if ctx.counter == 0: target.append(basePattern + '.htm')
elif ctx.counter < ctx.limit: target.append(basePattern + '/' + str(ctx.counter) + '.htm')
else: break
lock.release()
for u in target:
r = session.get(u)
soup = BeautifulSoup(r.content, 'html.parser')
for li in soup.select('body .list-main .wrapper .fl ul li'):
if not 'style' in li:
href = li.select('.fr a')[0]['href'].replace('../', '')
result.append(host + '/' + href)
return (False, result)
@channel(nt=1, sp=0)
def urlFilter(session, ctx, lock, data):
result = []
sql = "select id from XiGongDa where url=%s"
for url in data:
cursor.execute(sql, (url))
if len(cursor.fetchall()) == 0:
result.append(url)
return (True, result)
@channel(nt=5)
def contentSpy(session, ctx, lock, data):
def findText(p):
content = ''
if isinstance(p, element.Tag):
for child in p.contents:
content += findText(child)
elif isinstance(p, element.NavigableString):
return p
return content
if data:
result = []
for url in data:
r = session.get(url)
if r.status_code == 200:
try:
soup = BeautifulSoup(r.content, 'html.parser')
div = soup.select('body .list-main .wrapper .fl .artical form div')[0]
title = div.select('h5')[0].contents[0]
content = ''
for p in div.select('.nr .v_news_content')[0].contents:
content += findText(p)
result.append((url, title, content))
except Exception as e:
print(e)
return (False, result)
else: return (True, None)
@channel(nt=1)
def storeRoutine(session, ctx, lock, data):
if data:
for url, title, content in data:
sql = "insert into XiGongDa(url, title, content) values (%s, %s, %s)"
try:
cursor.execute(sql, (url, title, content))
db.commit()
except Exception as e:
print (e)
db.rollback()
return (False, None)
else: return (True, None)
# 添加四个函数作为channel,HyperSpy将根据添加顺序,依次执行四个函数
HyperSpy().addChanel(urlGen, urlFilter, contentSpy, storeRoutine).start()
db.close()
import threading
import time
import datetime
from requests import session
def timestamp():
return datetime.datetime.now().strftime('%Y-%m-%d %H:%M:%S')
def getFuncName(func):
s = str(func)
i = s.find('function ')
s = s[i + 9:]
i = s.find(' ')
return s[:i]
class DynamicObject(object):
pass
class Channel(object):
def __init__(self, name, handler, nt = 1):
self.name = name
self.handler = handler
self.nt = nt
self.next = None
self.counter = 0
self._din = []
self._dinSize = 0
self._dout = []
self.ilock = threading.Lock()
self.olock = threading.Lock()
def setDin(self, data):
self.counter = 0
self._din = data
self._dinSize = len(data)
def getDin(self, n):
self.ilock.acquire()
data = None
if self.counter < self._dinSize:
if n <= 0:
data = self._din[:]
self._din.clear()
self.counter += self._dinSize
else:
tmp = self._dinSize - self.counter
if n > tmp: n = tmp
data = self._din[self.counter:self.counter + n]
self.counter += n
self.ilock.release()
return data
def putDout(self, data):
if data and isinstance(data, list):
self.olock.acquire()
self._dout.extend(data)
print ("channel data size: %d" % len(self._dout), end='\r')
self.olock.release()
def getDout(self):
data = self._dout[:]
self._dout.clear()
return data
class Pipeline(object):
def __init__(self):
self.head = Channel(None, None)
self.tail = self.head
self.size = 0
def addLast(self, c):
self.tail.next = c
self.tail = c
self.size += 1
def channels(self):
channel = self.head.next
i = 0
while i < self.size:
yield channel
i += 1
channel = channel.next
class HyperSpy(object):
def __init__(self):
self.pipeline = Pipeline()
self.session = session()
self.session.headers.update({
'Accept': 'text/html, application/xhtml+xml, image/jxr, */*',
'Accept-Encoding':'gzip, deflate',
'Accept-Language':'zh-Hans-CN, zh-Hans; q=0.5',
'Connection':'Keep-Alive',
'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36 Edge/15.15063'
})
def __wrapChannel(self, name, handler, nt, sp, initParams):
hlock = threading.Lock()
ctx = DynamicObject()
for k, v in initParams.items(): ctx.__setattr__(k, v)
channel = Channel(name, None, nt)
def inner():
finished = False
while not finished:
finished, dout = handler(self.session, ctx, hlock, channel.getDin(sp))
channel.putDout(dout)
channel.handler = inner
return channel
def addChanel(self, *params):
for p in params:
name, handler, nt, sp, initParams = p
self.pipeline.addLast(self.__wrapChannel(name, handler, nt, sp, initParams))
return self
def start(self):
tstart = time.time()
ltstart, ltend = tstart, None
print('[%s] hyperspy started' % timestamp())
data = []
for c in self.pipeline.channels():
c.setDin(data)
t = []
for i in range(c.nt):
t.append(threading.Thread(target=c.handler, args=()))
t[i].start()
for i in range(c.nt):
t[i].join()
data = c.getDout()
ltend = time.time()
print ("[%s] channel <%s> finished, data size: %d, time used: %fs" % (timestamp(), c.name, len(data), ltend - ltstart))
ltstart = ltend
print('[%s] hyperspy finished, time used: %fs' % (timestamp(), time.time() - tstart))
return data
def channel(nt, sp=10, initParams={}):
'''nt: total thread num, sp: data quantity processed by single thread at one time'''
def wrap(handler):
return (getFuncName(handler), handler, nt, sp, initParams)
return lambda handler: wrap(handler)
文章浏览阅读2w次,点赞7次,收藏51次。四个步骤1.创建C++ Win32项目动态库dll 2.在Win32项目动态库中添加 外部依赖项 lib头文件和lib库3.导出C接口4.c#调用c++动态库开始你的表演...①创建一个空白的解决方案,在解决方案中添加 Visual C++ , Win32 项目空白解决方案的创建:添加Visual C++ , Win32 项目这......_c#调用lib
文章浏览阅读4.6k次。苹方字体是苹果系统上的黑体,挺好看的。注重颜值的网站都会使用,例如知乎:font-family: -apple-system, BlinkMacSystemFont, Helvetica Neue, PingFang SC, Microsoft YaHei, Source Han Sans SC, Noto Sans CJK SC, W..._ubuntu pingfang
文章浏览阅读159次。表单表单概述表单标签表单域按钮控件demo表单标签表单标签基本语法结构<form action="处理数据程序的url地址“ method=”get|post“ name="表单名称”></form><!--action,当提交表单时,向何处发送表单中的数据,地址可以是相对地址也可以是绝对地址--><!--method将表单中的数据传送给服务器处理,get方式直接显示在url地址中,数据可以被缓存,且长度有限制;而post方式数据隐藏传输,_html表单的处理程序有那些
文章浏览阅读1.2k次。使用说明:开启Google的登陆二步验证(即Google Authenticator服务)后用户登陆时需要输入额外由手机客户端生成的一次性密码。实现Google Authenticator功能需要服务器端和客户端的支持。服务器端负责密钥的生成、验证一次性密码是否正确。客户端记录密钥后生成一次性密码。下载谷歌验证类库文件放到项目合适位置(我这边放在项目Vender下面)https://github.com/PHPGangsta/GoogleAuthenticatorPHP代码示例://引入谷_php otp 验证器
文章浏览阅读4.3k次,点赞5次,收藏11次。matplotlib.plot画图横坐标混乱及间隔处理_matplotlib更改横轴间距
文章浏览阅读2.2k次。①Storage driver 处理各镜像层及容器层的处理细节,实现了多层数据的堆叠,为用户 提供了多层数据合并后的统一视图②所有 Storage driver 都使用可堆叠图像层和写时复制(CoW)策略③docker info 命令可查看当系统上的 storage driver主要用于测试目的,不建议用于生成环境。_docker 保存容器
文章浏览阅读834次,点赞27次,收藏13次。网络拓扑结构是指计算机网络中各组件(如计算机、服务器、打印机、路由器、交换机等设备)及其连接线路在物理布局或逻辑构型上的排列形式。这种布局不仅描述了设备间的实际物理连接方式,也决定了数据在网络中流动的路径和方式。不同的网络拓扑结构影响着网络的性能、可靠性、可扩展性及管理维护的难易程度。_网络拓扑csdn
文章浏览阅读1.8k次,点赞5次,收藏8次。IOS系统Date的坑要创建一个指定时间的new Date对象时,通常的做法是:new Date("2020-09-21 11:11:00")这行代码在 PC 端和安卓端都是正常的,而在 iOS 端则会提示 Invalid Date 无效日期。在IOS年月日中间的横岗许换成斜杠,也就是new Date("2020/09/21 11:11:00")通常为了兼容IOS的这个坑,需要做一些额外的特殊处理,笔者在开发的时候经常会忘了兼容IOS系统。所以就想试着重写Date函数,一劳永逸,避免每次ne_date.prototype 将所有 ios
文章浏览阅读5.3k次。方法一:用PLSQL Developer工具。 1 在PLSQL Developer的sql window里输入select * from test for update; 2 按F8执行 3 打开锁, 再按一下加号. 鼠标点到第一列的列头,使全列成选中状态,然后粘贴,最后commit提交即可。(前提..._excel导入pl/sql
文章浏览阅读83次。Git常用命令速查手册1、初始化仓库git init2、将文件添加到仓库git add 文件名 # 将工作区的某个文件添加到暂存区 git add -u # 添加所有被tracked文件中被修改或删除的文件信息到暂存区,不处理untracked的文件git add -A # 添加所有被tracked文件中被修改或删除的文件信息到暂存区,包括untracked的文件...
文章浏览阅读202次。分享119个ASP.NET源码总有一个是你想要的_千博二手车源码v2023 build 1120
文章浏览阅读1.8k次。版权声明:转载请注明出处 http://blog.csdn.net/irean_lau。目录(?)[+]1、缺省构造函数。2、缺省拷贝构造函数。3、 缺省析构函数。4、缺省赋值运算符。5、缺省取址运算符。6、 缺省取址运算符 const。[cpp] view plain copy_空类默认产生哪些类成员函数