本文主要记录使用docker打包python项目并部署到lambda的流程以及遇到的一些问题。
配置:Windows11,WSL2,Ubuntu20.04,VScode
在requirements.txt中写入需要安装的库:
-f https://download.pytorch.org/whl/torch_stable.html
open3d==0.13.0
torch==1.12.0+cpu
# open3d-python
设置dockerfile:
FROM public.ecr.aws/lambda/python:3.7
ADD ./ ${
LAMBDA_TASK_ROOT}/
RUN mkdir -p /tmp/classifier
RUN python3 -m pip install -r requirements.txt -i https://pypi.mirrors.ustc.edu.cn/simple/
RUN python3 -m pip install open3d-python -i https://pypi.mirrors.ustc.edu.cn/simple/
CMD [ "handler.predict"]
1、从 aws lambda 上 pull 下 python 3.7 的基础镜像
2、当前目录的内容ADD到容器中的 /var/task 目录下
3、在容器的tmp文件夹中新建文件夹(代码运行时需要在临时文件夹中生成临时文件)
4、安装依赖库
5、启动运行 handler.predict
由于open3d-python在requirements.txt一起安装出现了报错,所以将open3d-python放入dockerfile单独安装。
打开WSL:Ubuntu-20.04终端,启动docker:
sudo service docker start
切换路径到待打包的文件夹:
cd 文件夹路径
创建docker镜像
docker build -t test:0.1.0 .
注意:最后有个 .
运行创建好的镜像,创建一个新容器
docker run -p 8888:8080 test:0.1.0
docker run -p 8888:8080 --gpus all test:0.1.0 # gpu
参考内容:Deploying PyTorch Model as a Serverless Service
handler.py
代码如下:
def predict(event, context):
try:
print(event)
input_file_path = "/var/task/input/xxxxx"
preds = test.main(input_file_path)
print("prediction:",preds)
context.log(preds)
logging.info(f"prediction: {
preds}")
return {
"statusCode": 200,
"headers": {
'Content-Type': 'application/json',
'Access-Control-Allow-Origin': '*',
"Access-Control-Allow-Credentials": True
},
"body": json.dumps({
"prediction": preds})
}
except Exception as e:
logging.error(e)
return {
"statusCode": 500,
"headers": {
'Content-Type': 'application/json',
'Access-Control-Allow-Origin': '*',
"Access-Control-Allow-Credentials": True
},
"body": json.dumps({
"error": repr(e)})
}
下载安装: Postman
下载安装注册之后,创建一个json文件,导入Postman,在容器运行时点击send,查看是否连接成功。
{
"info": {
"_postman_id": "xxxxx",
"name": "test",
"schema": "xxxxx"
},
"item": [
{
"name": "xxxxx",
"protocolProfileBehavior": {
"disableBodyPruning": true
},
"request": {
"method": "GET",
"header": [],
"body": {
"mode": "raw",
"raw": "{\"S3key\":\"test\"}",
"options": {
"raw": {
"language": "json"
}
}
},
"url": "xxxxx"
},
"response": []
}
]
}
问题1:前期开发时对应的版本为python:3.7.13,open3d:0.15.2,然而docker打包时使用的基础镜像是lambda/python:3.7,适配的open3d最高版本只有0.13.0,打包好之后直接报错。
解决1:首先尝试使用更高版本的基础镜像lambda/python:3.8,发现open3d最高版本仍然是0.13.0;然后尝试将代码运行环境的open3d降到0.13.0版本,发现有个别open3d函数不适配,将函数改为0.13.0版本,成功解决报错。
问题1:刚开始使用docker打包时,使用基础镜像为python3.7,打包完运行"import open3d"报错—ImportError: libGL.so.1: cannot open shared object file: No such file or directory,当时根据教程link解决了报错,但是这样每次打包都要来一遍,很麻烦。另外,当基础镜像使用lambda/python3.7时,上述教程并不能解决问题。
解决1:由于是"import open3d"时报错,可能是缺少open3d-python
pip install open3d-python -i https://pypi.mirrors.ustc.edu.cn/simple/
问题1:由于代码运行时需要生成一些临时文件,前期开发时临时文件放在运行代码文件夹子目录,但是最后部署到云平台时代码运行的路径无法写入文件
解决1:将临时文件的保存路径改到临时文件夹 /tmp 或子目录下
问题1:前期开发时代码都正常运行,但是使用lambda/python3.7基础镜像打包之后,连接到Postman出现了编码问题
解决1:分析是某个文件有编码冲突,新建一个文件夹,把项目文件一个一个移动到新文件夹进行测试,发现是权重文件和运行代码放在一起导致的编码报错,所以新建一个文件夹单独放权重文件,成功解决报错。
sudo service docker start #(启动docker)
docker images -a #(查看所有镜像)
docker build -t test:0.1.0 . #(创建镜像)
docker rmi xxxxx #(删除镜像)
docker ps -a #(查看所有容器)
#(新建容器并启动)
docker run -it test:0.1.0 /bin/bash
docker run -p 8888:8080 test:0.1.0
docker run -p 8888:8080 --gpus all test:0.1.0 # gpu
docker start xxxxx #(启动容器)
docker restart xxxxx #(重启容器)
docker stop xxxxx #(停止当前容器)
docker kill xxxxx #(强制停止当前容器)
#(进入容器)
docker attach xxxxx
docker exec -it xxxxx /bin/bash
docker commit xxxxx test:0.1.1 #(将容器制作成镜像)
使用docker打包python项目并部署aws lambda时遇到了很多坑,特此记录。
参考:
[1] docker制作python项目镜像
[2] Deploying PyTorch Model as a Serverless Service
[3] ImportError: libGL.so.1: cannot open shared object file: No such file or directory——docker容器内问题报错
[4] Docker常用命令,命令大全
文章浏览阅读645次。这个肯定是末尾的IDAT了,因为IDAT必须要满了才会开始一下个IDAT,这个明显就是末尾的IDAT了。,对应下面的create_head()代码。,对应下面的create_tail()代码。不要考虑爆破,我已经试了一下,太多情况了。题目来源:UNCTF。_攻防世界困难模式攻略图文
文章浏览阅读2.9k次,点赞3次,收藏10次。偶尔会用到,记录、分享。1. 数据库导出1.1 切换到dmdba用户su - dmdba1.2 进入达梦数据库安装路径的bin目录,执行导库操作 导出语句:./dexp cwy_init/[email protected]:5236 file=cwy_init.dmp log=cwy_init_exp.log 注释: cwy_init/init_123..._达梦数据库导入导出
文章浏览阅读1.9k次。1. 在官网上下载KindEditor文件,可以删掉不需要要到的jsp,asp,asp.net和php文件夹。接着把文件夹放到项目文件目录下。2. 修改html文件,在页面引入js文件:<script type="text/javascript" src="./kindeditor/kindeditor-all.js"></script><script type="text/javascript" src="./kindeditor/lang/zh-CN.js"_kindeditor.js
文章浏览阅读2.3k次,点赞6次,收藏14次。SPI的详情简介不必赘述。假设我们通过SPI发送0xAA,我们的数据线就会变为10101010,通过修改不同的内容,即可修改SPI中0和1的持续时间。比如0xF0即为前半周期为高电平,后半周期为低电平的状态。在SPI的通信模式中,CPHA配置会影响该实验,下图展示了不同采样位置的SPI时序图[1]。CPOL = 0,CPHA = 1:CLK空闲状态 = 低电平,数据在下降沿采样,并在上升沿移出CPOL = 0,CPHA = 0:CLK空闲状态 = 低电平,数据在上升沿采样,并在下降沿移出。_stm32g431cbu6
文章浏览阅读1.2k次,点赞2次,收藏8次。数据链路层习题自测问题1.数据链路(即逻辑链路)与链路(即物理链路)有何区别?“电路接通了”与”数据链路接通了”的区别何在?2.数据链路层中的链路控制包括哪些功能?试讨论数据链路层做成可靠的链路层有哪些优点和缺点。3.网络适配器的作用是什么?网络适配器工作在哪一层?4.数据链路层的三个基本问题(帧定界、透明传输和差错检测)为什么都必须加以解决?5.如果在数据链路层不进行帧定界,会发生什么问题?6.PPP协议的主要特点是什么?为什么PPP不使用帧的编号?PPP适用于什么情况?为什么PPP协议不_接收方收到链路层数据后,使用crc检验后,余数为0,说明链路层的传输时可靠传输
文章浏览阅读587次。软件测试工程师移民加拿大 无证移民,未受过软件工程师的教育(第1部分) (Undocumented Immigrant With No Education to Software Engineer(Part 1))Before I start, I want you to please bear with me on the way I write, I have very little gen...
文章浏览阅读304次。Thinkpad X250笔记本电脑,装的是FreeBSD,进入BIOS修改虚拟化配置(其后可能是误设置了安全开机),保存退出后系统无法启动,显示:secure boot failed ,把自己惊出一身冷汗,因为这台笔记本刚好还没开始做备份.....根据错误提示,到bios里面去找相关配置,在Security里面找到了Secure Boot选项,发现果然被设置为Enabled,将其修改为Disabled ,再开机,终于正常启动了。_安装完系统提示secureboot failure
文章浏览阅读10w+次,点赞93次,收藏352次。1、用strtok函数进行字符串分割原型: char *strtok(char *str, const char *delim);功能:分解字符串为一组字符串。参数说明:str为要分解的字符串,delim为分隔符字符串。返回值:从str开头开始的一个个被分割的串。当没有被分割的串时则返回NULL。其它:strtok函数线程不安全,可以使用strtok_r替代。示例://借助strtok实现split#include <string.h>#include <stdio.h&_c++ 字符串分割
文章浏览阅读2.3k次。1 .高斯日记 大数学家高斯有个好习惯:无论如何都要记日记。他的日记有个与众不同的地方,他从不注明年月日,而是用一个整数代替,比如:4210后来人们知道,那个整数就是日期,它表示那一天是高斯出生后的第几天。这或许也是个好习惯,它时时刻刻提醒着主人:日子又过去一天,还有多少时光可以用于浪费呢?高斯出生于:1777年4月30日。在高斯发现的一个重要定理的日记_2013年第四届c a组蓝桥杯省赛真题解答
文章浏览阅读851次,点赞17次,收藏22次。摘要:本文利用供需算法对核极限学习机(KELM)进行优化,并用于分类。
文章浏览阅读1.1k次。一、系统弱密码登录1、在kali上执行命令行telnet 192.168.26.1292、Login和password都输入msfadmin3、登录成功,进入系统4、测试如下:二、MySQL弱密码登录:1、在kali上执行mysql –h 192.168.26.129 –u root2、登录成功,进入MySQL系统3、测试效果:三、PostgreSQL弱密码登录1、在Kali上执行psql -h 192.168.26.129 –U post..._metasploitable2怎么进入
文章浏览阅读257次。本文将为初学者提供Python学习的详细指南,从Python的历史、基础语法和数据类型到面向对象编程、模块和库的使用。通过本文,您将能够掌握Python编程的核心概念,为今后的编程学习和实践打下坚实基础。_python人工智能开发从入门到精通pdf