【Azure MLOps - 5】执行Azure DevOps CI pipeline

上两篇终于把CI pipeline建立完成,CI pipeline做的就是把资料科学家会在Azure Machine Learning (AML)执行的所有任务,改由agent执行。
CI pipeline建立文章:
【Azure MLOps - 3】使用Azure DevOps建立训练模型的CI pipeline(上)
【Azure MLOps - 4】使用Azure DevOps建立训练模型的CI pipeline(下)
本篇文章结构:

概念说明启动CI pipeline,并检视Azure DevOps【pipeline published artifact区域】有模型档案检查Azure Machine Learning workspace

1.概念说明

在之后建立CI与CD pipeline后,触发这条CI pipeline的条件会是「当专案的Azure DevOps Repo有新的commit时,自动触发」

不过本篇文章是想要确认,前两篇辛苦设置的CI pipeline是否可以顺利运作。上一篇的pipeline成果图如下,涵盖了:
(1)建立AML workspace任务
(2)在AML上新增compute cluster任务
(3)上传训练资料集到AML data assets任务
(4)训练模型任务
(5)注册模型任务
(6)下载模型任务

http://img2.58codes.com/2024/20154404l8xomTEcyI.png

所以本篇练习,会执行一次CI pipeline,确认Azure Machine Learninig workspace中,是否有对应的训练模型Job、模型也被注册。

2.启动CI pipeline

点选save&queue后,点选run:
http://img2.58codes.com/2024/20154404DvWWln9RCd.png

启动后,点选pipeline当中的agent job 1,可以即时观察agent正在执行每个任务的log,如果没有出错,任务的标示是绿色勾勾:
http://img2.58codes.com/2024/20154404AWxfgTbeZd.png

点选这个CI pipeline,选择这次的run ID (即使是同一个pipeline,每次跑也都会有一个编号),可以看到产出的published,这个地方就会是上一篇描述的【pipeline published artifact区域】:
http://img2.58codes.com/2024/20154404eaYvXHtDJY.png

点选published,就会来到【pipeline published artifact区域】,可以看到下载的模型档案和部署会需要的资料:
http://img2.58codes.com/2024/20154404a8okSZFs5k.png

3. 检查Azure Machine Learning workspace

CI pipeline跑完后,模型也发布到【pipeline published artifact区域】中,相对的在Azure ML上也会有每个任务的设定产出。

3-1 AML experiment

在AML worksapce,点选job,可以看到建立好的实验:insurance_classfication,created by栏位中显示:「Service Principal」,代表是由agent执行pipeline产出的实验。Job type是Command (透过Azure CLI执行az ml指令)。
(补充,created by栏位里,有其他实验显示「pipeline」指的是AML的pipeline所建立的Job。)
http://img2.58codes.com/2024/20154404mm9UfM2PON.png

3-2 AML model

在AML workspace,点选model,可以看到刚刚执行pipeline后,注册(register model)任务所产生模型。如果点选compute也可以看到用任务中Azure CLI指令建立的compute cluster:
http://img2.58codes.com/2024/20154404D6wMhIWcfO.png

在Azure ML workspace当中看到的所有结果,充分地演示了「资料科学家在AML worksapce做什么, CI pipeline agent就在AML worksapce做什么。」,CD pipeline也是一样的道理,在模型完成后,最终还是要部署成服务的,而资料科学家也会在Azure ML workspace执行「部署模型任务」。
http://img2.58codes.com/2024/20154404qA21oH3SrL.png

下一篇【Azure MLOps - 6】建立CD pipeline:把机器学习模型部署到staging area


关于作者: 网站小编

码农网专注IT技术教程资源分享平台,学习资源下载网站,58码农网包含计算机技术、网站程序源码下载、编程技术论坛、互联网资源下载等产品服务,提供原创、优质、完整内容的专业码农交流分享平台。

热门文章