Detectron2-關鍵點模型輸出

-

 

[須注意Detectron2輸出資料和coco標註資料有差異]

模型輸出：pred_boxes、scores、pred_classes、pred_keypoints
此案例較常調用pred_boxes(判斷是否過於靠近ROI)和pred_keypoints(判斷是否有危險動作or溺水)

調用box

#提取bounding box
Box=outputs["instances"].pred_boxes
box=Box.tensor.cpu()
box=box.numpy()

根據COCO格式輸出邊界框格式為[左上x 位置，左上y 位置，寬度，高度]。
而Detectron2為pred_boxes：x0_min, y0_min, x0_max, y0_max], [.......],[xn_min, yn_min, xn_max, yn_max

調用keypoint

#提取keypoint
key = outputs["instances"].pred_keypoints.cpu()
Keypoints=key.data.numpy()

若畫面中僅一位人員，其keypoint輸出應為：

[[[1.4401215e+02 6.2059574e+01 3.1292382e-01]
  [1.5147527e+02 5.4588280e+01 1.9459458e-01]
  [1.3752248e+02 5.4588280e+01 2.7202889e-01]
  [1.6997083e+02 6.0760220e+01 5.2661333e-02]
  [1.2746349e+02 6.0435383e+01 7.3776595e-02]
  [1.6380565e+02 9.6817345e+01 4.2605755e-01]
  [1.2778798e+02 9.8766380e+01 3.7693325e-01]
  [1.7224222e+02 1.2897641e+02 4.3600988e-01]
  [1.1351069e+02 1.3060060e+02 6.1754507e-01]
  [1.7775845e+02 1.5821191e+02 4.6285039e-01]
  [9.4041672e+01 1.0688736e+02 5.8092594e-01]
  [1.5764046e+02 1.5723740e+02 2.9843822e-01]
  [1.3395316e+02 1.5788708e+02 3.0446079e-01]
  [1.5958736e+02 1.9102065e+02 3.1526136e-01]
  [1.3330418e+02 1.9199518e+02 3.5163110e-01]
  [1.5828943e+02 2.2577843e+02 3.1912750e-01]
  [1.3395316e+02 2.2642812e+02 3.2153082e-01]]

**無論畫面上是否呈現其他關節點，模型都會進行預測
根據coco格式單點輸出原應為：[x,y,k]
x 和 y 表示圖像中的像素位置。
v 表示可見性—— v=0：未標記（此時 x=y=0），v=1：標記但不可見，v=2：標記且可見

EX：229, 256, 2 表示在像素 x=229, y=256 處有一個關鍵點，2 表示它是一個可見的關鍵點

但detectron2有經過三個骨幹去預測，且增加偏移量0.5，所以輸出都不會是整數(!)
根據推算後的detectron2格式單點輸出原應為：[平均後x,平均後y,可信度]

可視化

用於圖片的可視化可參照實例分割的模型輸出
用於影片的可視化(目前尚未更改至同類別有同樣顏色，待補充)

from detectron2.utils.video_visualizer import VideoVisualizer
from detectron2.utils.visualizer import ColorMode, Visualizer, GenericMask

v = VideoVisualizer(MetadataCatalog.get(cfg.DATASETS.TRAIN[0]), ColorMode.IMAGE)
#先定義video可視化方法及顏色
.
.
.
frame = cv2.cvtColor(frame, cv2.COLOR_RGB2BGR)
visualization = v.draw_instance_predictions(frame, outputs["instances"].to("cpu"))
visualization = cv2.cvtColor(visualization.get_image(), cv2.COLOR_RGB2BGR)

留言

張貼留言

這個網誌中的熱門文章

Python-相關係數矩陣實作(python-correlation matrix )

-
圖片
相關係數被用來 用於度量兩個變數X和Y之間的相關 程度（線性相依），其值介於-1與1之間。在自然科學領域中，該係數廣泛用於度量兩個變數之間的線性相依程度。 再資料科學中，前處理步驟可先用來觀察參數間的關係，可幫助找到對目標參數影響較大的變數。 下面就用python實作係數矩陣視覺化。 import pandas as pd import matplotlib.pyplot as mp, seaborn #讀資料 xls_file = pd.ExcelFile('A.xlsx') df = xls_file.parse('sheet1') data=df print(df) #視覺化 df_corr = df.corr() seaborn.heatmap(df_corr, center=0, annot=True) mp.show() dataframe長這樣 相關係數矩陣
閱讀完整內容

ASP.NET-後端將值傳給javascript

-
這邊介紹兩個基礎但很常會用到的技巧。 首先要如後將後端的值傳給前端的javascript。 首先在前端(aspx)設一個HiddenField物件 <asp:HiddenField ID="hf_time" runat="server" /> 後端(aspx.cs)給值 hf_time.Value = "TEST"; 前端(aspx)javascript取值         <script type="text/javascript">             function getValue {                 var value = document.getElementById("<%=hf_time.ClientID%>").value;             }         </script> 再來是進階應用，按鈕點擊呼叫jquery的blockUI並且顯示特定值。 上個階段有的東西這邊都要另外再拉一個button的物件。 <asp:Button ID="btn_test" class="genbtn" runat="server" Text="測試" OnClick="btn_test_Click" OnClientClick="markpage1();" /> 可以看到在按下按鈕時前端會去呼叫markpage1()這個function，接下來就是在javascript寫這個function。         <script type="text/javascript" src="../js/jquery.blockUI.js"></script>         <script type="text/javascript"> ...
閱讀完整內容

ASP.NET-FileUpload上傳後自動觸發button click(FileUpload upload auto trigger button click)

-
在ASP.NET中FileUpload很常都需要配一個button，上傳檔案一個動作，上傳後還需點擊按鈕才能觸發後續的儲存等等功能。 這邊要實作上傳檔案後自動觸發後續功能，不用再多一步點擊按鈕。 前端: 當fileUpload的值不為空自動找到button做click動作     <script type="text/javascript">     function UploadFile(fileUpload) {         if (fileUpload.value != '') {             document.getElementById("<%=btn_upload.ClientID %>").click();         }     }     </script> 新增FileUpload跟button並把button隱藏 <asp:FileUpload ID="FileUpload1" runat="server" /> <asp:Button ID="btn_upload" runat="server" OnClick="btn_upload_Click" Style="display: none" /> 後端: using System.IO; //新增屬性當onchange時觸發javascript function protected void Page_Load(object sender, EventArgs e) {       FileUpload1.Attributes["onchange"] = "UploadFile(this)";        } //完成自動觸發button click protected void btn_upload_Click(object sender, EventArgs e)...
閱讀完整內容