特徵詞選取概念與實作(2)

-
延續上一篇內容，接下來介紹DF

DF (Document Frequency)概念也是跟頻率相關， 其概念為字詞在所有文章中，總共在幾篇中有出現過，要注意是 否有做斷句，若有母體就變成句子而不是文章。實作用資料庫很容易就能算出來了，計算某 詞的DF只要從斷詞庫下where條件去看他在哪幾篇文章有出現過。
接著TF-IDF
TF-IDF (Term Frequency–Inverse Document Frequency)結合TF與DF的概念，若一個詞出現的頻率很高表示很重要，但若在每篇文章又常出 現，此詞的代表性可能就沒那麼強，所以權重IDF就是DF倒數取log，取乘積來表示一個詞 的值。
接著TF-ICF
概念類似TF-IDF，只是權重IDF改成ICF，變成此詞若在很多類別出現的話，就不太重要。 接下來介紹IG (Information Gain)當文章有分類的基礎下，IG能夠去計算某詞在此分類時的亂度值，以及不再此分類時的亂 度值，間接能夠看出某詞是不是能夠有代表性某分類文章，因此也能應用在選取特徵詞上， 其公式如圖。
Information Gain

留言

張貼留言

這個網誌中的熱門文章

Python-相關係數矩陣實作(python-correlation matrix )

-
圖片
相關係數被用來 用於度量兩個變數X和Y之間的相關 程度（線性相依），其值介於-1與1之間。在自然科學領域中，該係數廣泛用於度量兩個變數之間的線性相依程度。 再資料科學中，前處理步驟可先用來觀察參數間的關係，可幫助找到對目標參數影響較大的變數。 下面就用python實作係數矩陣視覺化。 import pandas as pd import matplotlib.pyplot as mp, seaborn #讀資料 xls_file = pd.ExcelFile('A.xlsx') df = xls_file.parse('sheet1') data=df print(df) #視覺化 df_corr = df.corr() seaborn.heatmap(df_corr, center=0, annot=True) mp.show() dataframe長這樣 相關係數矩陣
閱讀完整內容

ASP.NET-後端將值傳給javascript

-
這邊介紹兩個基礎但很常會用到的技巧。 首先要如後將後端的值傳給前端的javascript。 首先在前端(aspx)設一個HiddenField物件 <asp:HiddenField ID="hf_time" runat="server" /> 後端(aspx.cs)給值 hf_time.Value = "TEST"; 前端(aspx)javascript取值         <script type="text/javascript">             function getValue {                 var value = document.getElementById("<%=hf_time.ClientID%>").value;             }         </script> 再來是進階應用，按鈕點擊呼叫jquery的blockUI並且顯示特定值。 上個階段有的東西這邊都要另外再拉一個button的物件。 <asp:Button ID="btn_test" class="genbtn" runat="server" Text="測試" OnClick="btn_test_Click" OnClientClick="markpage1();" /> 可以看到在按下按鈕時前端會去呼叫markpage1()這個function，接下來就是在javascript寫這個function。         <script type="text/javascript" src="../js/jquery.blockUI.js"></script>         <script type="text/javascript"> ...
閱讀完整內容

ASP.NET-FileUpload上傳後自動觸發button click(FileUpload upload auto trigger button click)

-
在ASP.NET中FileUpload很常都需要配一個button，上傳檔案一個動作，上傳後還需點擊按鈕才能觸發後續的儲存等等功能。 這邊要實作上傳檔案後自動觸發後續功能，不用再多一步點擊按鈕。 前端: 當fileUpload的值不為空自動找到button做click動作     <script type="text/javascript">     function UploadFile(fileUpload) {         if (fileUpload.value != '') {             document.getElementById("<%=btn_upload.ClientID %>").click();         }     }     </script> 新增FileUpload跟button並把button隱藏 <asp:FileUpload ID="FileUpload1" runat="server" /> <asp:Button ID="btn_upload" runat="server" OnClick="btn_upload_Click" Style="display: none" /> 後端: using System.IO; //新增屬性當onchange時觸發javascript function protected void Page_Load(object sender, EventArgs e) {       FileUpload1.Attributes["onchange"] = "UploadFile(this)";        } //完成自動觸發button click protected void btn_upload_Click(object sender, EventArgs e)...
閱讀完整內容