Olasılıksal Yöntemler ile Türkçe Metinlerin Anlamsal Benzerliğinin Belirlenmesi

Özet

Text mining is theprocess to deriving useful information from unstructured text data. During thisprocess, text mining uses statistical and mathematical methods. Major textmining tasks include text categorization, text clustering, concept extraction,document summarization, semantic similarity and author identification. In this study,semantic similarity issues have been examined. Semantic similarity analysisaims to determine semantic similarity between texts. Probabilistic latentsemantic analysis and latent Dirichlet allocation are probabilistic methods todetermine semantic similarity between texts. In this study, semantic analysisusing probabilistic latent semantic analysis and latent Dirichlet allocationmethods is examined. Also, an application which is conducted to analyzesemantic similarity and classify Turkish textual data chosen from differentnews agencies is discussed. R statistical programming language and Matlab areused in the application. Metin madenciliğinde, yapısal olmayan metin verilerinden matematiksel veistatistiksel yöntemler ile anlamlı bilgiler çıkartmak amaçlanır. Metin sınıflama, kümeleme, görüş belirleme,özetleme, anlamsal benzerlik bulma ve yazar tanıma, başlıca metin madenciliğiçalışma alanlarıdır. Bu çalışmanın konusu olan anlamsal benzerlik analizi,metinler arasındaki anlamsal yakınlığı belirlemeye çalışır. Olasılıksal gizli anlam analizi ve gizliDirichlet ataması, metinler arasındaki anlamsal benzerliğin belirlenmesindekullanılan olasılıksal yöntemlerdir. Buçalışmada olasılıksal gizli anlam analizi ve gizli Dirichlet ataması ileanlamsal benzerlik konusu incelenmiş ve farklı haber ajanslarından seçilenTürkçe metinleri anlamsal benzerliklerine göre sınıflamak için yapılan uygulamatartışılmıştır. Uygulamada R istatistiksel programlama dili ve Matlab kullanılmıştır.