Một số phương pháp tính độ tương đồng văn bản dựa trên mô hình vec-tơ

##plugins.themes.academic_pro.article.main##

Author

  • Hồ Phan Hiếu*; Võ Trung Hùng; Nguyễn Thị Ngọc Anh

Từ khóa:

độ tương đồng
mô hình vec-tơ
so khớp văn bản
đo khoảng cách vec-tơ
phát hiện sao chép

Tóm tắt

Trong bài báo này chúng tôi trình bày các kết quả nghiên cứu liên quan đến việc biểu diễn văn bản theo mô hình vectơ, sau đó ứng dụng các độ đo để tính khoảng cách giữa hai vectơ để biết được độ tương đồng của hai văn bản và độ tương đồng của văn bản truy vấn so với tập văn bản mẫu. Phương pháp của chúng tôi đề xuất là chuyển các văn bản thành các vectơ. Mỗi phần tử của vectơ là trọng số tương ứng với từ chỉ mục xuất hiện trong văn bản. Việc so sánh mức độ giống nhau của hai văn bản được chuyển về tính khoảng cách giữa hai vectơ qua các độ đo Cosine, Jaccard, Matthanan, Levenshtein. Kết quả cho biết được mức độ giống giữa hai văn bản. Chúng tôi đã phát triển công cụ phục vụ so sánh hai văn bản hoặc một văn bản với một tập n văn bản cho trước. Kết quả đạt được phản ánh đúng mức độ giống nhau của văn bản so với giá trị ước lượng của tập văn bản mẫu.

Tài liệu tham khảo

    [1] Meuschke, N. and B. Gipp, “State-of-the-art in detecting academic plagiarism”, International Journal for Educational Integrity, 9(1), 2013, pp. 50-71.
    [2] Rubini, P. and M.S. Leela, “A survey on plagiarism detection in text mining”, International Journal of Research in Computer Applications and Robotics, Vol.1, Issue 9, 2013, pp. 117-119.
    [3] Huang, Anna, Similarity measures for text document clustering, in Proceedings of the sixth New Zealand Computer Science Research Student Conference (NZCSRSC2008), Christchurch, New Zealand, 2008, pp. 49-56.
    [4] G. Salton, A. Wong, C. S. Yang, “A vector space model for automatic indexing”, Commun. ACM, Vol. 18, Issue 11, 1975, pp. 613-620.
    [5] Singla, Nimisha, and Deepak Garg, “String matching algorithms and their applicability in various applications”, International Journal of Soft Computing and Engineering, I(6), 2012, pp. 218-222.
    [6] Hung Vo Trung, Ngoc Anh Nguyen, Hieu Ho Phan, Thi Dung Dang, “Comparison of the Documents Based On Vector Model: A Case Study of Vietnamese Documents”, American Journal of Engineering Research (AJER), 2017, pp. 251-256.
    [7] Reddy, G. Suresh, T. V. Rajinikanth, and A. Ananda Rao, “Clustering and Classification of Text Documents Using Improved Similarity Measure”, International Journal of Computer Science and Information Security, Vol. 14, 2016, pp. 39-54.
    [8] Gomaa, W.H. and A.A. Fahmy, “A survey of text similarity approaches”, International Journal of Computer Applications, 68(13), 2013, pp. 13-18.
    [9] Khatibsyarbini, M., et al., “A hybrid weight-based and string distances using particle swarm optimization for prioritizing test cases”, Journal of Theoretical & Applied Information Technology, Vol. 95, Issue 12, 2017, pp. 2723-2732.
    [10] Ledru, Yves, et al, “Prioritizing test cases with string distances”, Automated Software Engineering, Vol. 19, Issue 1, 2012, pp. 65-95.
    [11] Niwattanakul, Suphakit, et al, Using of Jaccard coefficient for keywords similarity, in Proceedings of the International MultiConference of Engineers and Computer Scientists, 2013.
    [12] Su, Zhan, et al., Plagiarism detection using the Levenshtein distance and Smith-Waterman algorithm, Innovative Computing Information and Control, 2008 (ICICIC'08), 3rd International Conference on IEEE, 2008.
Xem thêm

##plugins.themes.academic_pro.article.sidebar##

Đã Xuất bản

Nov 30, 2017
Download
PDF
Cách trích dẫn
Ho Phan Hieu ; Vo Trung Hung; Nguyen Thi Ngoc Anh. “Một số phương pháp tính độ tương đồng văn bản dựa Trên Mô hình Vec-Tơ”. Tạp Chí Khoa học Và Công nghệ - Đại học Đà Nẵng, vol 11, số p.h 120.1, Tháng Mười-Một 2017, tr 112-7, https://jst-ud.vn/jst-ud/article/view/3872.

##plugins.themes.academic_pro.article.details##