Nghiên cứu xây dựng kho dữ liệu phục vụ hỏi đáp hiện thân đa phương thức

https://doi.org/10.31130/ud-jst.2025.23(9A).384

Tóm tắt: 77 | PDF: 53

##plugins.themes.academic_pro.article.main##

Author

  • Võ Trung Hùng
    Trường Đại học Sư phạm Kỹ thuật - Đại học Đà Nẵng, Việt Nam

Từ khóa:

Hỏi đáp hiện thân
Kho dữ liệu
Đa hương thức
Mô hình
AI hiện thân

Tóm tắt

Hỏi đáp hiện thân (Embodied Question Answering - EQA) là một nhiệm vụ AI mới. Trong đó, một tác nhân được sinh ra tại một vị trí ngẫu nhiên trong môi trường 3D và được đưa ra các câu hỏi tuỳ theo tình huống. Để trả lời câu hỏi, trước tiên, tác nhân phải điều hướng thông minh để khám phá môi trường, thu thập thông tin qua các góc nhìn khác nhau. Vì vậỵ, EQA đòi hỏi một loạt các kỹ năng AI như hiểu ngôn ngữ, nhận dạng trực quan, nhận thức chủ động, điều hướng theo mục tiêu, suy luận… Bài báo này trình bày kết quả nghiên cứu về EQA, đặc biệt tập trung vào việc xây dựng một tập dữ liệu đủ lớn để phục vụ các nghiên cứu về EQA. Tác giả đã thử nghiệm bộ dữ liệu trên một số mô hình và kết quả cho thấy bộ dữ liệu này cho kết quả tốt trên tất cả các mô hình thử nghiệm. Kết quả này là tiền đề quan trọng để tiếp tục triển khai các nghiên cứu liên quan đến EQA và EAI.

Tài liệu tham khảo

    [1] J. Duan, S. Yu, H. L. Tan, H. Zhu, and C. Tan, "A Survey of Embodied AI: From Simulators to Research Tasks”, in IEEE Transactions on Emerging Topics in Computational Intelligence, vol. 6, no. 2, pp. 230–244, 2022, https://doi.org/10.48550/arXiv.2103.04918.
    [2] A. Das, S. Datta, G. Gkioxari, S. Lee, D. Parikh, and D. Batra, "Embodied Question Answering”, in IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW), Salt Lake City, UT, USA, 2018, pp. 2135–2159, https://doi.org/10.48550/arXiv.1711.11543.
    [3] F. Ziliotto, T. Campari, L. Serafini, and L. Ballan, “TANGO: Training-free Embodied AI Agents for Open-world Tasks”, in Proceedings of the Computer Vision and Pattern Recognition Conference (CVPR), 2025, pp. 24603–24613, https://doi.org/10.48550/arXiv.2412.10402.
    [4] C. L. Fan, H. M. Sokolowski, R. S. Rosenbaum, and B. Levine, “What about ‘space’ is important for episodic memory?”, WIREs Cognitive Science, vol. 14, issue 3, Special Issue: Autobiographical Memory, pp. 1–21, 2023, https://doi.org/10.1002/wcs.1645.
    [5] J. Whittington, W. Dorrell, T. Behrens, S. Ganguli, and M. El-Gaby, “A tale of two algorithms: Structured slots explain prefrontal sequence memory and are unified with hippocampal cognitive maps”, Neuron, vol. 113, no. 2, pp. 321–333, 2025, https://doi.org/10.1016/j.neuron.2024.10.017.
    [6] J. Lu, D. Batra, D. Parikh, and S. Lee, “ViLBERT: Pretraining Task-Agnostic Visiolinguistic Representations for Vision-and-Language Tasks”, in Proceedings of the 33rd International Conference on Neural Information Processing Systems (NeurIPS), 2019, pp. 13–23, https://dl.acm.org/doi/10.5555/3454287.3454289.
    [7] Y. Hong, Q. Wu, Y. Qi, C. Rodriguez-Opazo, and S. Gould, "VLN-BERT: A Recurrent Vision-and-Language BERT for Navigation”, in Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2021, pp. 1643–1653, https://doi.org/10.1109/CVPR46437.2021.00169.
    [8] Z. Wang, M. Wu, Y. Cao, Y. Ma, M. Chen, and T. Tuytelaars, “Navigating the Nuances: A Fine-grained Evaluation of Vision-Language Navigation”, in Findings of the Association for Computational Linguistics: EMNLP 2024, Association for Computational Linguistics, pp. 4681–4704, 2024, https://doi.org/10.48550/arXiv.2409.17313.
    [9] Y. Chen et al., “Embodied Reference Understanding with Language and Gesture”, in Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), 2021, pp. 1385–1395, https://yixchen.github.io/YouRefIt.
    [10] B. Kim, J. Kim, D. Lee, and B. Jang, “Visual Question Answering: A Survey of Methods, Datasets, Evaluation, and Challenges”, ACM Computing Surveys, vol. 57, no. 10, pp. 1–35, 2025, https://doi.org/10.1145/3728635.
    [11] C. Gao, J. Chen, S. Liu, L. Wang, Q. Zhang, and Q. Wu, “Room-and-object Aware Knowledge Reasoning for Remote Embodied Referring Expression”, in Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2021, pp. 3064–3073, https://openaccess.thecvf.com/content/CVPR2021.
    [12] A. Dosovitskiy et al., “An Image is Worth 16×16 Words: Transformers for Image Recognition at Scale”, in Proceedings of the International Conference on Learning Representations (ICLR), 2021, https://arxiv.org/pdf/2010.11929/1000.
    [13] A. Radford et al., “Learning Transferable Visual Models from Natural Language Supervision”, in Proceedings of the 38th International Conference on Machine Learning (ICML), PMLR, vol. 139, pp. 8748–8763, 2021, https://proceedings.mlr.press/v139/radford21a.
    [14] S. Kim, J. Nam, and B. Ko, "ViT-Net: Interpretable Vision Transformers with Neural Tree Decoder”, in Proceedings of the International Conference on Machine Learning (ICML), PMLR, vol. 162, pp. 11162–11172, 2022, https://proceedings.mlr.press/v162/kim22g.html.
Xem thêm

##plugins.themes.academic_pro.article.sidebar##

Đã Xuất bản

Sep 30, 2025
Download
PDF
Cách trích dẫn
Hùng, V. T. “Nghiên cứu xây dựng Kho dữ liệu phục vụ hỏi đáp hiện thân đa phương thức”. Tạp Chí Khoa học Và Công nghệ - Đại học Đà Nẵng, vol 23, số p.h 9A, Tháng Chín 2025, tr 91-96, doi:10.31130/ud-jst.2025.23(9A).384.

##plugins.themes.academic_pro.article.details##