自上篇文章：发布以来，已经陆续有几十位家长和学生致电或线上咨询。
针对大家的一些疑惑，小编公布一份来自西交利物浦大学大二学生的实习报告心得，里面比较详实的记录了该生三周以来的人工智能的学习内容以及切身感受。
— 实习报告全文 —
西交利物浦大学
数据科学与大数据技术专业
大二学生 /高羽剑
摘要
本文是我在南京云创大数据科技股份有限公司为期三周的实习总结。实习期间，我深入了解了大语言模型(LLM)的相关技术，并通过具体的项目实操提升了自己的实战能力和技术水平。第一周主要完成了大语言模型的思维导图绘制，系统地梳理了大语言模型的框架结构。第二周则是搭建虚拟机和配置Elasticsearch数据库，并进行数据爬取和导入,加深了对虚拟机和数据库技术的理解。第三周重点研究了大语言模型的量化方法，并成功压缩了qwen大模型。
通过这次实习，我不仅在技术层面有了明显提升，在思维方式和学习方法上也发生了转变。实习让我更深刻地认识到大语言模型的复杂性和前沿性，同时也培养了我的严谨细致的工作态度和解决问题的能力。此外,我还意识到技术创新的重要性，并决心继续保持谦逊和勤奋,为未来的学习和工作打好坚实基础。
关键词: 大语言模型 LLM 实习总结 技术提升 思维转变
Abstract
This article is a summary of my three-week internship at Nanjing Yunchuang Big Data Technology Co., Ltd. During my internship, I gained a deep understanding of the relevant technologies of Large Language Modeling (LLM) and improved my practical skills and technical level through specific project operations. In the first week, I mainly completed the mind map drawing of the big language model and systematically organized the framework structure of the big language model. The second week is dedicated to building virtual machines and configuring Elasticsearch databases, as well as data crawling and importing, which deepens our understanding of virtual machine and database technologies. In the third week, we focused on the quantification methods of large language models and successfully compressed the qwen large model.
Through this internship, not only has there been a significant improvement in technical skills, but there has also been a transformation in thinking and learning methods. The internship has given me a deeper understanding of the complexity and cutting-edge nature of large language models, while also cultivating my rigorous and meticulous work attitude and problem-solving ability. In addition, I also realize the importance of technological innovation and am determined to continue to maintain humility and diligence, laying a solid foundation for future learning and work.
Keywords: Big Language Model LLM Internship Summary Technology Enhancement Thinking Transformation
致谢
非常感谢刘鹏教授和技术总监沈大为经理在整个实习培训过程中给予的宝贵指导，支持和鼓励。刘教授对我整个Qwen大语言模型的量化提供了很大的帮助，及时纠正了我错误的研究方向，并给出专业性指导。沈总监在研究初期对于我大语言模型方面知识的学习和思维导图的构建，以及搭建虚拟机和配置Elasticsearch数据库提供了关键指导。此外，还要感谢阿东经理对于我大语言模型量化方面的帮助，还有人事部门杨朋经理对我整个实习过程的帮助。最后还要感谢云创大数据的所有经理和员工对于我实习工作的大力帮助和支持。
Acknowledgements
Thank you very much to Professor Liu Peng and Technical Director Manager Shen Dawei for their valuable guidance, support, and encouragement throughout the entire internship training process. Professor Liu provided great help in quantifying my entire Qwen language model, promptly correcting my erroneous research direction, and providing professional guidance. Director Shen provided key guidance in the early stages of my research on learning my knowledge of big language models and constructing mind maps, as well as building virtual machines and configuring Elasticsearch databases. In addition, I would like to thank Manager Adong for his help in quantifying my big language model, as well as Manager Yang Peng from the HR department for his assistance throughout my internship process. Finally, I would like to thank all the managers and employees of Yunchuang Big Data for their strong assistance and support in my internship work.
目 录
Abstract摘要
Acknowledgements致谢
章节 1 实习大致介绍
1.1 个人介绍
1.2 实习介绍
章节 2 第一周实习记录
2.1 绘制大语言模型LLM的思维导图
2.2 总结
章节 3 第二周实习记录
3.1 搭建虚拟机与Elasticsearch数据库
3.2 总结
章节 4 第三周实习记录
4.1 量化开源大语言模型与Ollama工具
4.2 总结
章节 5 实习总结和展望
5.1 实习总结
5.2 未来展望
章节 1 实习大致介绍
1.1 个人介绍
我是西交利物浦大学，数据科学与大数据技术专业的一名大二学生，非常有幸能在6.18-7.6期间，来到南京云创大数据科技股份有限公司进行了为期三周的实习。
1.2 实习介绍
这次实习在刘鹏教授和技术总监沈大为经理的带领下，我深入了解了大语言模型（LLM）的相关技术，绘制了大语言模型LLM的思维导图，搭建了虚拟机和配置Elasticsearch数据库进行模型构建，以及量化了Qwen大模型。这次实习是通过具体的项目实操展开，非常大的锻炼了自己的实战能力和技术水平，对我整个实业能力的提升产生了巨大的影响。
章节 2 第一周实习记录
2.1 绘制大语言模型LLM的思维导图
实习的第一周主要聚焦于大语言模型的理论框架及其应用。我完成了以下几个任务：
1. 绘制大语言模型的思维导图：通过查阅大量文献资料和公司内部文档，我梳理了大语言模型的框架结构。从基础的Transformer模型，到更为复杂的Claude3、GPT-4o等模型，我详细了解了这些模型的技术原理、优化算法以及应用场景，并通过思维导图形式对其进行了总结。这不仅帮助我建立了清晰的知识体系，还提高了我信息整合和视觉化表达的能力。
2. RAG与向量数据库的应用：在梳理大语言模型的同时，我还了解了Retrieval-Augmented Generation（RAG）和向量数据库在LLM中的应用。RAG是一种结合了信息检索与生成模型的方法，能够在提高生成内容质量的同时减少模型训练时的数据依赖。而向量数据库则在高维数据的存储和检索上表现出色，能够有效支持RAG的实现。
通过系统地学习了LLM，我采用GitMind绘制了一个完整的思维导图（如下，思维导图分享链接https://gitmind.cn/app/docs/mqwoplw3）：
思维导图从大语言模型基础，大语言模型架构，大语言模型的应用，大语言模型的挑战，检索增强生成器(RAGs)和大语言模型，大语言模型和向量数据库，以及在企业内部构建LLM这7个部分展开，对于大语言模型进行了系统完整地描述。
2.2 总结
通过第一周的学习，我对大语言模型有了更深刻的认知，也认识到RAG和向量数据库在提升大语言模型性能上的重要作用，为第二周第三周进行深入研究打下了良好的基础。
章节 3 第二周实习记录
3.1 搭建虚拟机与Elasticsearch数据库
实习的第二周是动手实践的阶段，我主要完成了以下任务：
1. 搭建虚拟机和配置Elasticsearch数据库：在技术总监沈大为经理的指导下，首先学习了如何搭建一台基于Linux系统的虚拟机。这一步包括虚拟机的安装、环境的配置以及网络设置。接着，我在虚拟机上安装并配置了Elasticsearch数据库。这是一个分布式搜索引擎，能够快速、高效地处理大规模数据的存储与检索。最终将搭建Linux虚拟机和配置Elasticsearch的过程遇到的心得和问题都整理在了word文档里。
2. 数据爬虫与数据导入：为了测试Elasticsearch的性能，我编写了数据爬虫程序，爬取了大量网页数据。随后，我将这些数据进行清洗、预处理，并导入到向量数据库中。这个过程让我熟悉了数据处理的整个流程，也深刻体会到了数据清洗在保证数据质量中的重要性。（下图展示了部分python爬虫代码）
3.2 总结
这一周的实践增强了我对虚拟机和数据库技术的理解和掌握，尤其是在真实项目环境中对这些技术的应用，使我对解决实际问题的能力有了显著提升，为第三周的进一步深入学习打下了基础。
章节 4 第三周实习记录
4.1 量化开源大语言模型与Ollama工具
第三周实习是整个实习的核心部分，为了能够在低配的国产机上部署LLM，我对于大语言模型的量化进行，并完成了以下工作：
1. 量化大语言模型：量化是指通过压缩大语言模型来减少其计算和存储资源的需求，使其能够在低配版电脑上运行。我研究了量化的各种方法，包括权重剪枝、低比特量化等，理解它们的工作原理以及应用场景。然后，我对现有的开源大语言模型进行了实际操作，从而掌握了量化过程中的技巧和注意事项。
2. 借助Ollama压缩qwen大模型：在具体实践中，我选择了qwen大模型作为量化对象，并使用了Ollama工具进行模型压缩。在阿东经理和刘教授的帮助下，我一步步完成了模型的训练、压缩和测试工作，最终成功在自己的笔记本电脑上运行了压缩后的qwen大模型。（下图展示了压缩qwen大模型的部分过程）
最终将整个量化过程写成了报告的形式：
4.2 总结
这一周的学习和实践，使我对大语言模型的量化技术有了全面的了解，也认识到工具的重要性和选择适合的工具对项目成功的关键作用。
章节 5 实习总结和展望
5.1 实习总结
回顾这三周的实习经历，收获不仅体现在技术层面，更体现在思维方式和学习方法的转变上。我认为，实习的重要意义在于将书本上的理论知识与实际项目结合，通过实践不断验证和完善自己的认知。
首先，这次南京云创大数据的实习之旅让我更加深刻地理解了大语言模型的复杂性和前沿性。我认识到，这些先进的技术不仅需要扎实的理论基础，更需要通过具体项目来不断尝试和探索。绘制大语言模型的思维导图让我系统地了解了模型的整体框架，而虚拟机和数据库的搭建与配置则让我体验到实际操作中的挑战和乐趣。
其次，在数据爬虫和数据处理的过程中，我感受到了数据在大数据时代的重要性。从爬取、清洗到导入，每一步都需要细致和耐心，稍有不慎就可能影响整个项目的质量。这培养了我严谨细致的工作态度和解决问题的能力。
最后，量化大语言模型的研究和实践让我意识到，技术在不断发展和进步，如何通过创新来提高效率、降低成本，是每个技术人员需要思考的问题。通过量化和压缩，我不仅掌握了新的技能，还认识到了自己在技术领域的成长空间。
这段实习经历不仅丰富了我的专业知识，提高了实战能力，更让我在技术探索的道路上变得更加勇敢和坚定。我深知，未来的学习和工作中仍有无数未知等待我去探索和征服。我将继续保持谦虚和勤奋，不断学习和钻研，为自己的职业道路打下坚实的基础。
5.2 未来展望
在LLM的发展层面上，经过这次实习的初步探索，我们验证了量化LLM，压缩它的精度，能够实现让一个复杂且需要高配置的LLM在低配置国产电脑上的运行的可能性。这个未来前景是广阔的，值得我们所有研究LLM的为之做出更大的努力和更有创造性的成果。
在我个人未来的发展层面上，我非常感谢南京云创大数据科技股份有限公司给了我这次宝贵的实习机会，让我对于未来的规划更加清晰明确，也了解到了社会上的岗位人才需求，为我后续有目的性的高效学习提供了指导。最后也希望南京云创大数据科技股份有限公司在未来的道路上越走越远，在行业中始终保持领先地位，为国内乃至全球的技术进步做出贡献！