看到ragflow很感兴趣,现在也在研究这玩意,但是这东西太过笨重了,单机几乎是没法用的,所以跟D老师还有gemini讨论了下,尝试弄了个本机的简单检索版本,找到一些奇奇怪怪的本地能玩的小模型:
Hy-MT2-1.8B:这东西是腾讯出的新的,翻译模型,这个在本机超快,而且中英文翻译效果挺好的,俄语翻译也将就能看,1.8b翻译的效果看起来跟ds 3差不太多,大部分甚至不差,当然它还有7b和30b的,但是1.8b在本机能跑的飞起,好用.
MiniCPM5-1B:快,这东西真的非常快,如果单纯是用于总结,调命令,调用啥参数,非常好,但是编程啥的就别想了,没法玩,其实qwen2.5有很多专调的小模型也可以,但是感觉没有这个聪明,这东西真的是飞一样啊,1b能用,在4060上160t/s,在我五年前的老笔记本上能跑接近30t/s,已经非常强了,还是直接用lm studio跑的,没做啥参数调整优化,llama.cpp初始能到40t/s，而且上下文可以很长。
然后还有一些好东西:
Manticore Search:这东西非常快,而且部署相对简单,比Elasticsearch的需求要低,而且有mysql和http接口,功能也非常全,要啥有啥,全文检索非常好使,甚至有中文分词和空间检索,极其牛逼全面,我用这玩意代替了Nominatim和Pelias做地名地址库,这东西非常好使,导入也简单,做个poi表,然后把经纬度弄进去,搞个python脚本格式化一下输入数据弄进表里就可以做模糊查询,空间检索之类的功能了,当然,正经的做地名地址拆分poi实体的话还得自己弄,但是Nominatim和Pelias中文支持啊啥的也是一坨,部署困难,占用也大,输入数据更是麻烦,安装非常慢...所以我的建议是如果是自己的数据直接上这套,好使够用
MinerU :免费额度够用,本机部署非常吃力,输出的markdown拆成一段段的扔到manticore里去,然后做搜索,比ragflow自动切成臊子要好,看起来还是挺好用的.Docling 本地替代应该可以,我没试过,但是普通书籍应该没啥大问题,GLM-OCR估计也行,需要测试
TextSynth Server:这个刚搜到,cpu也能跑,但是不确定好不好使,先记录下
jieba:结巴分词还是好使的,
这个是我从思源笔记获得的灵感,其实我就需要一个检索,能查出来就行,思源这种做笔记挺好的,但是真的搜电子书还是太勉强了,rag只是把查出来的东西加工总结而已,而且经过实验,ragflow非常慢,导入慢,解析慢,查询慢,构建知识图谱啥的都慢的抠脚,查出来总结因为llm输出也慢...
RAGFlow这玩意,就是明着说,本地部署你没有几个好机器一边去玩泥巴去吧,个人甚至小公司不配用
我先折腾下看看,用AI试试弄出来看看能不能玩,塞进去点书看看检索效果
进展1：界面和搜索搞定了，速度很慢，结果是没有用manticore的jieba分词...ai还是不靠谱,但是直接用余弦相似度搜索结果其实还可以,就是比较慢,扔进去两本书大概2秒出结果,等待还是比较明显的
进展2:基本完成了,效果还挺不错.
测试结果:
现阶段本地ocr效果很牛逼了,GLMOcr 混元ocr,paddle vl 1.6效果都还不错,侧重不同
- GLMOCR比较通用,大部分通杀
- 混元的对表格好点,如果书页有翻转,效果不是特别好
- paddle的话也比较通杀,4bit量化对表格要差一点
然后是本地小模型,一定要写好提示词,不同提示词效果差距非常明显,提示词按照如何提问那种标准去设计,固定好输入输出格式,大部分时候没有问题,然后尽量别多轮对话,越多越傻,失败直接重来
