金融、财务和保险等行业中的RAG应用系统，针对PDF和图片中的表格进行识别，具有非常重要的实际意义。在这些业务场景中，表格数据通常包含大量结构化信息，例如财务报表、资产负债表、保险理赔单、投资组合明细、信贷记录等。这些表格承载着企业运营、风险评估和决策制定等核心数据，因此对其进行准确、高效的识别和抽取至关重要。通过将这些表格信息转化为结构化数据并存储到向量数据库中，RAG系统能够快速地检索和分析这些数据，为企业提供智能化的决策支持，帮助识别潜在的风险点、优化财务规划、提高业务处理效率，甚至在客户服务中也能提供个性化的建议和解决方案。

准确的表格识别不仅提升了工作效率，也大大降低了人工处理的错误率，对于大规模数据的自动化处理尤为重要。

表格识别模型服务搭建

表格识别服务模型可以根据处理图片的不同类型，灵活选择搭建单一的表格识别、文本识别模块，或者同时搭建包括版面分析、表格识别和文本识别的综合模型，以满足不同应用场景的需求。

表格训练集标注

不同的垂直行业可以根据通用识别模型的精度表现，评估是否需要针对本行业进行特定的训练集标注，以提升模型在行业应用中的识别准确性。

表格模型的训练

1、环境配置

1.1、运行硬件配置

• Ubuntu 20.08
• Memory: 256GB
• CUDA Version：12.1
• NVIDIA GeForce RTX 3090-24GB * 8

1.2、运行软件配置

• Python: 3.11
• Paddle版本：2.6.1，Docker安装
• PaddleOCR版本：release/2.8

1.3、训练数据准备

百度建议，表格垂类模型的微调至少需要2000张表格训练集，10%训练集的验证集。

在训练机器上，可以通过安装包含 Paddle 框架的 Docker 环境进行训练。为方便管理，训练数据集可以保存在宿主机上，并在创建 Docker 容器时通过挂载（mount）方式加载到容器内部。例如，可以创建一个中文数据集的专用目录 /paddle/pubtabnet，并将标注完成的表格数据集拷贝到该目录中。

/pubtabnet|-table
|- train.txt #为训练集标注文件
|- train #目录为训练集图片
    |- 1.png
    |- 2.png
    | ...
|- val.txt #为验证集标注文件
|- val #目录为验证集图片
    |- 1.png
    |- 2.png
    | ...

1.4、软件安装

Paddle安装

进入/paddle/pubtabnet目录并安装Docker

# 进入训练数据目录
cd /home/paddle/pubtabnet
# 创建并挂载训练数据集目录到paddle_docker_table
docker run -d --gpus all --name table_train -v $PWD:/paddle --network=host -it registry.baidubce.com/paddlepaddle/paddle:2.6.1-gpu-cuda12.0-cudnn8.9-trt8.6 tail -f /dev/null

PaddleOCR安装

在进入 “table_train” 环境后，您需要在 /home 目录下执行相关命令来下载 PaddleOCR 的源码，并完成后续操作。确保您已正确配置了环境依赖，并仔细检查执行的命令，以避免因环境问题或路径设置错误导致失败。

源码下载

git clone https://github.com/PaddlePaddle/PaddleOCR.git
# 切换到release/2.8分支
cd PaddleOCR
git checkout -b release/2.8 origin/release/2.8

创建训练集软链接至训练集目录

mkdir train_data
# 创建训练集软链接至数据集目录
ln -sf /paddle/pubtabnet /home/PaddleOCR/train_data

安装其他依赖

# 安装依赖
python3.10 -m pip install --upgrade pip -i https://mirrors.aliyun.com/pypi/simple/
pip3 install -r requirements.txt -i https://mirrors.aliyun.com/pypi/simple/

2、开始训练
表格识别模型训练采用飞浆当前最优PP-StructureV2智能文档分析系统相关模型。相比之前的版本，从算法改进的角度来看，该模型在 8 个关键方面实现了优化。

2.1、修改配置文件

如果你希望训练自己标注的数据集，需要修改配置文件SLANet_ch.yml文件，可配置参数说明如下。

epoch_num: 400  # 最大训练epoch数，中文垂类微调训练集至少400轮
log_smooth_window: 20 # log队列长度，每次打印输出队列里的中间值
print_batch_step: 20
save_model_dir: ./output/SLANet_ch
save_epoch_step: 200
eval_batch_step: [0, 500] # 每500个批次进行一次验证
cal_metric_during_train: True
# 飞浆中文预训练模型参数地址，微调必须配置该地址
pretrained_model: ./ch_ppstructure_mobile_v2.0_SLANet_train/best_accuracy.pdparams
lr:  # 1GPU\一批次32个\学习率0.00017,百度最佳实践配置
   learning_rate: 0.00017 # 该值必须根据GPU的数量和每个批次的大小有关

2.2、启动训练

公共参数

-c指定模型配置文件

–eval表示训练的同时进行评估。

单机单卡训练

cd /home/PaddleOCR
# 默认使用 0 号GPU
python3 tools/train.py -c configs/table/SLANet_ch.yml

单机多卡训练

cd /home/PaddleOCR
python3 -m paddle.distributed.launch --gpus '0,1'  tools/train.py -c configs/table/SLANet_ch.yml

注意： 训练时显存out memory，将配置文件中batch_size_per_card的值做调整。

2.3、训练日志

训练日志：PaddleOCR/log目录下workerlog.0文件。

[2024/11/12 08:45:40] ppocr INFO: epoch: [1/400], global_step: 20, lr: 0.000170, acc: 0.000000, loss: 0.153887, structure_loss: 0.068865, loc_loss: 0.104004, avg_reader_cost: 0.12837 s, avg_batch_cost: 2.05343 s, avg_samples: 8.0, ips: 3.87891 samples/s, eta: 14:0:34, max_mem_reserved: 4819 MB, max_mem_allocated: 4623 MB
[2024/11/12 08:45:44] ppocr INFO: epoch: [1/400], global_step: 40, lr: 0.000170, acc: 0.000000, loss: 0.085833, structure_loss: 0.027159, loc_loss: 0.025613, avg_reader_cost: 0.00019 s, avg_batch_cost: 1.20083 s, avg_samples: 8.0, ips: 7.26726 samples/s, eta: 13:58:27, max_mem_reserved: 4819 MB, max_mem_allocated: 4623 MB

log中自动打印如下信息：

epoch:当前迭代轮次，[1/400]表示共400轮，当前为第1轮。
global_step:当前批次20为步长
lr:当前学习率
acc:batch的准确率
loss:batch的平均损失
structure_loss:表格结构损失值
loc_loss:单元格坐标损失值
avg_reader_cost:batch数据处理耗时
avg_batch_cost:batch总耗时
avg_samples:batch的平均样本数
ips:每秒处理图片数量
eta:batch的剩余时间

3、模型的评估与预测

表格识别模型训练采用边训练边验证，在验证过程中，模型会自动保存在save_model_dir参数配置的目录下，名称为best_model，该模型为验证集上效果最好的模型。

3.1、模型的评估

参数说明
–gpus指定GPU卡号
-c：指定配置文件。
-o：配置可选参数。

# GPU 评估
cd /home/PaddleOCRpython3 -m paddle.distributed.launch --gpus '5' tools/eval.py -c configs/table/SLANet_ch.yml -o Global.checkpoints=output/SLANet_ch/best_accuracy

3.2、模型的预测
预测使用的配置文件必须与训练一致。
参数说明-c：指定配置文件。-o：配置可选参数，可选参数优先级高于配置文件，参数冲突时，优先使用命令行参数。-Global.checkpoints：训练模型最佳模型参数地址。

cd /home/PaddleOCR
# 预测表格结构
python3 tools/infer_table.py -c configs/table/SLANet_ch.yml -o Global.checkpoints=output/SLANet_ch/best_accuracy  Global.infer_img=ppstructure/docs/table/table.png

4. 模型导出与预测

4.1 模型导出

inference模型（paddle.jit.save保存的模型） 一般是模型训练，把模型结构和模型参数保存在文件中的固化模型，多用于预测部署场景。

表格识别模型转inference模型命令如下：

python3 tools/export_model.py -c configs/table/SLANet_ch.yml -o Global.checkpoints=./output/SLANet_ch/best_accuracy

4.2 模型推理

模型导出后，使用如下命令即可完成inference模型的预测

cd /home/PaddleOCR/ppstructure
python3 table/predict_structure.py \    
--table_model_dir=../output/SLANet_ch/infer \    
--table_char_dict_path=../ppocr/utils/dict/table_structure_dict_ch.txt \    
--image_dir=docs/table/table.png \    
--output=../output/table

预测效果：

展示一张金融类财务无线格报表的识别效果。

写在最后

表格模型的训练已经相当成熟，除了少数特殊嵌套表格或复杂表头结构需要额外处理外，大多数常见表格的识别精度已稳定在93%以上，能够满足大多数业务需求。

​

如何学习AI大模型？

作为一名热心肠的互联网老兵，我决定把宝贵的AI知识分享给大家。 至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

一、全套AGI大模型学习路线

AI大模型时代的学习之旅：从基础到前沿，掌握人工智能的核心技能！

二、640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

四、AI大模型商业化落地方案

作为普通人，入局大模型时代需要持续学习和实践，不断提高自己的技能和认知水平，同时也需要有责任感和伦理意识，为人工智能的健康发展贡献力量。