【二分类因变量机器学习】Python03-决策树机器学习模型(标准化代码)

# pip install pandas numpy matplotlib seaborn scikit-learn graphviz python-docx openpyxl

# -*- coding: utf-8 -*-
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns
from sklearn.model_selection import train_test_split
from sklearn.tree import DecisionTreeClassifier, plot_tree, export_text
from sklearn.metrics import accuracy_score, confusion_matrix, roc_curve, auc, classification_report
from sklearn.preprocessing import LabelEncoder
from sklearn import tree
import graphviz
import os
from docx import Document
from docx.shared import Inches, Pt
from docx.enum.text import WD_ALIGN_PARAGRAPH
import warnings
warnings.filterwarnings('ignore')

# 设置中文字体支持
plt.rcParams['font.sans-serif'] = ['SimHei']  # 用来正常显示中文标签
plt.rcParams['axes.unicode_minus'] = False  # 用来正常显示负号

# 创建结果文件夹
results_dir = os.path.expanduser("~/Desktop/Results模型-dt")
if not os.path.exists(results_dir):
    os.makedirs(results_dir)

# 1. 数据准备
# 读取Excel数据
data = pd.read_excel("~/Desktop/示例数据.xlsx")

# 数据预处理 - 将分类变量转换为数值
categorical_cols = ['指标8', '肥胖程度', '教育水平', '血型']
label_encoders = {}
for col in categorical_cols:
    le = LabelEncoder()
    data[col] = le.fit_transform(data[col].astype(str))
    label_encoders[col] = le

# 准备自变量和因变量
X = data.drop(['序号', '结局'], axis=1)
y = data['结局']

plt.title('决策树模型')
plt.tight_layout()
plt.savefig(os.path.join(results_dir, 'decision_tree.jpg'), dpi=300, bbox_inches='tight')
plt.savefig(os.path.join(results_dir, 'decision_tree.pdf'), bbox_inches='tight')
plt.close()

# 使用graphviz绘制更美观的决策树
dot_data = tree.export_graphviz(
    dt_model,
    out_file=None,
    feature_names=X.columns,
    class_names=['0', '1'],
    filled=True,
    rounded=True,
    special_characters=True
)
graph = graphviz.Source(dot_data)
graph.render(os.path.join(results_dir, 'decision_tree_graphviz'), format='pdf', cleanup=True)
graph.render(os.path.join(results_dir, 'decision_tree_graphviz'), format='png', cleanup=True)

# 4. 模型评估

# 5. 变量重要性分析
feature_importance = dt_model.feature_importances_
feature_importance_df = pd.DataFrame({
    'Variable': X.columns,
    'Importance': feature_importance
}).sort_values('Importance', ascending=False)

# 绘制变量重要性图
plt.figure(figsize=(12, 8))
plt.barh(range(len(feature_importance_df)), feature_importance_df['Importance'], align='center')
plt.yticks(range(len(feature_importance_df)), feature_importance_df['Variable'])
plt.xlabel('重要性')
plt.title('变量重要性')
plt.tight_layout()
plt.savefig(os.path.join(results_dir, 'variable_importance.jpg'), dpi=300, bbox_inches='tight')
plt.savefig(os.path.join(results_dir, 'variable_importance.pdf'), bbox_inches='tight')
plt.close()

# 绘制前10个最重要变量
top_10 = feature_importance_df.head(10)
plt.figure(figsize=(12, 6))
plt.barh(range(len(top_10)), top_10['Importance'], align='center')
plt.yticks(range(len(top_10)), top_10['Variable'])
plt.xlabel('重要性')
plt.title('前10个最重要变量')
plt.tight_layout()
plt.savefig(os.path.join(results_dir, 'variable_importance_top10.jpg'), dpi=300, bbox_inches='tight')
plt.savefig(os.path.join(results_dir, 'variable_importance_top10.pdf'), bbox_inches='tight')
plt.close()

# 6. 保存结果表格
# 保存预测结果
predictions = pd.DataFrame({
    'Actual': y_test.values,
    'Predicted_Class': y_pred,
    'Predicted_Probability': y_pred_prob
})
predictions.to_excel(os.path.join(results_dir, 'predictions.xlsx'), index=False)

# 保存变量重要性
feature_importance_df.to_excel(os.path.join(results_dir, 'variable_importance.xlsx'), index=False)

# 保存性能指标
performance_metrics = pd.DataFrame({
    'Metric': ['准确率', '灵敏度', '特异性', 'AUC'],
    'Value': [accuracy, sensitivity, specificity, roc_auc]
})
performance_metrics.to_excel(os.path.join(results_dir, 'performance_metrics.xlsx'), index=False)

# 保存混淆矩阵
conf_matrix_df = pd.DataFrame(conf_matrix,
                             index=['实际0', '实际1'],
                             columns=['预测0', '预测1'])
conf_matrix_df.to_excel(os.path.join(results_dir, 'confusion_matrix.xlsx'))

# 7. 生成Word报告
doc = Document()

# 添加标题
title = doc.add_heading('决策树模型分析报告', 0)
title.alignment = WD_ALIGN_PARAGRAPH.CENTER

doc.add_paragraph(f'生成日期: {pd.Timestamp.now().strftime("%Y-%m-%d")}')
doc.add_paragraph()

# 添加数据概览
doc.add_heading('数据概览', level=1)
doc.add_paragraph(f'总样本量: {len(data)}')
doc.add_paragraph(f'训练集样本量: {len(X_train)}')
doc.add_paragraph(f'测试集样本量: {len(X_test)}')
doc.add_paragraph(f'结局变量分布 - 0: {sum(y == 0)}, 1: {sum(y == 1)}')
doc.add_paragraph()

# 添加方法说明
doc.add_heading('分析方法', level=1)
doc.add_paragraph('本报告使用了决策树分类方法：')
doc.add_paragraph('- 使用所有变量构建决策树模型')
doc.add_paragraph('- 采用分层抽样划分训练集和测试集')
doc.add_paragraph('- 所有分类变量已转换为数值进行处理')
doc.add_paragraph()

# 添加模型参数
doc.add_heading('模型参数', level=1)
doc.add_paragraph(f'最大深度: {dt_model.get_params()["max_depth"]}')
doc.add_paragraph(f'最小分裂样本数: {dt_model.get_params()["min_samples_split"]}')
doc.add_paragraph(f'最小叶节点样本数: {dt_model.get_params()["min_samples_leaf"]}')
doc.add_paragraph(f'随机种子: {dt_model.get_params()["random_state"]}')
doc.add_paragraph()

# 添加模型性能
doc.add_heading('模型性能', level=1)
doc.add_paragraph(f'准确率: {accuracy:.4f}')
doc.add_paragraph(f'灵敏度: {sensitivity:.4f}')
doc.add_paragraph(f'特异性: {specificity:.4f}')
doc.add_paragraph(f'AUC: {roc_auc:.4f}')
doc.add_paragraph()

# 添加变量重要性说明
doc.add_heading('变量重要性', level=1)
doc.add_paragraph('基于决策树的特征重要性，前10个最重要变量排序如下：')

for i, (_, row) in enumerate(feature_importance_df.head(10).iterrows(), 1):
    doc.add_paragraph(f'{i}. {row["Variable"]} ({row["Importance"]:.4f})')

doc.add_paragraph()
doc.add_paragraph('完整变量重要性图表已保存至Results模型-dt文件夹。')

# 添加混淆矩阵
doc.add_heading('混淆矩阵', level=1)
table = doc.add_table(rows=3, cols=3)
table.style = 'Table Grid'

# 设置表头
hdr_cells = table.rows[0].cells
hdr_cells[0].text = ''
hdr_cells[1].text = '预测0'
hdr_cells[2].text = '预测1'

# 设置第一列
table.rows[1].cells[0].text = '实际0'
table.rows[2].cells[0].text = '实际1'

# 填充数据
table.rows[1].cells[1].text = str(tn)
table.rows[1].cells[2].text = str(fp)
table.rows[2].cells[1].text = str(fn)
table.rows[2].cells[2].text = str(tp)

doc.add_paragraph()

# 添加图片说明
doc.add_heading('模型可视化', level=1)
doc.add_paragraph('决策树结构图展示了模型的决策路径和规则：')
doc.add_picture(os.path.join(results_dir, 'decision_tree.jpg'), width=Inches(6))
doc.add_paragraph()

doc.add_paragraph('ROC曲线展示了模型在不同阈值下的性能表现：')
doc.add_picture(os.path.join(results_dir, 'roc_curve.jpg'), width=Inches(5))
doc.add_paragraph()

doc.add_paragraph('变量重要性图展示了各特征对预测结果的贡献程度：')
doc.add_picture(os.path.join(results_dir, 'variable_importance_top10.jpg'), width=Inches(5))
doc.add_paragraph()

doc.add_paragraph('所有可视化图表已保存至Results模型-dt文件夹。')

# 保存Word文档
doc.save(os.path.join(results_dir, 'decision_tree_analysis_report.docx'))

print("分析完成！所有结果已保存到Results模型-dt文件夹中，包括：")
print("- 决策树结构图 (JPG和PDF格式)")
print("- ROC曲线图 (JPG和PDF格式)")
print("- 变量重要性图 (JPG和PDF格式)")
print("- 预测结果表格 (Excel格式)")
print("- 变量重要性表格 (Excel格式)")
print("- 性能指标表格 (Excel格式)")
print("- 混淆矩阵表格 (Excel格式)")
print("- 完整分析报告 (Word格式)")