网站制作西安企业网站制作简单网页制作模板代码

网站制作西安企业网站制作,简单网页制作模板代码,建设个人网站的策划书,博客系统 wordpress立个flag#xff0c;这是未来一段时间打算做的Python教程#xff0c;敬请关注。1 数据及应用领域我的程序中给出数据data.xlsx#xff08;代码及数据见文末#xff09;#xff0c;10 列特征值#xff0c;1 个目标值#xff0c;适用于各行各业回归预测算法的需求#xf…立个flag这是未来一段时间打算做的Python教程敬请关注。1 数据及应用领域我的程序中给出数据data.xlsx代码及数据见文末10 列特征值1 个目标值适用于各行各业回归预测算法的需求其中出图及数据自动保存在当前目录设置的训练集与预测集的比例为 80%20%。一、地球科学与环境科学遥感反演利用多源遥感数据预测水体深度、土壤湿度、植被指数、叶面积指数等。气象与气候研究预测降水量、气温、风速、风向等连续气象变量。水文与水资源管理河流流量、地下水位、径流量预测。环境污染监测空气质量指数、PM2.5/PM10浓度、重金属污染水平预测。地质与矿业预测矿区地表沉降、地裂缝发展趋势或矿产储量评估。二、生物学与医学生态学预测物种分布密度、群落生物量或生态环境因子变化。公共卫生基于环境、生活方式或基因组数据预测疾病风险或血液生化指标。医学影像分析预测器官或病灶体积、组织属性、功能指标。三、工程与物理科学材料科学预测材料性能如强度、硬度、导热性、弹性模量土木与结构工程预测建筑物或桥梁的应力、位移、寿命周期。控制系统与信号处理连续控制变量预测、信号功率或系统状态预测。四、经济与社会科学经济预测股价、GDP、通货膨胀率、消费指数预测。市场分析销售额、客户需求、产品价格预测。社会行为人口增长、流动性、社会指标预测。五、数据科学与机器学习方向时间序列预测股票价格、气象指标、传感器数据。多变量因果建模分析各特征对连续目标变量的影响。特征重要性解释结合SHAP、LIME等方法揭示变量贡献。2 算法理论基础NGBoostNatural Gradient Boosting它让树模型具备了“概率预测”能力让模型能同时给出预测值和预测的不确定性。 一、NGBoost 是什么NGBoost 是一种基于梯度提升框架的概率建模算法。它与传统提升树做的事情不同传统提升树预测“一个值”NGBoost预测“一个分布”例如它不仅预测“风速是 5.3”还会预测“服从某个分布波动区间是多少”。因此它能告诉你预测的可信度不同结果的概率分布模型对当前样本的“不确定性”大小这是 NGBoost 最大的特点。 二、它的核心思想直接建模“分布”NGBoost 的训练目标不是让预测值尽可能接近真实值而是让整个分布尽可能接近真实分布。这让模型更能反映数据的随机性和波动性。它为每个样本学习一组“分布参数”例如均值、方差、形状参数等使得模型能够输出一个连续概率分布而不是光秃秃的一个点。这种方式特别适合有噪声的数据预测结果本身存在波动需要评估风险或不确定性的场景 三、核心概念自然梯度让训练更加稳定NGBoost 之所以叫“Natural Gradient Boosting”是因为它在模型更新时使用了自然梯度Natural Gradient。自然梯度的作用可以用一句通俗的话总结“让参数更新方向更符合概率空间的几何结构使学习过程更稳、更快、不容易震荡。这让 NGBoost 在训练过程中表现更平滑也更容易收敛到好的概率分布。 四、仍然保留了树模型的优点尽管 NGBoost 输出的是分布而不是数值但它仍保留了传统提升树的许多优点能处理非线性对特征分布要求低支持混合类型特征能捕捉复杂关系易用、易解释因此它既有树模型的表达能力又多了一层“概率层面”的输出。 五、NGBoost 能带来什么价值在需要评估预测不确定性的任务中NGBoost 非常有价值。例如预测未来趋势时需要估计置信区间风险管理需要知道“最坏情况”概率带噪声的科学数据需要定量不确定性工程应用需要稳定、可解释的概率输出与只给“点预测”的模型相比NGBoost 给决策者更多、更可靠的信息。3 SHAP理论基础 一、SHAP 是什么一句话概括“SHAP 是一套用“合作博弈论”思维解释模型的方法用来回答每个特征到底对预测结果贡献了多少如果你想知道哪些特征最重要每个特征是“推高”还是“压低”预测不同样本吸收特征影响的方向是否一致模型是怎么得出这个数的那 SHAP 就是最好的答案。 二、为什么要 SHAP传统特征重要性有什么问题很多人都用过 XGBoost、Random Forest 的 “特征重要性”但这些方法有明显缺陷❌ 1. 只能告诉你“重要”不能告诉你“怎么重要”例如 某参数重要但它是推高风速还是降低风速不知道。❌ 2. 不能解释“单一样本”模型给某一个点预测为 3.2 m/s到底是由 NDVI 推上去的还是由降水拉下来的也不知道。❌ 3. 依赖模型结构不通用不同模型指标不同难对齐。SHAP 完美解决了这些痛点。 三、SHAP 的核心思想特征是“一起干活的队友”想象一个团队比赛每个队员特征都可能对团队成绩有贡献但是不同的队伍组合贡献可能不一样那一个队员的“真实贡献”该怎么算SHAP 的思想就是“让特征像“队员”一样参加所有组合队伍再统计每个特征平均能让模型表现提高多少。这就得到每个特征的贡献值Shapley value。它是一个“公平分配功劳”的方案。 四、SHAP 优秀的地方在哪里✔ 1. 公平性强SHAP 的分配方式满足一系列“公平原则”谁都没贡献 → 得分为 0特征越能独立提升模型效果 → 得分越大同样作用的特征贡献相同这是其他方法做不到的。✔ 2. 能画非常直观的可视化本程序SHAP带的图包括这些图都是发论文神器。论文价值可解释性直接提升一档SCI 论文里 reviewer 最爱问“模型的物理解释是什么”“为什么这个特征如此重要”“模型是不是只是黑盒”你用 SHAP一张 beeswarm plot 就能回答所有问题。✔ 3. 模型无关、模型无偏见无论你是XGBoostCatBoostLightGBMRandom ForestGradient BoostingNGBoost决策树SHAP 都能解释。4 其他图示 一、特征值相关性热图特征值相关性热图用于展示各特征之间的相关强弱通过颜色深浅体现正负相关关系帮助快速识别冗余特征、强相关特征及可能影响模型稳定性的变量为后续特征选择和建模提供参考。 二、散点密度图散点密度图通过颜色或亮度反映点的聚集程度用于展示大量样本的分布特征。相比普通散点图它能更直观地呈现高密度区域、异常点及整体趋势常用于回归分析与模型评估。以下为训练集和测试集出图效果。 三、贝叶斯搜索参数优化算法及示意图 1. 先构建一个“参数-效果”的概率模型贝叶斯优化会根据每一次调参的表现持续更新一份“这个参数组合大概率能获得更好效果”的认知。这份认知由一个代理模型承担通常是高斯过程或树结构模型。它不像网格搜索那样盲目而是先学、再试。 2. 通过“探索”与“利用”平衡选点贝叶斯优化每次选新的参数时都会权衡探索去试试没探索过的区域可能藏着宝贝利用去当前最可能效果最好的区域稳扎稳打 这种带策略的试验方式让调参过程既高效又不容易错过最优解。 3. 不断用真实结果修正判断每试一个参数组合代理模型就会重新更新“信念”并重新预测哪些区域值得继续尝试。调参越往后模型越“聪明”搜索路径越精确。这就像一个不断学习经验的调参工程师越调越准。 4. 收敛快适用于高成本模型因为每一次试验都很有价值贝叶斯优化通常只需几十次实验就能找到非常优秀的超参数组合。这对训练成本高的模型XGBoost、LightGBM、CatBoost、深度学习尤其友好。 5. 程序能画非常直观的可视化这幅图展示了超参数之间的相互作用及其对模型性能的影响包括单参数敏感性曲线与双参数组合的响应面可用于分析最优参数区域与模型对不同超参数的敏感程度。该图展示贝叶斯优化过程中各超参数的重要性对模型误差影响最大的为 n_estimators 和 learning_rate其次为 max_depth而 subsample 与 reg_lambda 贡献较小用于判断调参优先级。 四、随机搜索参数优化算法及示意图 1、随机搜索是什么一句话概括“随机搜索就是在超参数空间里不断“抽样试验”从而找到表现最好的参数组合。不同于按顺序走格子的调参方式随机搜索会在整个参数空间中“自由跳跃”每次从可能区域里随机挑选出一个参数组合用最直接的方式评估模型的表现。 2、它的核心思路其实很聪明虽然名字叫“随机”但它背后的逻辑却非常高效。✔ 1. 更广的覆盖范围每次抽取的点都可能落在搜索空间的不同区域让模型在有限的预算里探索更多潜在好参数。✔ 2. 支持多种采样策略你可以让 learning_rate 以对数分布抽取、让 n_estimators 偏向更大值这让随机搜索能更贴近真实优化需求。✔ 3. 每一次试验都独立有效不依赖复杂的历史记录适用于快速尝试、快速验证的场景。换句话说它简单但“简单得很有效”。 3、为什么它在实际调参中被广泛使用在许多模型中超参数空间往往非常大比如XGBoost 的树深、学习率、子采样比例神经网络的学习率、层数、节点数CatBoost、LightGBM 的几十种可调参数随机搜索能在这些复杂空间里迅速落点—— 不需要把所有组合都跑一遍也不需要构建额外的代理模型只需要不断抽样并测试结果。尤其在遥感反演、深度学习任务中这种轻量但高覆盖的方式往往能快速找到一个令人满意的初步最优解。 4、它适合什么场景简单总结几个典型应用模型初调快速找到可行参数范围大搜索空间超参数众多、组合巨大时训练成本高希望用少量试验找到较好解模型表现敏感需要探索更大范围避免局部最优这也是为什么随机搜索常被当作调参的起步策略先探索再进一步细化。 5. 程序能画非常直观的可视化该图为超参数的成对散点矩阵图展示不同超参数之间的分布特征与潜在关系对角线上为各参数的概率密度分布可用于分析参数空间结构与抽样多样性。该图展示超参数与模型误差的相关性重要性排名不同柱状高度反映各参数对 RMSE 的影响强弱其中 reg_alpha、max_depth 和 learning_rate 贡献最高有助于确定调参重点方向。 五、网格搜索参数优化算法及示意图 1、网格搜索是什么一句话概括“网格搜索就是把所有设定好的超参数组合排成一个“网格”逐个尝试通过评估结果找到表现最佳的那一组参数。就像在一个二维或多维坐标空间里把所有候选参数都排列出来然后把每个点都跑一遍最终选出模型表现最优的位置。 2、它的核心原则全面、稳定、逐点验证网格搜索的理念非常直观先定义每个参数可能的取值范围再把这些取值组合成一个完整网格然后对每个组合进行模型训练与验证最后选择最优结果对应的参数这是一种系统化、无遗漏的搜索方式。它不会遗漏也不会偏向它用最直接的方式告诉你 哪个参数组合最适合你的模型。 3、为什么网格搜索常被用作调参基础流程网格搜索的价值主要体现在几个方面✔ 1. 结构清晰、可控性强你可以完全决定参数候选集调参过程完全透明。✔ 2. 适用于小范围、精细化的参数探索特别适合探索学习率、树深、正则项等关键参数的小步长变化。✔ 3. 方便结合交叉验证与 Cross-Validation 结合后能够获得稳定、可靠的参数评估结果。✔ 4. 结果可复现、可追踪每个组合都被尝试过调参过程完整记录适合科研工作。 4、典型应用场景网格搜索广泛应用于XGBoost / LightGBM / CatBoost的关键参数精调SVM、随机森林、岭回归等模型的标准调参小规模搜索空间的系统验证科研论文中要求严谨、可复现的实验设计在你的任务里网格搜索非常适合用于关键参数的局部精调确保模型在最佳点附近充分探索。 5. 程序能画非常直观的可视化该图展示 GridSearchCV 调参过程中各超参数与 RMSE 的相关性重要性其中 learning_rate、reg_alpha 和 n_estimators 影响最明显可用于识别关键参数并指导后续调参方向。5 代码包含具体内容一览并将训练集和测试集的精度评估指标保存到 metrics. Mat 矩阵中。共两行第一行代表训练集的第二行代表测试集的共 7 个精度评估指标分别代表 R, R2, ME, MAE, MAPE, RMSE 以及样本数量。保存的regression_result.mat数据中分别保存了名字为Y_train、y_pred_train、y_test、y_pred_test的矩阵向量。同样的针对大家各自的数据训练出的模型结构也保存在model.json中方便再一次调用。调用的程序我在程序中注释了如下# 加载模型 # model.load_model(model.json)主程序如下其中从1-10每一步都有详细的注释要获取完整程序请转下文代码获取# # 主程序 # def main(): print( 1. 读取数据 ) data pd.read_excel(data.xlsx) X data.iloc[:, :10].values y data.iloc[:, 10].values feature_names list(data.columns[:10]) print( 2. 划分训练与测试 ) X_train, X_test, y_train, y_test train_test_split( X, y, test_size0.2, random_state42 ) print( 3. 归一化 ) scaler_X MinMaxScaler() scaler_y MinMaxScaler() X_train_norm scaler_X.fit_transform(X_train) X_test_norm scaler_X.transform(X_test) y_train_norm scaler_y.fit_transform(y_train.reshape(-1, 1)).ravel() print( 4. 模型训练 ) model train_model(X_train_norm, y_train_norm) print( 5. 预测反归一化到原始尺度 ) y_pred_train_norm model.predict(X_train_norm) y_pred_test_norm model.predict(X_test_norm) y_pred_train scaler_y.inverse_transform( y_pred_train_norm.reshape(-1, 1) ).ravel() y_pred_test scaler_y.inverse_transform( y_pred_test_norm.reshape(-1, 1) ).ravel() print( 6. 模型评估 ) metrics_train evaluate_model(y_train, y_pred_train) metrics_test evaluate_model(y_test, y_pred_test) print(\n训练集评估指标:) for k, v in metrics_train.items(): print(f {k}: {v:.4f} if isinstance(v, float) else f {k}: {v}) print(\n测试集评估指标:) for k, v in metrics_test.items(): print(f {k}: {v:.4f} if isinstance(v, float) else f {k}: {v}) print( 7. 保存结果到 MAT 文件 ) result_dict { y_train: y_train.astype(float), y_pred_train: y_pred_train.astype(float), y_test: y_test.astype(float), y_pred_test: y_pred_test.astype(float), } savemat(regression_result.mat, result_dict) print(已保存 regression_result.mat) # 按指标顺序排列 metrics_matrix np.array([ [metrics_train[R], metrics_test[R]], [metrics_train[R2], metrics_test[R2]], [metrics_train[ME], metrics_test[ME]], [metrics_train[MAE], metrics_test[MAE]], [metrics_train[MAPE], metrics_test[MAPE]], [metrics_train[RMSE], metrics_test[RMSE]], [metrics_train[样本数], metrics_test[样本数]] ], dtypefloat) savemat(metrics.mat, {metrics: metrics_matrix}) print(已保存 metrics.mat矩阵大小 7×2) print( 8. SHAP 分析 ) X_combined np.vstack([X_train_norm, X_test_norm]) X_df pd.DataFrame(X_combined, columnsfeature_names) # shap_results shap_analysis(model, X_combined, feature_names) plot_shap_dependence(model, X_combined, feature_names, X_df) print( 9. 密度散点图 ) plot_density_scatter( y_test, y_pred_test, save_pathscatter_density_test.png ) plot_density_scatter( y_train, y_pred_train, save_pathscatter_density_train.png ) print( 10. 相关性热图 ) correlation_heatmap(data, feature_names) print( 完成) if __name__ __main__: main()6 代码获取Python | K折交叉验证的NGBoost及SHAP可解释性分析回归预测算法Python | K折交叉验证的贝叶斯搜索参数优化NGBoost及SHAP可解释性分析回归预测算法Python | K折交叉验证的随机搜索参数优化NGBoost及SHAP可解释性分析回归预测算法Python | K折交叉验证的网格搜索参数优化NGBoost及SHAP可解释性分析回归预测算法新手小白/python 初学者请先根据如下链接教程配置环境只需要根据我的教程即可不需要安装 Python 及 pycharm 等软件。如有其他问题可加微信沟通。Anaconda 安装教程保姆级超详解【附安装包环境玩转指南】https://mp.weixin.qq.com/s/uRI31yf-NjZTPY5rTXz4eA