php性能优化进阶不要在for循环中操作DB

 更新时间:2022-07-25 11:09:26   作者:佚名   我要评论(0)

目录前言场景说明解题思路核心代码示例性能对比反思总结前言
如何提高程序运行速度,减轻服务器压力是服务端开发必须面对的一个问题。
简单且

前言

如何提高程序运行速度,减轻服务器压力是服务端开发必须面对的一个问题。

简单且朴素的原则:不要在for循环中操作DB,包括关系型数据库和NoSql。

我们应该根据自己的业务场景,在for循环之前批量拿到数据,用尽量少的sql查询批量查到结果。 在for循环中进行数据的匹配组装。

上一篇文章 性能优化反思:不要在for循环中操作DB ,被推荐到首页也收到了大家的互动评论,再接再厉,进阶一版。

说明:继续上一篇文档的demo整理,不赘述重复代码了,建议大家先读上一篇内容。

场景说明

  • 我们允许用户选择职业,系统预制了一批职业标签;又开放了自定义职业标签的功能,不限制自定义标签的次数。允许用户编辑资料时选择2个职业标签。
  • 发现用户自定义的职业真的五花八门,随着业务增长,数量级越来越大;比如目前职业标签是2千个,以后可能有2万个,甚至20万个。
  • 这种情况下,我们上一篇提到的在for循环之前批量查询全量数据,在for循环中用自定义函数匹配,避免在for循环中操作DB的方式命中率太低了,造成了极大的浪费。
  • 比如:每个列表返回30个用户信息,每个用户选择了2个职业标签,最大标签数量是60;而我全量查到的职业标签数量是2千,命中率只有3%;如果职业标签达到2万个,命中率就只有0.3%了。

解题思路

首先,在for循环中不操作DB,这个大原则不变

上述问题的核心是命中率太低,就是全量查了很多用不到的数据

解决思路就是只批量查询命中的标签数据:

  • 取到30个用户在user表中保存的职业id
  • 30个用户的id去重后重组
  • 在职业表通过whereIn查询匹配的职业标签
  • 其他逻辑不变,替换的只是数据源:之前的数据源是全量数据,优化后的数据源是精准命中的数据。

思路清晰之后,开始coding

核心代码示例

为了行文紧凑,代码段中省略了和文章无关的代码,用竖着的三个.省略。

核心代码:抽取 renderUserInfo ,统一输出用户信息,这个函数在for循环中调用,获得数据源在for循环之前。

<?php
namespace App\Render;
.
.
.
class CommonRender extends BaseRender
{
    public static function renderUserinfo($data, $hobbyInfo = [],$professionInfo = [])
    {
        $hobbyInfo = !empty($hobbyInfo) ? $hobbyInfo : HobbyInfo::getAllInfo();
        //特殊处理,因为职业用户可以自定义 数字一直增长 不全量查数据;$professionInfo为空时不是批量查询,只查单条记录
        $professionInfo = !empty($professionInfo) ? $professionInfo : (isset($data['profession']) ? ProfessionInfo::getByIds($data['profession']) : []);
        if (!is_array($data)) {
            return [];
        }
        $ret = [
            .
            .
            .
//优化之前
//          'hobby' => !isset($data['hobby']) ? [] : HobbyInfo::getByIds($data['hobby']),
//          'profession' => !isset($data['profession']) ? [] : ProfessionInfo::getByIds($data['profession']),
//优化之后
            'hobby' => !isset($data['hobby']) ? [] : self::_renderHobby($data['hobby'], $hobbyInfo),
            'profession' => !isset($data['profession']) ? [] : self::_renderProfession($data['profession'], $professionInfo),
            .
            .
            .
        return $ret;
    }
}

isset() 判断,避免传入的数据不存在,提示数组越界。

我还整理了一篇 如何避免数组下标越界 ,有兴趣可以阅读一下。

protected static function _renderProfession($userProfession, $professionInfo)
{
    $ret = [];
    if ($userProfession) {
        $userProfessionIds = explode(',', $userProfession);
        foreach ($userProfessionIds as $key => $userProfessionId) {
            if (isset($professionInfo[$userProfessionId])) {
                $ret[$key] = $professionInfo[$userProfessionId];
            }
        }
    }
    return $ret;
}

调用 commonRender() 的代码,即展示数据源是怎么来的。

public static function getBatchUserIntro($userid, $userList)
{
    $retData = [];
    if (empty($userList)) {
        return $retData;
    }
    .
    .
    .
    $hobbyInfo = HobbyInfo::getAllInfo();
    //按需批量查职业,不全量查询职业
    $professionIds = array_column($batchUserInfo, 'profession');
    $professionIds = implode(',', $professionIds);
    $professionIds = array_unique(explode(',', $professionIds));
    $professionInfo = ProfessionInfo::batchGetByIds($professionIds);
    foreach ($batchUserInfo as $item) {
        $retData[$item['userid']] = CommonRender::renderUserinfo($item, $hobbyInfo, $professionInfo, $expectInfo);
    }
    return $retData;
}

封装的工具方法,通过id数组批量获得数据,做了特殊判断,兼容值为空的情况。

public static function batchGetByIds($ids = [])
{
    //兼容职业为空的情况
    foreach ($ids as $key => $id) {
        if (empty($id)) {
            unset($ids[$key]);
        }
    }
    if (empty($ids)) {
        return [];
    }
    return self::query()->selectRaw('id,name,pid')
        ->whereIn('id', $ids)
        ->get()
        ->keyBy('id')
        ->toArray();
}

核心代码就是上述4部分

性能对比

以此举例:每次列表返回30个用户信息,每个用户选择了2个职业标签,最大标签数量是60;

优化之前:全量查到的职业标签数量为2千,命中率只有3%;如果职业标签达到2万个,命中率就只有0.3%了。

优化之后:全量查到的职业标签数量为2千,命中率为100%;如果职业标签达到2万个,命中率仍然为100%。

反思总结

程序设计一定要结合业务场景,没有绝对正确的程序设计;

随着业务增长原本稳健的程序设计也可能遇到问题,技术人必须能和业务一起成长。

更多关于php性能优化for循环DB操作的资料请关注脚本之家其它相关文章!

您可能感兴趣的文章:
  • php性能优化之不要在for循环中操作DB
  • php之性能优化案例
  • 浅谈PHP性能优化之php.ini配置
  • PHP+swoole+linux实现系统监控和性能优化操作示例
  • PHP中你可能忽略的性能优化利器:生成器
  • PHP性能优化大全(php.ini)

相关文章

  • php性能优化进阶不要在for循环中操作DB

    php性能优化进阶不要在for循环中操作DB

    目录前言场景说明解题思路核心代码示例性能对比反思总结前言 如何提高程序运行速度,减轻服务器压力是服务端开发必须面对的一个问题。 简单且
    2022-07-25
  • PHP常见方法封装总结

    PHP常见方法封装总结

    目录1.get请求2.post请求3.随机字符串4.返回json数据5.数据过滤6.重定向7.获取客户端ip1.get请求 function get_curl($url, $timeout = 5) {
    2022-07-25
  • PHP实现生成二维码的示例代码

    PHP实现生成二维码的示例代码

    目录前言1、目前有2种类型的二维码2、用户扫描带场景值二维码时,可能推送以下两种事件3、创建二维码ticket4、临时二维码请求说明5、永久二维
    2022-07-25
  • PHP操作XML的教程详解

    PHP操作XML的教程详解

    php操作XML <?xml version="1.0" encoding="utf-8"?> <article> <item> <title size="1">title1</title> <content>cont
    2022-07-25
  • PHP实现抽奖系统的示例代码

    PHP实现抽奖系统的示例代码

    目录一、随机抽奖二、概率抽奖三、内定抽奖一、随机抽奖 随机抽奖当然是最公平的抽奖,就是当用户抽奖时随机返回抽奖结果 这种结果完全随机,
    2022-07-25
  • PHP一文带你搞懂游戏中的抽奖算法

    PHP一文带你搞懂游戏中的抽奖算法

    目录前言一、初始化奖品二、谢谢参与三、过滤抽奖、如充值条件四、重组概率五、进行抽奖六、过滤回调七、最终抽奖结果八、抽奖封装成类前言
    2022-07-25
  • PHP实现常见排序算法的示例代码

    PHP实现常见排序算法的示例代码

    目录1、冒泡排序2、选择排序3、快速排序4、插入排序补充1、冒泡排序 两两相比,每循环一轮就不用再比较最后一个元素了,因为最后一个元素已经
    2022-07-25
  • 利用PHP?POST临时文件机制实现任意文件上传的方法详解

    利用PHP?POST临时文件机制实现任意文件上传的方法详解

    目录原理如何获取临时文件名$_FILESphpinfoglob如何利用该文件组合请求延长临时文件存在时间参考原理 向 PHP 发送 Post 数据包,如果数据包中
    2022-07-25
  • PHP中数组处理函数的使用方法详解

    PHP中数组处理函数的使用方法详解

    目录一、键、值操作函数二、数组元素个数有关的函数三、使用回调函数处理数组的函数四、数组的排序函数五、拆分,合并,分解,结合数组六、获
    2022-07-25
  • 基于PHP实现邮件实时通知功能

    基于PHP实现邮件实时通知功能

    目录一、安装环境二、下载 三、 邮箱设置四、php发送邮件五、php框架中使用一、安装环境 PHPMailer 需要 PHP 的 sockets 扩展支持 另外登录
    2022-07-25

最新评论