容错在项目中的应用

超时和重试

主要使用的 requests库,基于 requests.adapters中的HTTPAdapter 结合urllib3.util.retry中的Retry 实现基于状态码[502, 503, 504]的重试,可以设置重试次数total,退避重试规则backoff_factor。 代码如下:

_http = requests.Session()
retries = Retry(total=5, backoff_factor=0.1, status_forcelist=[502, 503, 504])
_http.mount('http://', HTTPAdapter(max_retries=retries))
_http.mount('https://', HTTPAdapter(max_retries=retries))

但是,还有一些异常其实也需要进行重试,例如,dingtalk的api 就会针对固定返回的结果做重试,例如dingtalk在返回限流时,就是以错误码的形式处理的。 这种情况,可以使用tenacity的 retry, retry_if_exception_type, wait_exponential, stop_after_attempt进行重试。

例如,请求超时的重试(基于Request 的 TIMEOUT 异常进行重试) 例如,将dingtalk的error code 重新抛出异常重试。

 @retry(retry=retry_if_exception_type(DingTalkNeedRetryException),
           stop=stop_after_attempt(3),
           wait=wait_exponential(multiplier=1, max=4),
           reraise=True)
def _request(self, method, url_or_endpoint, **kwargs):
        if not url_or_endpoint.startswith(('http://', 'https://')):
            api_base_url = kwargs.pop('api_base_url', self.API_BASE_URL)
            url = urljoin(api_base_url, url_or_endpoint)
        else:
            URL = url_or_endpoint
        ...

缓存一致性

先写数据库再清缓存, 读写频率

先清缓存,再写, – 再写入缓存(竞争的问题)

过期之前 或 再次清除之前,读到的都是过期的数据

处理access_token的过期的问题

access_token 存储在redis中,通过gettoken接口获取token信息和过期时间, 但是,会因为网络问题,存在临界条件,所以,当access_token异常时(33001, 40001, 420001, 40014)等状态码时,需要进行重试。

  1. 设置redis key 的过期时间要早于接口返回的过期时间,减少临界条件的发生,提前使其无效。

隔离容易出错的地方

调用其他模块的接口,或者第三方的api等,按照单一职责进行封装隔离。

聚合数据时,如果存在第三方接口调用,例如通知、获取第三方接口的数据,需要做隔离。 代码层面隔离: 采用单一职责原则,将该职责单独封装。 首先你要清楚调用的api/sdk 可能会抛出什么异常,对异常进行处理。 详细的日志,通过配置中心控制日志的级别。 代码中使用的地方:

  • 通知部分会统一做异常的处理,统一抛出一种类型的异常,通过message 展示消息。 使用该代码的地方,要处理对应的异常。
  • 生产消息逻辑。
    • 生产消息也会产生异常,消息的生产统一出入口。
    • 参数、权限的验证,统一验证逻辑,业务端只需要配置schema 和 适配的规则,实际的入参都是通过二层装饰器统一处理的。

邮箱发送文件流数据,yagmail 不直接支持流的方式发送附件。

如何支持流文件的发送? 对attachments中 url形式的附件,获取数据流。

   def get_stream_from_url(url):
        file_name = url.split('/')[-1]
        # file_postfix = file_name.split('.')[-1]
        try:
            r = requests.get(url)
        except Exception as e:
            error_logger.error(f"fetch url {url} failed.: {e}. exception:{traceback.format_exc()}")
        else:
            if r.status_code == 200:
                byte_obj = io.BytesIO(r.content)
                byte_obj.name = file_name
                user_logger.info(f"fetch url succeed {url}. {file_name}")
            elif r.status_code == 404:
                user_logger.info(f"url {url} not exist")
            else:
                user_logger.info(f"fetch url {url} failed state code: {r.status_code}.")
            return byte_obj

生成的链接只支持临时链接,如何让它永久有效?

链接id -> 通过web api 提供 查看了文档,不支持永久链接(阿里云的oss是通过,通过public 开放) 上传完文档 -> 生成了hash_key -> 根据hash_key 生成唯一id 怎么处理冲突? - 加salt 随机串 外部拿到的就是基于平台的api接口,针对api 接口限流

def generate_salt():
    ALPHABET = "0123456789abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ"
    chars = []
    for _ in range(16):
        chars.append(random.choice(ALPHABET))
    return ''.join(chars)

def generate_slug_id(hash_str):
    salt = generate_salt()
    return abs(mmh3.hash(hash_str + salt))

需求依赖关系

同步依赖,前置依赖
方法: mongodb 存储依赖数据 + 基于unionfind的检查

如何解决分享的链接过长的问题?

长链接生成短链接 
如何解决碰撞问题
mur3生成的数字为负数,如何处理?

设计模式的应用

  • 消息生产者单例模式/nacos 客户端单例模式
  • 观察者模式的应用
  • 继承/组合

mantis 假死问题解决

- 效率问题
    - 每次都是实时调用api,没有走缓存
- 没有做异常处理 - 导致定时器退出

颗粒度统计怎么做?

冗余存储

下钻统计怎么做?

部门/产品/项目 部门/产品 -> 树结构。 方法:构造部门树 -> 构造下钻指标 -> 递归生成结果树 针对大部门做特殊处理 完成对所有下钻指标的统一处理

单元测试?

去年一年我写的api 和 关键函数都添加了单元测试
基于pytest fixture 完成单元测试
api 测试:
    构造参数 ``` _QUERY_OBJ_LIST = [
({}, 'empty_query'),
({'demand_ids': [5329]}, 'demand_ids'),
({'demand_created_time_start': '2022-02-01 12:00:00'}, 'demand_created_time_start'),
({'project_level': ['A', 'B', 'C']}, 'project_level'),
({'sched_change_count_gt': 1, 'sched_change_count_lt': 5}, 'sched_change_count'),
({'product_ids': [43, 1381]}, 'product_ids'),
({'owner_org_ids': [1]}, 'owner_org_ids'),
({'submit_test_delay': ['ahead', 'normal']}, 'submit_test_delay'),
({'demand_type': ['技术需求']}, 'demand_type'),
({'total_duration_gt': 0, 'total_duration_lt': 0}, 'total_duration'),
({'dev_duration_gt': 0, 'dev_duration_lt': 0}, 'dev_duration'),
({'review_back_count_gt': 1, 'review_back_count_lt': 1}, 'review_back_count'),
({'demand_ids': [1311], 'submit_test_delay_reason': [150], 'owner_ids': [2079, 7198]}, 'compose_query_1'),
({'planned_submit_test_time_start': '2022-04-01 12:00:00'}, 'planned_submit_test_start_query'),
({'planned_submit_test_time_end': '2022-04-01 12:00:00'}, 'planned_submit_test_end_query'),
({'planned_submit_test_time_start': '2022-04-01 12:00:00', 'planned_submit_test_time_end': '2022-05-01 12:00:00'}, 'planned_submit_test_query'),

({'actual_submit_test_time_start': '2022-04-01 12:00:00'}, 'actual_submit_test_start_query'),
({'actual_submit_test_time_end': '2022-04-01 12:00:00'}, 'actual_submit_test_end_query'),
({'actual_submit_test_time_start': '2022-04-01 12:00:00', 'actual_submit_test_time_end': '2022-05-01 12:00:00'}, 'actual_submit_test_query'),
({'business_resource_ids': [666]}, 'business_resource_query')
]

@pytest.fixture(params=[item[0] for item in _QUERY_OBJ_LIST], ids=[item[1] for item in _QUERY_OBJ_LIST]) def query_demand_statistic_data(request): return request.param

@pytest.fixture(params=[‘dev_delivery_cycle’, ‘circulation_cycle’, ‘test_delivery_cycle’]) def cycle_payload(request): return request.param


### api 测试的只登录一次?
flask中提供了test_client, 可以通过

with app.test_client() as client: with app.app_context(): client.post(“http://fuxilocal.com/fuxi/user/login”, json={‘username’: user_name, ‘password’: pwd}, follow_redirects=True) yield client ```

构造数据

可以基于yield 实现数据的创建/清理