容错在项目中的应用
容错在项目中的应用
超时和重试
主要使用的 requests库,基于 requests.adapters中的HTTPAdapter 结合urllib3.util.retry中的Retry 实现基于状态码[502, 503, 504]的重试,可以设置重试次数total,退避重试规则backoff_factor。
代码如下:
_http = requests.Session()
retries = Retry(total=5, backoff_factor=0.1, status_forcelist=[502, 503, 504])
_http.mount('http://', HTTPAdapter(max_retries=retries))
_http.mount('https://', HTTPAdapter(max_retries=retries))
但是,还有一些异常其实也需要进行重试,例如,dingtalk的api 就会针对固定返回的结果做重试,例如dingtalk在返回限流时,就是以错误码的形式处理的。
这种情况,可以使用tenacity的 retry, retry_if_exception_type, wait_exponential, stop_after_attempt进行重试。
例如,请求超时的重试(基于Request 的 TIMEOUT 异常进行重试) 例如,将dingtalk的error code 重新抛出异常重试。
@retry(retry=retry_if_exception_type(DingTalkNeedRetryException),
stop=stop_after_attempt(3),
wait=wait_exponential(multiplier=1, max=4),
reraise=True)
def _request(self, method, url_or_endpoint, **kwargs):
if not url_or_endpoint.startswith(('http://', 'https://')):
api_base_url = kwargs.pop('api_base_url', self.API_BASE_URL)
url = urljoin(api_base_url, url_or_endpoint)
else:
URL = url_or_endpoint
...
缓存一致性
先写数据库再清缓存, 读写频率
先清缓存,再写, – 再写入缓存(竞争的问题)
过期之前 或 再次清除之前,读到的都是过期的数据
处理access_token的过期的问题
access_token 存储在redis中,通过gettoken接口获取token信息和过期时间,
但是,会因为网络问题,存在临界条件,所以,当access_token异常时(33001, 40001, 420001, 40014)等状态码时,需要进行重试。
- 设置redis key 的过期时间要早于接口返回的过期时间,减少临界条件的发生,提前使其无效。
隔离容易出错的地方
调用其他模块的接口,或者第三方的api等,按照单一职责进行封装隔离。
聚合数据时,如果存在第三方接口调用,例如通知、获取第三方接口的数据,需要做隔离。 代码层面隔离: 采用单一职责原则,将该职责单独封装。 首先你要清楚调用的api/sdk 可能会抛出什么异常,对异常进行处理。 详细的日志,通过配置中心控制日志的级别。 代码中使用的地方:
- 通知部分会统一做异常的处理,统一抛出一种类型的异常,通过message 展示消息。 使用该代码的地方,要处理对应的异常。
- 生产消息逻辑。
- 生产消息也会产生异常,消息的生产统一出入口。
- 参数、权限的验证,统一验证逻辑,业务端只需要配置schema 和 适配的规则,实际的入参都是通过二层装饰器统一处理的。
邮箱发送文件流数据,yagmail 不直接支持流的方式发送附件。
如何支持流文件的发送?
对attachments中 url形式的附件,获取数据流。
def get_stream_from_url(url):
file_name = url.split('/')[-1]
# file_postfix = file_name.split('.')[-1]
try:
r = requests.get(url)
except Exception as e:
error_logger.error(f"fetch url {url} failed.: {e}. exception:{traceback.format_exc()}")
else:
if r.status_code == 200:
byte_obj = io.BytesIO(r.content)
byte_obj.name = file_name
user_logger.info(f"fetch url succeed {url}. {file_name}")
elif r.status_code == 404:
user_logger.info(f"url {url} not exist")
else:
user_logger.info(f"fetch url {url} failed state code: {r.status_code}.")
return byte_obj
生成的链接只支持临时链接,如何让它永久有效?
链接id -> 通过web api 提供 查看了文档,不支持永久链接(阿里云的oss是通过,通过public 开放) 上传完文档 -> 生成了hash_key -> 根据hash_key 生成唯一id 怎么处理冲突? - 加salt 随机串 外部拿到的就是基于平台的api接口,针对api 接口限流
def generate_salt():
ALPHABET = "0123456789abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ"
chars = []
for _ in range(16):
chars.append(random.choice(ALPHABET))
return ''.join(chars)
def generate_slug_id(hash_str):
salt = generate_salt()
return abs(mmh3.hash(hash_str + salt))
需求依赖关系
同步依赖,前置依赖
方法: mongodb 存储依赖数据 + 基于unionfind的检查
如何解决分享的链接过长的问题?
长链接生成短链接
如何解决碰撞问题
mur3生成的数字为负数,如何处理?
设计模式的应用
- 消息生产者单例模式/nacos 客户端单例模式
- 观察者模式的应用
- 继承/组合
mantis 假死问题解决
- 效率问题
- 每次都是实时调用api,没有走缓存
- 没有做异常处理 - 导致定时器退出
颗粒度统计怎么做?
冗余存储
下钻统计怎么做?
部门/产品/项目 部门/产品 -> 树结构。 方法:构造部门树 -> 构造下钻指标 -> 递归生成结果树 针对大部门做特殊处理 完成对所有下钻指标的统一处理
单元测试?
去年一年我写的api 和 关键函数都添加了单元测试
基于pytest fixture 完成单元测试
api 测试:
构造参数 ``` _QUERY_OBJ_LIST = [
({}, 'empty_query'),
({'demand_ids': [5329]}, 'demand_ids'),
({'demand_created_time_start': '2022-02-01 12:00:00'}, 'demand_created_time_start'),
({'project_level': ['A', 'B', 'C']}, 'project_level'),
({'sched_change_count_gt': 1, 'sched_change_count_lt': 5}, 'sched_change_count'),
({'product_ids': [43, 1381]}, 'product_ids'),
({'owner_org_ids': [1]}, 'owner_org_ids'),
({'submit_test_delay': ['ahead', 'normal']}, 'submit_test_delay'),
({'demand_type': ['技术需求']}, 'demand_type'),
({'total_duration_gt': 0, 'total_duration_lt': 0}, 'total_duration'),
({'dev_duration_gt': 0, 'dev_duration_lt': 0}, 'dev_duration'),
({'review_back_count_gt': 1, 'review_back_count_lt': 1}, 'review_back_count'),
({'demand_ids': [1311], 'submit_test_delay_reason': [150], 'owner_ids': [2079, 7198]}, 'compose_query_1'),
({'planned_submit_test_time_start': '2022-04-01 12:00:00'}, 'planned_submit_test_start_query'),
({'planned_submit_test_time_end': '2022-04-01 12:00:00'}, 'planned_submit_test_end_query'),
({'planned_submit_test_time_start': '2022-04-01 12:00:00', 'planned_submit_test_time_end': '2022-05-01 12:00:00'}, 'planned_submit_test_query'),
({'actual_submit_test_time_start': '2022-04-01 12:00:00'}, 'actual_submit_test_start_query'),
({'actual_submit_test_time_end': '2022-04-01 12:00:00'}, 'actual_submit_test_end_query'),
({'actual_submit_test_time_start': '2022-04-01 12:00:00', 'actual_submit_test_time_end': '2022-05-01 12:00:00'}, 'actual_submit_test_query'),
({'business_resource_ids': [666]}, 'business_resource_query')
]
@pytest.fixture(params=[item[0] for item in _QUERY_OBJ_LIST], ids=[item[1] for item in _QUERY_OBJ_LIST]) def query_demand_statistic_data(request): return request.param
@pytest.fixture(params=[‘dev_delivery_cycle’, ‘circulation_cycle’, ‘test_delivery_cycle’]) def cycle_payload(request): return request.param
### api 测试的只登录一次?
flask中提供了test_client, 可以通过
with app.test_client() as client: with app.app_context(): client.post(“http://fuxilocal.com/fuxi/user/login”, json={‘username’: user_name, ‘password’: pwd}, follow_redirects=True) yield client ```
构造数据
可以基于yield 实现数据的创建/清理