Git删除历史提交中的敏感数据

使用 git filter-repo 工具

1.1 确保安装了 Python 和 pip

python --version
pip --version

1.2 安装 git-filter-repo

使用 pip 安装 git-filter-repo

# 安装命令
pip install git-filter-repo
# 验证安装是否成功
git filter-repo --version

1.3 备份仓库 (非常重要)

操作会直接修改你的历史记录，建议在操作前备份

git clone --mirror <repository-url> backup-repo.git

1.4 直接删除敏感文件

git filter-repo --path config/secrets.yml --invert-paths

例如:

这个命令会从整个仓库的历史记录中移除 tj-promotion/src/main/resources/bootstrap.yml 文件
然后就可以正常的 add, commit, push 了

1.5 替换文件中的敏感内容

假设你有一个配置文件 application.properties，其中包含敏感数据 lu.data.password=3333，你希望将这个敏感数据替换成一个占位符 ${etc.lu.data.password}，你可以按照以下步骤操作：

1.5.1 创建替换规则文件

首先，创建一个替换规则文件，命名为 replace.txt，在其中定义你希望替换的内容。文件内容如下：

lu.data.password=3333==>lu.data.password=${etc.lu.data.password}

这个规则会将所有 lu.data.password: 3333 替换为 lu.data.password: ${etc.lu.data.password}。

1.5.2 使用 git filter-repo 执行替换操作

接下来，使用 git filter-repo 执行替换操作：

git filter-repo --replace-text replace.txt

这个命令会扫描仓库历史中的所有提交，并在 bootstrap.yml 中将所有 lu.data.password: 3333 替换为 lu.data.password: ${etc.lu.data.password}。

1.5.3 仅替换特定文件中的内容

如果你只希望替换 bootstrap.yml 文件中的敏感数据，可以通过 --path 选项来限制替换操作，只作用于该文件。例如：

git filter-repo --path bootstrap.yml --replace-text replace.txt

这样，只有 bootstrap.yml 中的 lu.data.password: 3333 会被替换，其他文件不受影响。

1.5.4 验证操作

完成操作后，你可以检查仓库历史记录，确保敏感数据已经被成功替换。使用以下命令查看文件内容：

git log -p -- path/to/bootstrap.yml

通过 git log -p 查看修改历史，确保敏感数据被替换为期望的内容。