fix: sqlite database lock solved by setting max_conn to 1

Author: wantWhatBike

internal/config/database.go

@@ -25,10 +25,10 @@ func DefaultDatabaseConfig() *DatabaseConfig {
 	return &DatabaseConfig{
 		DataDir:           utils.DbDir,
 		DatabaseName:      "codebase_indexer.db",
-		MaxOpenConns:      5,
-		MaxIdleConns:      3,
-		ConnMaxLifetime:   15 * time.Minute,
-		ConnMaxIdleTime:   3 * time.Minute, // 连接空闲超过3分钟则关闭
+		MaxOpenConns:      1, // SQLite单写设计，强制单连接避免SQLITE_BUSY
+		MaxIdleConns:      1,
+		ConnMaxLifetime:   0, // 不限制，避免频繁重建连接
+		ConnMaxIdleTime:   0, // 不关闭空闲连接
 		EnableWAL:         true,
 		EnableForeignKeys: true,
 		BatchDeleteSize:   1000,                 // 默认每批删除1000条记录

internal/database/manager.go

@@ -59,7 +59,13 @@ func (m *SQLiteManager) Initialize() error {
 
 	// 打开数据库连接
 	// db, err := sql.Open("sqlite3", dbPath+"?_foreign_keys=on&_journal_mode=WAL")
-	db, err := sql.Open("sqlite", dbPath+"?_foreign_keys=on&_journal_mode=WAL&_busy_timeout=5000&_synchronous=NORMAL")
+	db, err := sql.Open("sqlite", dbPath+
+		"?_foreign_keys=on"+
+		"&_journal_mode=WAL"+
+		"&_busy_timeout=10000"+      // 增加到10秒，给足够等待时间
+		"&_synchronous=NORMAL"+
+		"&cache_size=-8000"+         // 8MB缓存，轻量级
+		"&_wal_autocheckpoint=100")  // 每100页checkpoint，减小WAL文件
 	if err != nil {
 		return err
 	}

internal/database/manager_test.go

@@ -219,9 +219,9 @@ func TestSQLiteManagerConcurrency(t *testing.T) {
 	dbConfig := &config.DatabaseConfig{
 		DataDir:         tempDir,
 		DatabaseName:    "test-concurrency.db",
-		MaxOpenConns:    10,
-		MaxIdleConns:    5,
-		ConnMaxLifetime: 30 * time.Minute,
+		MaxOpenConns:    1, // 使用单连接，符合生产环境配置
+		MaxIdleConns:    1,
+		ConnMaxLifetime: 0,
 	}
 
 	// 创建数据库管理器
@@ -257,9 +257,8 @@ func TestSQLiteManagerConcurrency(t *testing.T) {
 
 	t.Run("ConcurrentTransactions", func(t *testing.T) {
 		// 测试并发事务
-		// 注意：SQLite即使在WAL模式下，也只能有一个写事务同时提交
-		// 这个测试使用较少的并发数和更长的重试来验证重试机制
-		concurrentCount := 3 // 减少并发数从5到3
+		// 使用单连接模式（MaxOpenConns=1），事务会自动串行执行，不会出现SQLITE_BUSY
+		concurrentCount := 3
 		done := make(chan error, concurrentCount)
 
 		for i := 0; i < concurrentCount; i++ {
@@ -270,14 +269,14 @@ func TestSQLiteManagerConcurrency(t *testing.T) {
 					}
 				}()
 
-				// 添加重试逻辑处理SQLITE_BUSY错误
-				maxRetries := 50 // 增加重试次数
+				// 单连接模式下，事务会排队执行，增加重试次数和延迟以应对排队等待
+				maxRetries := 100 // 增加重试次数以应对排队
 				var lastErr error
 				for retry := 0; retry < maxRetries; retry++ {
 					tx, err := dbManager.BeginTransaction()
 					if err != nil {
 						lastErr = err
-						time.Sleep(time.Millisecond * 100) // 增加延迟
+						time.Sleep(time.Millisecond * 200) // 增加延迟以给其他事务完成的时间
 						continue
 					}
 
@@ -287,7 +286,7 @@ func TestSQLiteManagerConcurrency(t *testing.T) {
 					if err != nil {
 						tx.Rollback()
 						lastErr = err
-						time.Sleep(time.Millisecond * 100)
+						time.Sleep(time.Millisecond * 200)
 						continue
 					}
 
@@ -297,7 +296,7 @@ func TestSQLiteManagerConcurrency(t *testing.T) {
 						return
 					}
 					lastErr = err
-					time.Sleep(time.Millisecond * 100)
+					time.Sleep(time.Millisecond * 200)
 				}
 				done <- fmt.Errorf("failed after %d retries: %v", maxRetries, lastErr)
 			}(i)

internal/database/transaction.go

@@ -0,0 +1,52 @@
+package database
+
+import (
+	"database/sql"
+	"fmt"
+)
+
+// ExecuteInTransaction 在事务中执行函数，自动处理提交和回滚（遵循 DRY 原则）
+//
+// 此函数封装了常见的事务处理模式：
+// - 开启事务
+// - 执行业务逻辑
+// - 发生错误时回滚
+// - 成功时提交
+// - 处理 panic 确保回滚
+//
+// 示例:
+//
+//	err := ExecuteInTransaction(db, func(tx *sql.Tx) error {
+//	    _, err := tx.Exec("INSERT INTO ...")
+//	    return err
+//	})
+func ExecuteInTransaction(db DatabaseManager, fn func(tx *sql.Tx) error) error {
+	tx, err := db.BeginTransaction()
+	if err != nil {
+		return fmt.Errorf("failed to begin transaction: %w", err)
+	}
+
+	// 处理 panic 确保回滚
+	defer func() {
+		if p := recover(); p != nil {
+			tx.Rollback()
+			panic(p) // 重新抛出 panic
+		}
+	}()
+
+	// 执行业务逻辑
+	if err := fn(tx); err != nil {
+		// 回滚失败也要记录
+		if rbErr := tx.Rollback(); rbErr != nil {
+			return fmt.Errorf("transaction failed: %w, rollback error: %v", err, rbErr)
+		}
+		return err
+	}
+
+	// 提交事务
+	if err := tx.Commit(); err != nil {
+		return fmt.Errorf("failed to commit transaction: %w", err)
+	}
+
+	return nil
+}