Ask me anything
Ithy Logo
Sign in to save

全面指南：在 Android 上使用 Java 实现全屏翻译的浮动视窗程序

打造实时翻译工具，提升您的多语言交流体验

android float window translation

主要收获

  • 全面配置与权限管理：了解创建浮动窗口所需的所有权限及其配置方法。
  • 集成 OCR 与翻译 API：掌握如何结合光学字符识别技术与翻译服务，实现实时翻译。
  • 优化用户界面与用户体验：学习如何设计直观友好的界面，使翻译结果清晰易读。

功能描述

本指南将引导您如何在 Android 平台上，使用 Java 语言开发一个具有以下功能的浮动视窗程序：

  • 浮动窗口可拖动与全屏覆盖：程序能够在不同应用之间自由移动，且可覆盖整个屏幕而不干扰后台应用的操作。
  • 实时文本翻译：通过 OCR 技术提取屏幕上的文本，并使用翻译 API 实现实时翻译。
  • 用户友好的界面：翻译结果以清晰简洁的方式显示，用户可随时关闭或调整浮动窗口。

实现步骤

1. 配置必要权限

在开发前，首先需要在 AndroidManifest.xml 文件中配置以下权限，以确保应用具备创建浮动窗口和使用互联网的能力：

<manifest xmlns:android="http://schemas.android.com/apk/res/android"
    package="com.example.floatingtranslator">

    <uses-permission android:name="android.permission.SYSTEM_ALERT_WINDOW" />
    <uses-permission android:name="android.permission.INTERNET" />
    <uses-permission android:name="android.permission.FOREGROUND_SERVICE" />

    <application
        android:allowBackup="true"
        android:label="@string/app_name"
        android:theme="@style/Theme.AppCompat">
        <service android:name=".FloatingTranslationService"
            android:exported="false"/>
    </application>
</manifest>

这些权限的作用如下：

  • SYSTEM_ALERT_WINDOW：允许应用在其他应用之上显示浮动窗口。
  • INTERNET：允许应用访问互联网，以调用翻译 API。
  • FOREGROUND_SERVICE：允许应用在后台运行服务，确保浮动窗口的持续显示。

2. 创建浮动窗口服务类

接下来，需要创建一个服务类来管理浮动窗口的生命周期和交互逻辑。以下是 FloatingTranslationService.java 的示例代码：

package com.example.floatingtranslator;

import android.app.Service;
import android.content.Intent;
import android.graphics.PixelFormat;
import android.os.Build;
import android.os.IBinder;
import android.view.Gravity;
import android.view.LayoutInflater;
import android.view.MotionEvent;
import android.view.View;
import android.view.WindowManager;
import android.widget.Button;
import android.widget.TextView;

public class FloatingTranslationService extends Service {
    private WindowManager windowManager;
    private View floatingView;
    private WindowManager.LayoutParams params;

    @Override
    public void onCreate() {
        super.onCreate();

        // 初始化 WindowManager
        windowManager = (WindowManager) getSystemService(WINDOW_SERVICE);

        // 创建浮动视窗的布局
        floatingView = LayoutInflater.from(this).inflate(R.layout.floating_translation_layout, null);

        // 设置浮动视窗的参数
        params = new WindowManager.LayoutParams(
                WindowManager.LayoutParams.MATCH_PARENT,
                WindowManager.LayoutParams.WRAP_CONTENT,
                Build.VERSION.SDK_INT >= Build.VERSION_CODES.O ?
                        WindowManager.LayoutParams.TYPE_APPLICATION_OVERLAY :
                        WindowManager.LayoutParams.TYPE_PHONE,
                WindowManager.LayoutParams.FLAG_NOT_FOCUSABLE |
                        WindowManager.LayoutParams.FLAG_LAYOUT_NO_LIMITS,
                PixelFormat.TRANSLUCENT
        );

        // 设置浮动视窗的位置
        params.gravity = Gravity.TOP | Gravity.START;
        params.x = 0;
        params.y = 100;

        // 添加浮动视窗到屏幕
        windowManager.addView(floatingView, params);

        // 设置拖动逻辑
        floatingView.setOnTouchListener(new FloatingOnTouchListener());

        // 设置关闭按钮的监听器
        Button closeButton = floatingView.findViewById(R.id.closeButton);
        closeButton.setOnClickListener(v -> stopSelf());

        // TODO: 集成 OCR 和翻译功能
    }

    @Override
    public void onDestroy() {
        super.onDestroy();
        if (floatingView != null) {
            windowManager.removeView(floatingView);
        }
    }

    @Override
    public IBinder onBind(Intent intent) {
        return null;
    }

    private class FloatingOnTouchListener implements View.OnTouchListener {
        private int initialX;
        private int initialY;
        private float initialTouchX;
        private float initialTouchY;

        @Override
        public boolean onTouch(View v, MotionEvent event) {
            switch (event.getAction()) {
                case MotionEvent.ACTION_DOWN:
                    initialX = params.x;
                    initialY = params.y;
                    initialTouchX = event.getRawX();
                    initialTouchY = event.getRawY();
                    return true;
                case MotionEvent.ACTION_MOVE:
                    params.x = initialX + (int) (event.getRawX() - initialTouchX);
                    params.y = initialY + (int) (event.getRawY() - initialTouchY);
                    windowManager.updateViewLayout(floatingView, params);
                    return true;
            }
            return false;
        }
    }
}

上述代码实现了浮动窗口的创建、拖动以及关闭功能。接下来需要集成 OCR 与翻译功能。

3. 创建浮动窗口布局文件

在 res/layout 目录下创建 floating_translation_layout.xml，定义浮动窗口的用户界面：

<LinearLayout xmlns:android="http://schemas.android.com/apk/res/android"
    android:layout_width="match_parent"
    android:layout_height="wrap_content"
    android:orientation="vertical"
    android:background="@android:color/holo_blue_light"
    android:padding="16dp">

    <TextView
        android:id="@+id/translatedText"
        android:layout_width="match_parent"
        android:layout_height="wrap_content"
        android:text="翻譯結果將顯示於此"
        android:textColor="@android:color/black"
        android:textSize="16sp" />

    <Button
        android:id="@+id/closeButton"
        android:layout_width="wrap_content"
        android:layout_height="wrap_content"
        android:text="關閉" />

</LinearLayout>

该布局包括一个用于显示翻译结果的 TextView 和一个用于关闭浮动窗口的 Button。

4. 启动浮动窗口服务

在 MainActivity.java 中，检查并请求必要的权限，然后启动浮动窗口服务：

package com.example.floatingtranslator;

import android.content.Intent;
import android.net.Uri;
import android.os.Build;
import android.os.Bundle;
import android.provider.Settings;
import androidx.appcompat.app.AppCompatActivity;

public class MainActivity extends AppCompatActivity {
    private static final int OVERLAY_PERMISSION_REQUEST_CODE = 1000;

    @Override
    protected void onCreate(Bundle savedInstanceState) {
        super.onCreate(savedInstanceState);
        // setContentView(R.layout.activity_main); // 不显示主界面

        if (Build.VERSION.SDK_INT >= Build.VERSION_CODES.M) {
            if (!Settings.canDrawOverlays(this)) {
                // 请求权限
                Intent intent = new Intent(Settings.ACTION_MANAGE_OVERLAY_PERMISSION,
                        Uri.parse("package:" + getPackageName()));
                startActivityForResult(intent, OVERLAY_PERMISSION_REQUEST_CODE);
            } else {
                startFloatingService();
            }
        } else {
            startFloatingService();
        }
    }

    @Override
    protected void onActivityResult(int requestCode, int resultCode, Intent data) {
        if (requestCode == OVERLAY_PERMISSION_REQUEST_CODE) {
            if (Build.VERSION.SDK_INT >= Build.VERSION_CODES.M) {
                if (Settings.canDrawOverlays(this)) {
                    startFloatingService();
                }
            }
        }
        super.onActivityResult(requestCode, resultCode, data);
    }

    private void startFloatingService() {
        Intent intent = new Intent(this, FloatingTranslationService.class);
        startService(intent);
        finish(); // 关闭 MainActivity
    }
}

这段代码确保应用获取了绘制浮动窗口的权限后，启动相应的服务。

5. 集成 OCR 与翻译功能

5.1 集成 OCR 功能

使用 Google 的 ML Kit 可以轻松实现 OCR 功能。以下是集成步骤：

  1. 在项目的 build.gradle 文件中添加 ML Kit 依赖：
dependencies {
    implementation 'com.google.mlkit:text-recognition:16.0.0'
}

确保在应用启动时初始化 OCR 识别器，并在适当的位置调用 OCR 方法以提取屏幕上的文本。

示例代码：

// 初始化 TextRecognizer
TextRecognizer recognizer = TextRecognition.getClient();

// 处理屏幕截图后的图像
InputImage image = InputImage.fromBitmap(bitmap, rotationDegree);

recognizer.process(image)
    .addOnSuccessListener(visionText -> {
        String recognizedText = visionText.getText();
        // 调用翻译 API
        translateText(recognizedText);
    })
    .addOnFailureListener(e -> {
        // 处理失败
    });

5.2 集成翻译 API

选择一个可靠的翻译服务，如 Google Translate API 或 DeepL API。以下以 Google Translate API 为例：

  1. 在 Google Cloud 平台上创建一个项目并启用 Translate API。
  2. 获取 API 密钥，并将其安全存储在应用中。

使用 Retrofit 库来简化网络请求：

dependencies {
    implementation 'com.squareup.retrofit2:retrofit:2.9.0'
    implementation 'com.squareup.retrofit2:converter-gson:2.9.0'
}

创建 Retrofit 接口：

public interface TranslateService {
    @POST("language/translate/v2")
    Call<TranslateResponse> translateText(
        @Query("q") String text,
        @Query("target") String targetLang,
        @Query("key") String apiKey
    );
}

定义响应模型：

public class TranslateResponse {
    private Data data;

    public Data getData() {
        return data;
    }

    public class Data {
        private List<Translation> translations;

        public List<Translation> getTranslations() {
            return translations;
        }
    }

    public class Translation {
        private String translatedText;

        public String getTranslatedText() {
            return translatedText;
        }
    }
}

实现翻译功能：

private void translateText(String text) {
    Retrofit retrofit = new Retrofit.Builder()
        .baseUrl("https://translation.googleapis.com/")
        .addConverterFactory(GsonConverterFactory.create())
        .build();

    TranslateService service = retrofit.create(TranslateService.class);
    Call<TranslateResponse> call = service.translateText(text, "zh", YOUR_API_KEY);

    call.enqueue(new Callback<TranslateResponse>() {
        @Override
        public void onResponse(Call<TranslateResponse> call, Response<TranslateResponse> response) {
            if (response.isSuccessful() && response.body() != null) {
                String translated = response.body().getData().getTranslations().get(0).getTranslatedText();
                // 更新 UI 显示翻译结果
                TextView translatedTextView = floatingView.findViewById(R.id.translatedText);
                translatedTextView.setText(translated);
            }
        }

        @Override
        public void onFailure(Call<TranslateResponse> call, Throwable t) {
            // 处理失败
        }
    });
}

6. 用户界面与用户体验优化

为了提升用户体验，可以对浮动窗口的界面进行优化：

  • 透明度与颜色选择：通过调整窗口的透明度和背景颜色，确保翻译结果在各种应用界面上都清晰可见。
  • 可调节大小与位置：允许用户调整浮动窗口的大小和位置，以适应不同的使用场景。
  • 响应式设计：确保浮动窗口在不同屏幕尺寸和分辨率下都能良好显示。

示例代码：调整浮动窗口透明度

params.alpha = 0.9f; // 设置透明度为90%
windowManager.updateViewLayout(floatingView, params);

7. 权限处理与安全性

处理权限时，应确保应用仅在必要时请求权限，并在用户拒绝权限请求时提供相应的提示或指引。

示例代码：请求 SYSTEM_ALERT_WINDOW 权限并处理用户拒绝情况。

if (Build.VERSION.SDK_INT >= Build.VERSION_CODES.M) {
    if (!Settings.canDrawOverlays(this)) {
        Intent intent = new Intent(Settings.ACTION_MANAGE_OVERLAY_PERMISSION,
                Uri.parse("package:" + getPackageName()));
        startActivityForResult(intent, OVERLAY_PERMISSION_REQUEST_CODE);
    } else {
        startFloatingService();
    }
} else {
    startFloatingService();
}

同时，应确保 API 密钥的安全，避免在代码中直接暴露，可以采用安全存储或后端代理的方式进行处理。

代码示例与完整实现

以下是完整的代码实现步骤，包括主要的类和布局文件：

FloatingTranslationService.java

package com.example.floatingtranslator;

import android.app.Service;
import android.content.Intent;
import android.graphics.PixelFormat;
import android.os.Build;
import android.os.IBinder;
import android.view.Gravity;
import android.view.LayoutInflater;
import android.view.MotionEvent;
import android.view.View;
import android.view.WindowManager;
import android.widget.Button;
import android.widget.TextView;
import com.google.mlkit.vision.text.TextRecognition;
import com.google.mlkit.vision.text.TextRecognizer;
import com.google.mlkit.vision.common.InputImage;
import retrofit2.Call;
import retrofit2.Callback;
import retrofit2.Response;
import retrofit2.Retrofit;
import retrofit2.converter.gson.GsonConverterFactory;

public class FloatingTranslationService extends Service {
    private WindowManager windowManager;
    private View floatingView;
    private WindowManager.LayoutParams params;
    private TextRecognizer recognizer;
    private static final String GOOGLE_TRANSLATE_API_KEY = "YOUR_API_KEY";

    @Override
    public void onCreate() {
        super.onCreate();

        // 初始化 WindowManager 和 OCR 识别器
        windowManager = (WindowManager) getSystemService(WINDOW_SERVICE);
        recognizer = TextRecognition.getClient();

        // 创建浮动视窗布局
        floatingView = LayoutInflater.from(this).inflate(R.layout.floating_translation_layout, null);

        // 设置浮动视窗参数
        params = new WindowManager.LayoutParams(
                WindowManager.LayoutParams.MATCH_PARENT,
                WindowManager.LayoutParams.WRAP_CONTENT,
                Build.VERSION.SDK_INT >= Build.VERSION_CODES.O ?
                        WindowManager.LayoutParams.TYPE_APPLICATION_OVERLAY :
                        WindowManager.LayoutParams.TYPE_PHONE,
                WindowManager.LayoutParams.FLAG_NOT_FOCUSABLE |
                        WindowManager.LayoutParams.FLAG_LAYOUT_NO_LIMITS,
                PixelFormat.TRANSLUCENT
        );

        params.gravity = Gravity.TOP | Gravity.START;
        params.x = 0;
        params.y = 100;

        // 添加视窗到屏幕
        windowManager.addView(floatingView, params);

        // 设置拖动逻辑
        floatingView.setOnTouchListener(new FloatingOnTouchListener());

        // 设置关闭按钮点击事件
        Button closeButton = floatingView.findViewById(R.id.closeButton);
        closeButton.setOnClickListener(v -> stopSelf());

        // TODO: 实现定时或触发式的屏幕捕捉与翻译
    }

    @Override
    public void onDestroy() {
        super.onDestroy();
        if (floatingView != null) {
            windowManager.removeView(floatingView);
        }
    }

    @Override
    public IBinder onBind(Intent intent) {
        return null;
    }

    private class FloatingOnTouchListener implements View.OnTouchListener {
        private int initialX;
        private int initialY;
        private float initialTouchX;
        private float initialTouchY;

        @Override
        public boolean onTouch(View v, MotionEvent event) {
            switch (event.getAction()) {
                case MotionEvent.ACTION_DOWN:
                    initialX = params.x;
                    initialY = params.y;
                    initialTouchX = event.getRawX();
                    initialTouchY = event.getRawY();
                    return true;
                case MotionEvent.ACTION_MOVE:
                    params.x = initialX + (int) (event.getRawX() - initialTouchX);
                    params.y = initialY + (int) (event.getRawY() - initialTouchY);
                    windowManager.updateViewLayout(floatingView, params);
                    return true;
            }
            return false;
        }
    }

    private void captureAndTranslateScreen() {
        // TODO: 实现屏幕捕捉
        // 获取屏幕截图 Bitmap 后：
        // InputImage image = InputImage.fromBitmap(bitmap, rotationDegree);
        // recognizer.process(image)
        //     .addOnSuccessListener(this::handleOcrResult)
        //     .addOnFailureListener(e -> handleOcrError(e));
    }

    private void handleOcrResult(com.google.mlkit.vision.text.Text visionText) {
        String recognizedText = visionText.getText();
        translateText(recognizedText);
    }

    private void handleOcrError(Exception e) {
        // 处理 OCR 错误
    }

    private void translateText(String text) {
        Retrofit retrofit = new Retrofit.Builder()
                .baseUrl("https://translation.googleapis.com/")
                .addConverterFactory(GsonConverterFactory.create())
                .build();

        TranslateService service = retrofit.create(TranslateService.class);
        Call<TranslateResponse> call = service.translateText(text, "zh", GOOGLE_TRANSLATE_API_KEY);

        call.enqueue(new Callback<TranslateResponse>() {
            @Override
            public void onResponse(Call<TranslateResponse> call, Response<TranslateResponse> response) {
                if (response.isSuccessful() && response.body() != null) {
                    String translatedText = response.body().getData().getTranslations().get(0).getTranslatedText();
                    TextView translatedTextView = floatingView.findViewById(R.id.translatedText);
                    translatedTextView.setText(translatedText);
                }
            }

            @Override
            public void onFailure(Call<TranslateResponse> call, Throwable t) {
                // 处理翻译失败
            }
        });
    }
}

TranslateService.java

package com.example.floatingtranslator;

import retrofit2.Call;
import retrofit2.http.POST;
import retrofit2.http.Query;

public interface TranslateService {
    @POST("language/translate/v2")
    Call<TranslateResponse> translateText(
        @Query("q") String text,
        @Query("target") String targetLang,
        @Query("key") String apiKey
    );
}

TranslateResponse.java

package com.example.floatingtranslator;

import java.util.List;

public class TranslateResponse {
    private Data data;

    public Data getData() {
        return data;
    }

    public class Data {
        private List<Translation> translations;

        public List<Translation> getTranslations() {
            return translations;
        }
    }

    public class Translation {
        private String translatedText;

        public String getTranslatedText() {
            return translatedText;
        }
    }
}

floating_translation_layout.xml

<LinearLayout xmlns:android="http://schemas.android.com/apk/res/android"
    android:layout_width="match_parent"
    android:layout_height="wrap_content"
    android:orientation="vertical"
    android:background="@android:color/holo_blue_light"
    android:padding="16dp">

    <TextView
        android:id="@+id/translatedText"
        android:layout_width="match_parent"
        android:layout_height="wrap_content"
        android:text="翻譯結果將顯示於此"
        android:textColor="@android:color/black"
        android:textSize="16sp" />

    <Button
        android:id="@+id/closeButton"
        android:layout_width="wrap_content"
        android:layout_height="wrap_content"
        android:text="關閉" />

</LinearLayout>

常见问题与解决方案

权限请求失败

若用户拒绝授予 SYSTEM_ALERT_WINDOW 权限，应用将无法显示浮动窗口。建议在权限请求失败后，向用户解释权限的重要性，并引导用户手动开启权限。

翻译延迟或失败

翻译 API 可能因网络问题或 API 限额导致翻译失败。建议实现重试机制，并在 UI 上显示错误提示，确保用户了解当前状态。

OCR 识别不准确

OCR 识别的准确性可能受限于屏幕内容的清晰度和文字字体。建议优化屏幕截图的质量，并在必要时提示用户调整窗口位置或文本大小。

总结与建议

通过本指南，您已了解如何在 Android 上使用 Java 开发一个全屏翻译的浮动视窗程序。从权限配置、浮动窗口的创建与管理，到 OCR 和翻译 API 的集成，每个步骤都至关重要。为了进一步提升应用的实用性，建议：

  • 优化 OCR 和翻译功能的性能，减少延迟。
  • 增强用户界面的可定制性，让用户根据需求调整窗口设置。
  • 确保应用的安全性，保护用户数据和 API 密钥。

持续关注用户反馈，并根据实际使用情况进行改进，将使您的翻译工具更加高效和可靠。

参考资料

geeksforgeeks.org
在 Android 上创建浮动窗口 - GeeksforGeeks
github.com
Android Floating Window Translator - GitHub 项目
localazy.com
在 Android 上使用前台服务实现浮动窗口 - Localazy 博客
play.google.com
Translate on Screen Translator - Google Play
medium.com
使用 WindowManager 创建浮动窗口 - Medium 教程

Last updated January 22, 2025

AI-assisted research. Sources, methodology and corrections · Source-checked guides and tools · Explore published answers

Ask Ithy AI