[SwiftUI][AVFoundation] AVCaptureSession から写真を取得する方法

AVCaptureSession と AVCaptureVidePreviewView を使って、カメラのプレビューを表示できるようになったので、シャッターボタンを押された時に、プレビューに表示されている画像を取得する方法を説明します。

Sponsor Link

AVCapturePhotoOutputと取り出す手順
AVCaptureSession と Input を設定し、プレビューできるようにする
AVCapturePhotoOutput を準備して、AVCaptureSession の Output に設定する
AVCapturePhotoOutput#capturePhoto で画像取得リクエストを発行
AVCapturePhotoCaptureDelegate#photoOutput で取得し、処理する
サンプルコード
まとめ：AVSession を使ったプレビューから画像を取得するのは、非常に簡単です

AVCapturePhotoOutputと取り出す手順

AVCaptureSession を使って表示している画像を取り出すためには、AVCapturePhotoOutput を使用します。

取り出すためには以下の手順が必要となります。

AVCaptureSession と Input を設定し、プレビューできるようにする: 前回の記事で説明しました。
AVCapturePhotoOutput を準備して、AVCaptureSession の Output に設定する: AVCapturePhotoOutput をインスタンス化して、AVCaptureSession の Output に設定します。
AVCapturePhotoOutput#capturePhoto で画像取得リクエストを発行: 画像データは、関数返り値ではなく、Delegate(AVCapturePhotoCaptureDelegate) に渡されます
AVCapturePhotoCaptureDelegate#photoOutput で取得し、処理する: 引数の photo に AVCapturePhoto タイプのデータとして渡されますので、処理します

それでは、それぞれのステップをみていきます。

AVCaptureSession と Input を設定し、プレビューできるようにする

以前の記事で説明した通りです。

AVCapturePhotoOutput を準備して、AVCaptureSession の Output に設定する

以下のように、AVCapturePhotoOutput をインスタンス化し、AVCaptureSession の Output に設定します。

この段階で詳細な設定は不要です。

AVCapturePhotoOutput を AVCaptureSession に設定


  let photoOutput = AVCapturePhotoOutput()
  guard captureSession.canAddOutput(photoOutput) else { return }
  captureSession.sessionPreset = .photo
  captureSession.addOutput(photoOutput)

let photoOutput = AVCapturePhotoOutput()

guard captureSession.canAddOutput(photoOutput) else { return }

captureSession.sessionPreset = .photo

captureSession.addOutput(photoOutput)

AVCapturePhotoOutput#capturePhoto で画像取得リクエストを発行

AVCaputurePhotoOutput#capturePhoto 関数によって、画像取得のリクエストを発行できます。

リクエスト時に、Delegate を渡して、処理されたデータはその Delegate に渡されてきます。

また、リクエスト時には撮影設定を、AVCapturePhotoSettings として渡す必要があります。

以下のようなコードとなります。

capturePhoto をコール


  let photoSetting = AVCapturePhotoSettings()
  photoSetting.flashMode = .auto
  photoSetting.isHighResolutionPhotoEnabled = false
  photoOutput.capturePhoto(with: photoSetting, delegate: self)

let photoSetting = AVCapturePhotoSettings()

photoSetting.flashMode = .auto

photoSetting.isHighResolutionPhotoEnabled = false

photoOutput.capturePhoto(with: photoSetting, delegate: self)

AVCapturePhotoCaptureDelegate#photoOutput で取得し、処理する

処理が終われば、Delegate の photoOutput がコールされますので、その中で処理します。

以下では、UIImage を作成しています。

AVCapturePhoto から UIImage


  public func photoOutput(_ output: AVCapturePhotoOutput, didFinishProcessingPhoto photo: AVCapturePhoto, error: Error?) {
    let imageData = photo.fileDataRepresentation()
    self.image = UIImage(data: imageData!)
  }

public func photoOutput(_ output: AVCapturePhotoOutput, didFinishProcessingPhoto photo: AVCapturePhoto, error: Error?) {

let imageData = photo.fileDataRepresentation()

self.image = UIImage(data: imageData!)

}

サンプルコード

capturePhoto がAVsession の Output に設定されたオブジェクトの関数なので、キャプチャーする機能性をもつ外部オブジェクトとして AVCaptureModel というものを作成し、保持するようにしました。

アプリの動作としては、ボタンを押されると取得したUIImageをプレビューとは別に表示するようにしました。

画像の向きがおかしいのは、UIImageを表示する時に、デバイスの方向を考慮していないからです。

アプリケーションのコードは以下です。

AVCaptureModel.swift


//
//  AVCaputureModel.swift
//  CameraWithAVFoundation
//
//  Created by Tomoaki Yagishita on 2020/08/11.
//

import Foundation
import AVFoundation
import UIKit

public class AVCaptureModel : NSObject, AVCapturePhotoCaptureDelegate, ObservableObject {
    public var captureSession: AVCaptureSession
    public var videoInput: AVCaptureDeviceInput!
    public var photoOutput: AVCapturePhotoOutput
    @Published var image: UIImage?
    
    public override init() {
        self.captureSession = AVCaptureSession()
        self.photoOutput = AVCapturePhotoOutput()
    }
    
    public func setupSession() {
        captureSession.beginConfiguration()
        guard let videoCaputureDevice = AVCaptureDevice.default(for: .video) else { return }

        guard let videoInput = try? AVCaptureDeviceInput(device: videoCaputureDevice) else { return }
        self.videoInput = videoInput
        guard captureSession.canAddInput(videoInput) else { return }
        captureSession.addInput(videoInput)

        guard captureSession.canAddOutput(photoOutput) else { return }
        captureSession.sessionPreset = .photo
        captureSession.addOutput(photoOutput)
        
        captureSession.commitConfiguration()
    }
    
    public func updateInputOrientation(orientation: UIDeviceOrientation) {
        for conn in captureSession.connections {
            conn.videoOrientation = ConvertUIDeviceOrientationToAVCaptureVideoOrientation(deviceOrientation: orientation)
        }
    }
    
    
    public func takePhoto() {
        let photoSetting = AVCapturePhotoSettings()
        photoSetting.flashMode = .auto
        photoSetting.isHighResolutionPhotoEnabled = false
        photoOutput.capturePhoto(with: photoSetting, delegate: self)
        return
    }
    
    public func photoOutput(_ output: AVCapturePhotoOutput, didFinishProcessingPhoto photo: AVCapturePhoto, error: Error?) {
        let imageData = photo.fileDataRepresentation()
        self.image = UIImage(data: imageData!)
    }
    
    func getImageFromSampleBuffer(sampleBuffer: CMSampleBuffer) ->UIImage? {
         guard let pixelBuffer = CMSampleBufferGetImageBuffer(sampleBuffer) else {
             return nil
         }
         CVPixelBufferLockBaseAddress(pixelBuffer, .readOnly)
         let baseAddress = CVPixelBufferGetBaseAddress(pixelBuffer)
         let width = CVPixelBufferGetWidth(pixelBuffer)
         let height = CVPixelBufferGetHeight(pixelBuffer)
         let bytesPerRow = CVPixelBufferGetBytesPerRow(pixelBuffer)
         let colorSpace = CGColorSpaceCreateDeviceRGB()
         let bitmapInfo = CGBitmapInfo(rawValue: CGImageAlphaInfo.premultipliedFirst.rawValue | CGBitmapInfo.byteOrder32Little.rawValue)
         guard let context = CGContext(data: baseAddress, width: width, height: height, bitsPerComponent: 8, bytesPerRow: bytesPerRow, space: colorSpace, bitmapInfo: bitmapInfo.rawValue) else {
             return nil
         }
         guard let cgImage = context.makeImage() else {
             return nil
         }
         let image = UIImage(cgImage: cgImage, scale: 1, orientation:.right)
         CVPixelBufferUnlockBaseAddress(pixelBuffer, .readOnly)
         return image
     }
}

public func ConvertUIDeviceOrientationToAVCaptureVideoOrientation(deviceOrientation: UIDeviceOrientation) -> AVCaptureVideoOrientation {
    switch deviceOrientation {
    case .portrait:
        return .portrait
    case .portraitUpsideDown:
        return .portraitUpsideDown
    case .landscapeLeft:
        return .landscapeRight
    case .landscapeRight:
        return .landscapeLeft
    default:
        return .portrait
    }
}

// AVCaputureModel.swift

// CameraWithAVFoundation

// Created by Tomoaki Yagishita on 2020/08/11.

import Foundation

import AVFoundation

import UIKit

public class AVCaptureModel : NSObject, AVCapturePhotoCaptureDelegate, ObservableObject {

public var captureSession: AVCaptureSession

public var videoInput: AVCaptureDeviceInput!

public var photoOutput: AVCapturePhotoOutput

@Published var image: UIImage?

public override init() {

self.captureSession = AVCaptureSession()

self.photoOutput = AVCapturePhotoOutput()

}

public func setupSession() {

captureSession.beginConfiguration()

guard let videoCaputureDevice = AVCaptureDevice.default(for: .video) else { return }

guard let videoInput = try? AVCaptureDeviceInput(device: videoCaputureDevice) else { return }

self.videoInput = videoInput

guard captureSession.canAddInput(videoInput) else { return }

captureSession.addInput(videoInput)

guard captureSession.canAddOutput(photoOutput) else { return }

captureSession.sessionPreset = .photo

captureSession.addOutput(photoOutput)

captureSession.commitConfiguration()

}

public func updateInputOrientation(orientation: UIDeviceOrientation) {

for conn in captureSession.connections {

conn.videoOrientation = ConvertUIDeviceOrientationToAVCaptureVideoOrientation(deviceOrientation: orientation)

}

public func takePhoto() {

let photoSetting = AVCapturePhotoSettings()

photoSetting.flashMode = .auto

photoSetting.isHighResolutionPhotoEnabled = false

photoOutput.capturePhoto(with: photoSetting, delegate: self)

return

}

public func photoOutput(_ output: AVCapturePhotoOutput, didFinishProcessingPhoto photo: AVCapturePhoto, error: Error?) {

let imageData = photo.fileDataRepresentation()

self.image = UIImage(data: imageData!)

}

func getImageFromSampleBuffer(sampleBuffer: CMSampleBuffer) ->UIImage? {

guard let pixelBuffer = CMSampleBufferGetImageBuffer(sampleBuffer) else {

return nil

}

CVPixelBufferLockBaseAddress(pixelBuffer, .readOnly)

let baseAddress = CVPixelBufferGetBaseAddress(pixelBuffer)

let width = CVPixelBufferGetWidth(pixelBuffer)

let height = CVPixelBufferGetHeight(pixelBuffer)

let bytesPerRow = CVPixelBufferGetBytesPerRow(pixelBuffer)

let colorSpace = CGColorSpaceCreateDeviceRGB()

let bitmapInfo = CGBitmapInfo(rawValue: CGImageAlphaInfo.premultipliedFirst.rawValue | CGBitmapInfo.byteOrder32Little.rawValue)

guard let context = CGContext(data: baseAddress, width: width, height: height, bitsPerComponent: 8, bytesPerRow: bytesPerRow, space: colorSpace, bitmapInfo: bitmapInfo.rawValue) else {

return nil

}

guard let cgImage = context.makeImage() else {

return nil

}

let image = UIImage(cgImage: cgImage, scale: 1, orientation:.right)

CVPixelBufferUnlockBaseAddress(pixelBuffer, .readOnly)

return image

}

public func ConvertUIDeviceOrientationToAVCaptureVideoOrientation(deviceOrientation: UIDeviceOrientation) -> AVCaptureVideoOrientation {

switch deviceOrientation {

case .portrait:

return .portrait

case .portraitUpsideDown:

return .portraitUpsideDown

case .landscapeLeft:

return .landscapeRight

case .landscapeRight:

return .landscapeLeft

default:

return .portrait

}

SwiftUIAVCaptureVidePreviewView.swift


//
//  SwiftUIAVCaptureVideoPreviewView.swift
//  CameraWithAVFoundation
//
//  Created by Tomoaki Yagishita on 2020/08/05.
//

import Foundation
import AVFoundation
import SwiftUI

public class UIAVCaptureVideoPreviewView: UIView {
    var captureSession: AVCaptureSession!
    var previewLayer: AVCaptureVideoPreviewLayer!

    public init(frame: CGRect, session: AVCaptureSession) {
        self.captureSession = session
        super.init(frame: frame)
    }
    
    public required init?(coder: NSCoder) {
        super.init(coder: coder)
        // no implementation
    }

    func setupPreview(previewSize: CGRect) {
        self.frame = previewSize

        self.previewLayer = AVCaptureVideoPreviewLayer(session: self.captureSession)
        self.previewLayer.frame = self.bounds
        
        self.updatePreviewOrientation()

        self.layer.addSublayer(previewLayer)

        self.captureSession.startRunning()
    }
    
    func updateFrame(frame: CGRect) {
        self.frame = frame
        self.previewLayer.frame = frame
    }

    func updatePreviewOrientation() {
        switch UIDevice.current.orientation {
        case .portrait:
            self.previewLayer.connection?.videoOrientation = .portrait
        case .portraitUpsideDown:
            self.previewLayer.connection?.videoOrientation = .portraitUpsideDown
        case .landscapeLeft:
            self.previewLayer.connection?.videoOrientation = .landscapeRight
        case .landscapeRight:
            self.previewLayer.connection?.videoOrientation = .landscapeLeft
        default:
            self.previewLayer.connection?.videoOrientation = .portrait
        }
        return
    }
}

public struct SwiftUIAVCaptureVideoPreviewView: UIViewRepresentable {
    let previewFrame: CGRect
    let captureModel: AVCaptureModel

    public func makeUIView(context: Context) -> UIAVCaptureVideoPreviewView {
        let view = UIAVCaptureVideoPreviewView(frame: previewFrame, session: self.captureModel.captureSession)
        view.setupPreview(previewSize: previewFrame)
        return view
    }
    
    public func updateUIView(_ uiView: UIAVCaptureVideoPreviewView, context: Context) {
        print("in updateUIView")
        self.captureModel.updateInputOrientation(orientation: UIDevice.current.orientation)
        uiView.updateFrame(frame: previewFrame)
    }
}

// SwiftUIAVCaptureVideoPreviewView.swift

// CameraWithAVFoundation

// Created by Tomoaki Yagishita on 2020/08/05.

import Foundation

import AVFoundation

import SwiftUI

public class UIAVCaptureVideoPreviewView: UIView {

var captureSession: AVCaptureSession!

var previewLayer: AVCaptureVideoPreviewLayer!

public init(frame: CGRect, session: AVCaptureSession) {

self.captureSession = session

super.init(frame: frame)

}

public required init?(coder: NSCoder) {

super.init(coder: coder)

// no implementation

}

func setupPreview(previewSize: CGRect) {

self.frame = previewSize

self.previewLayer = AVCaptureVideoPreviewLayer(session: self.captureSession)

self.previewLayer.frame = self.bounds

self.updatePreviewOrientation()

self.layer.addSublayer(previewLayer)

self.captureSession.startRunning()

}

func updateFrame(frame: CGRect) {

self.frame = frame

self.previewLayer.frame = frame

}

func updatePreviewOrientation() {

switch UIDevice.current.orientation {

case .portrait:

self.previewLayer.connection?.videoOrientation = .portrait

case .portraitUpsideDown:

self.previewLayer.connection?.videoOrientation = .portraitUpsideDown

case .landscapeLeft:

self.previewLayer.connection?.videoOrientation = .landscapeRight

case .landscapeRight:

self.previewLayer.connection?.videoOrientation = .landscapeLeft

default:

self.previewLayer.connection?.videoOrientation = .portrait

}

return

}

public struct SwiftUIAVCaptureVideoPreviewView: UIViewRepresentable {

let previewFrame: CGRect

let captureModel: AVCaptureModel

public func makeUIView(context: Context) -> UIAVCaptureVideoPreviewView {

let view = UIAVCaptureVideoPreviewView(frame: previewFrame, session: self.captureModel.captureSession)

view.setupPreview(previewSize: previewFrame)

return view

}

public func updateUIView(_ uiView: UIAVCaptureVideoPreviewView, context: Context) {

print("in updateUIView")

self.captureModel.updateInputOrientation(orientation: UIDevice.current.orientation)

uiView.updateFrame(frame: previewFrame)

}

ContentView.swift


//
//  ContentView.swift
//  Shared
//
//  Created by Tomoaki Yagishita on 2020/08/05.
//

import SwiftUI

struct ContentView: View {
    @ObservedObject var captureModel: AVCaptureModel
    @GestureState var scale: CGFloat = 1.0
    
    var body: some View {
        captureModel.setupSession()
        return VStack {
            Image(systemName: "camera")
                .resizable()
                .scaledToFit()
                .frame(height: 100)

            GeometryReader { geom in
                SwiftUIAVCaptureVideoPreviewView(previewFrame: CGRect(x: 0, y: 0, width: geom.size.width, height: geom.size.height),
                                                 captureModel: captureModel)
            }
            .border(Color.red)
            HStack {
                if captureModel.image != nil {
                    Image(uiImage: captureModel.image!)
                        .resizable()
                        .scaledToFit()
                        .frame(height:100)
                }
                Button("Button", action: {
                    captureModel.takePhoto()
                })
            }
        }
    }
}

struct ContentView_Previews: PreviewProvider {
    static var previews: some View {
        ContentView(captureModel: AVCaptureModel())
    }
}

// ContentView.swift

// Shared

// Created by Tomoaki Yagishita on 2020/08/05.

import SwiftUI

struct ContentView: View {

@ObservedObject var captureModel: AVCaptureModel

@GestureState var scale: CGFloat = 1.0

var body: some View {

captureModel.setupSession()

return VStack {

Image(systemName: "camera")

.resizable()

.scaledToFit()

.frame(height: 100)

GeometryReader { geom in

SwiftUIAVCaptureVideoPreviewView(previewFrame: CGRect(x: 0, y: 0, width: geom.size.width, height: geom.size.height),

captureModel: captureModel)

}

.border(Color.red)

HStack {

if captureModel.image != nil {

Image(uiImage: captureModel.image!)

.resizable()

.scaledToFit()

.frame(height:100)

}

Button("Button", action: {

captureModel.takePhoto()

})

}

struct ContentView_Previews: PreviewProvider {

static var previews: some View {

ContentView(captureModel: AVCaptureModel())

}

まとめ：AVSession を使ったプレビューから画像を取得するのは、非常に簡単です

画像を取得するのは非常に簡単なのですが、詳細なセッティングは、沼になっていそうです。

AVCapturePhotoSettings の詳細は、非常に多そうです。

説明は以上です。

Sponsor Link

AVCapturePhotoOutputと取り出す手順

AVCaptureSession と Input を設定し、プレビューできるようにする

AVCapturePhotoOutput を準備して、AVCaptureSession の Output に設定する

AVCapturePhotoOutput#capturePhoto で画像取得リクエストを発行

AVCapturePhotoCaptureDelegate#photoOutput で取得し、処理する

サンプルコード

まとめ：AVSession を使ったプレビューから画像を取得するのは、非常に簡単です

コメントを残す コメントをキャンセル

コメントを残すコメントをキャンセル